Чат-боты, использующие обработку естественного языка методами искусственного интеллекта (NLPC), могут использоваться для сбора и обработки медицинской информации. Однако на данном этапе развития технологии эти инструменты содержат потенциальный риск дезинформации. В журнале Europace опубликованы результаты анализа ответов, которые выдавали чатботы на запросы, касающиеся фибрилляции предсердий и имплантируемых электронных устройств.
Анализировалось три самых популярных чатбота - Google Bard, Bing Chat и ChatGPT Plus. Ответы оценивались с точки зрения целого ряда параметров – соответствия запросу, понятности, отсутствия возможности ввести в заблуждение, отсутствия релевантного содержания и наличия рекомендаций для принятия клинически значимых решений. Кроме того, легкость восприятия («читабельность») оценивалась путем расчета количества слов и оценки легкости чтения Флеша.
В каждый чат-бот вводилось по 25 вопросов на каждую тему, ответы оценивались экспертами в соответствующей области. Как уместные, соответствующие запросу были оценены 52%, 60% и 84% ответов по фибрилляции предсердий и 16%, 72% и 88% ответов по имплантируемым устройствам, данных Google Bard, Bing Chat и ChatGPT Plus, соответственно. Оценка понятности показала, что 96%, 88% и 92% ответов по ФП и 92%, 88% и 100% по девайсам были понятны для Google Bard, Bing Chat и ChatGPT Plus, соответственно. «Читабельность» различалась в разных NLPC: наибольшее количество слов и наихудшая «читабельность» была для ChatGPT Plus, зато для двух других чатботов чаще упускался из виду релевантный контент.
Авторы заключают, что ответы, генерируемые NLPC, в основном легко понять. Адекватность ответов ограничена и варьирует в зависимости от разных чатботов. Важные аспекты часто упускаются из виду. Таким образом, чат-боты следует использовать с осторожностью для сбора медицинской информации о сердечных аритмиях и имплантируемых устройствах.
По материалам:
Henrike A K Hillmann, Eleonora Angelini, Nizar Karfoul, Sebastian Feickert, Johanna Mueller- Leisse, David Duncker, Accuracy and comprehensibility of chat-based artificial intelligence for patient information on atrial fibrillation and cardiac implantable electronic devices, EP Europace, 2023;, euad369, https://doi.org/10.1093/europace/euad369
Текст: Шахматова О.О.