Чат-боты ставят неправильный первичный диагноз в 80% случаев

Чат-боты OpenAI и DeepSeek, а также другие системы на основе искусственного интеллекта часто ставят неправильные диагнозы, особенно при нехватке данных, следует из исследования медицинского журнала JAMA Network Open, на которое ссылается Financial Times.

Журнал проанализировал 21 языковую модель, включая разработки компаний OpenAI, Anthropic, Google, xAI и DeepSeek. Было установлено, что уровень ошибок всех моделей превышал 80%, когда требовалось проводить так называемую дифференциальную диагностику — то есть постановку диагноза путем последовательного сравнения и исключения заболеваний со сходными симптомами до определения наиболее вероятного. Исследование показало, что языковые модели испытывают трудности с предложением широкого спектра возможных диагнозов, когда данные о пациенте ограничены, и часто слишком быстро сужают выбор до одного варианта.

Эксперимент подразумевал постепенное раскрытие информации, включая историю заболевания, результаты осмотра пациента и данные лабораторных исследований. Результаты показали, что ИИ-модели достаточно хорошо справляются с диагностикой при наличии полной информации о заболевании — чем больше сведений им предоставляли, тем точнее становился диагноз. При наличии полной информации уровень ошибок снижался с 80% до менее чем 40%, а лучшие модели демонстрировали точность более 90%. «Эти модели отлично справляются с постановкой окончательного диагноза, когда данные полные, но испытывают трудности на начальном этапе, когда информации мало», — заявил Арья Рао, исследователь в медицинской системе Mass General Brigham.

Санджай Кинра, клинический эпидемиолог из Лондонской школы гигиены и тропической медицины отметил, что результаты исследования выглядят многообещающими, однако чат-боты пока не могут полноценно заменить оценку врача. «Тем не менее они могут сыграть определенную роль, особенно в условиях или регионах, где доступ к врачам ограничен, — отметил Кинра. — Поэтому нам срочно необходимы исследования с участием реальных пациентов из таких условий».