Исследование: большие языковые модели небезопасны для автономной сортировки пациентов

Исследователи представили на платформе arXiv препринт, в котором предупреждают о рисках использования больших языковых моделей (LLM) для автономной сортировки пациентов без участия врача. Работа опубликована в разделе cs.AI и привлекла внимание профессионального сообщества.

Авторы напоминают, что LLM уже успешно сдают экзамены на получение медицинской лицензии и в отдельных curated-сценариях могут сравниться с врачами в диагностическом мышлении. Это стимулировало внедрение моделей в оценку симптомов, поддержку клинических решений, административную документацию и системы оповещений.

Однако ключевой вопрос, по мнению учёных, касается наиболее ответственного применения — автономного триажа пациентов, которые обращаются самостоятельно, когда врач либо не участвует в процессе, либо его роль минимальна. Для этой задачи, как подчёркивают исследователи, доказательств безопасности пока не существует.

Проблема не в нехватке медицинских знаний, а в несоответствии логики модели задачам безопасности. LLM оптимизированы для генерации наиболее вероятного продолжения текста, но не для действий, когда безопасный ответ — это маловероятный, но критически важный диагноз, который нельзя пропустить.

Безопасный триаж — это не просто выбор наиболее вероятного диагноза. Это последовательное решение в условиях асимметричных потерь: единственный пропущенный опасный случай перевешивает множество ложных тревог, а решающий сигнал может быть не назван пациентом и не искаться моделью.

Авторы указывают, что при неполных историях болезни LLM могут не расширять дифференциальный диагноз, не искать отсутствующие «красные флаги», не снижать порог для эскалации, не откладывать вывод до получения достаточной информации и не повышать уровень тревоги, когда опасные диагнозы не исключены.

Отдельно отмечаются такие свойства моделей, как доверчивость, соглашательство и неправильная калибровка вероятностей. Эти особенности могут усиливать ошибки, если их не ограничивать правилами клинической триажной логики. Также подчёркивается, что современные оценки часто используют полные, хорошо подготовленные сценарии, что затрудняет выявление указанных сбоев.

В итоге авторы призывают к более строгим, реалистичным испытаниям перед внедрением LLM в автономную клиническую практику, подчёркивая, что безопасность таких систем должна быть доказана, а не предполагаться.