ИИ-резюме медицинской литературы почти неотличимы от экспертных, но уступают по качеству

Автоматическое обобщение медицинской литературы — перспективное направление для помощи врачам, но его эффективность в клинической практике пока изучена слабо. Новое исследование, представленное в препринте arXiv, впервые напрямую сравнило резюме, написанные десятью специалистами по головной боли, с работами трех крупных языковых моделей: Sonnet, GPT-4o и Llama 3.1.

Специалист по головной боли сформулировал 13 клинических вопросов, три из которых использовались для настройки ИИ, а десять — для оценки. Каждый из десяти экспертов написал резюме по одному вопросу. Таким образом, по каждому вопросу было получено четыре варианта: человеческий и три машинных. Затем эксперты, не зная авторства, оценивали все резюме (кроме того, которое написали сами) по четырем критериям: корректность, полнота, краткость и клиническая полезность, выставляя баллы от 1 до 10. Также они ранжировали работы по предпочтению и указывали, считают ли каждое резюме написанным человеком или ИИ.

Результаты показали, что экспертные резюме в среднем получили более высокие оценки по всем параметрам и чаще выбирались как предпочтительные. Однако разрыв с лучшими ИИ-моделями оказался не таким значительным, как можно было ожидать. Примечательно, что эксперты нередко ошибались, пытаясь угадать автора: человеческие тексты иногда принимали за машинные, и наоборот. Исследователи отмечают, что участникам было сложно отличить ИИ-генерации от работ коллег.

Дополнительный анализ выявил, какие именно характеристики ценят эксперты в хорошем резюме. Помимо стандартных метрик (полнота, отсутствие ошибок), важную роль играют структурированность, акцент на ключевых практических выводах и адаптация к уровню подготовки читателя. Эти аспекты, по мнению авторов, могут стать ориентирами для дальнейшего улучшения как человеческих, так и автоматизированных систем обобщения.

Исследование подчеркивает, что современные ИИ-модели способны создавать медицинские резюме, весьма близкие по качеству к экспертным, однако пока уступают по критически важным для клинициста параметрам. Внедрение подобных инструментов в реальную практику требует дальнейшей настройки и учета предпочтений врачей. Тем не менее, работа дает четкие направления для развития: например, включение экспертных критериев в процесс обучения или постобработки ИИ.

Авторы заключают, что комбинирование сильных сторон человека и машины — наиболее перспективный путь для создания эффективных инструментов поддержки принятия клинических решений на основе научной литературы.