Ученые представили MedRealMM: первый реалистичный бенчмарк для мультимодальной медицинской консультации
Научная работа, опубликованная на arXiv, представляет новый бенчмарк MedRealMM для оценки мультимодальных языковых моделей в реальных онлайн-медицинских консультациях. Разработчики подчеркивают, что существующие тесты плохо отражают клиническую практику: они часто используют синтетические диалоги или симуляторы пациентов, не учитывают загруженные пациентом снимки и оценивают ответы по простым метрикам совпадения слов.
MedRealMM построен на обезличенных данных из китайской национальной интернет-больницы. Он содержит 5620 реальных мультимодальных случаев из 64 клинических отделений. В основе бенчмарка лежит метод извлечения клинических контрольных точек (MCCP), который выделяет ключевые моменты в диалоге врача и пациента. Затем каждый такой момент преобразуется в задачу генерации следующего ответа с учетом предыдущих текста и изображений.
Каждый пример снабжен рубрикой, составленной врачами: она поощряет клинически обоснованные действия и штрафует небезопасные, неподтвержденные или противоречивые ответы. Таким образом, MedRealMM оценивает не просто соответствие ожидаемому ответу, а качество и безопасность клинических решений.
Авторы протестировали 19 моделей — как универсальных, так и специализированных медицинских, включая текстовые и мультимодальные. Результаты показали, что информация из изображений (например, снимки кожи, рентгенограммы) критически важна для надежной клинической работы. Без изображений качество ответов существенно падает.
Современные передовые модели могут удовлетворить столько же (или больше) положительных клинических критериев, как и реальные врачи, но при этом они генерируют значительно больше ошибочных или небезопасных ответов. Исследователи отмечают, что главным узким местом остается недостаточное избегание ошибок, чувствительных с точки зрения безопасности.
MedRealMM предоставляет реалистичный и воспроизводимый способ оценки мультимодального медицинского рассуждения. Набор данных будет опубликован на Hugging Face. Работа может помочь в совершенствовании ИИ-ассистентов для онлайн-консультаций, делая их более надежными и безопасными.
