MedCalc-Pro: бенчмарк для ИИ-агентов в сложных медицинских расчетах
Группа исследователей опубликовала препринт, в котором представила новый бенчмарк MedCalc-Pro для оценки больших языковых моделей (LLM) в решении сложных медицинских расчетов. В отличие от существующих упрощенных тестов, новый бенчмарк приближен к реальной клинической практике.
MedCalc-Pro включает 2268 реальных клинических случаев, охватывающих 77 медицинских калькуляторов из 14 клинических отделений. Задачи разделены на три уровня сложности: работа с одним калькулятором, с несколькими калькуляторами и вложенные вычисления (nested-calculator), когда результат одного расчета используется в другом.
Особенность бенчмарка — поддержка нечетких запросов, где целевой калькулятор явно не указан. Это имитирует реальные ситуации, когда врачу нужно выбрать подходящий инструмент на основе симптомов пациента.
Для преодоления ограничений существующих методов авторы разработали агентный фреймворк, который поддерживает выбор нескольких инструментов и вложенные вызовы. Фреймворк также включает структурированную валидацию и проверку доказательств для подавления распространения ошибок параметров.
Систематическое сравнение проводилось на открытых, закрытых и специализированных медицинских LLM. Разработанный фреймворк показал наилучшую производительность во всех трех режимах задач, что подтверждает его обобщаемость.
Авторы отмечают, что MedCalc-Pro и предложенный метод могут стать основой для дальнейших исследований в области применения LLM в сложных медицинских сценариях, требующих точных вычислений.
