LongMedBench: новый бенчмарк для оценки ИИ-агентов в долгосрочных клинических решениях
Исследователи анонсировали новый бенчмарк LongMedBench, предназначенный для оценки ИИ-агентов в задачах долгосрочного принятия клинических решений. Бенчмарк построен на реальных данных электронных медицинских карт (EHR) из базы MIMIC-IV, что позволяет имитировать многолетнюю историю лечения пациентов.
В основе LongMedBench лежит воспроизводимый пайплайн, который преобразует записи о госпитализациях и клинические заметки в временные ряды событий и наборы данных с долгосрочным контекстом. Это даёт возможность проводить многосессионные взаимодействия между ИИ-агентами и клинической средой.
Бенчмарк включает данные 335 пациентов: в среднем 19,72 госпитализации на пациента и 44,91 медицинских события за одну госпитализацию. Такой объём позволяет тестировать агентов на реалистичных сценариях, где требуется учитывать динамику состояния пациента во времени.
Авторы предложили таксономию оценки из трёх категорий: фактологические вопросы, временные рассуждения и долгосрочное принятие решений. Это позволяет измерить, насколько хорошо агенты понимают и используют историческую информацию о пациенте, а также могут ли они делать выводы на основе данных за длительные периоды.
Эксперименты показали, что современные языковые модели (LLM) хорошо работают с явными временными метками, но испытывают трудности при необходимости неявного вывода времени. Использование RAG и систем памяти агента улучшает производительность в задачах поиска информации, однако в задачах принятия решений результат сильно зависит от непосредственного контекста, доступного модели в текущий момент.
LongMedBench заполняет пробел в существующих оценках медицинских ИИ, которые ранее фокусировались на коротких контекстах и использовании инструментов. Реалистичная оценка требует учёта длительных временных горизонтов, что и обеспечивает новый бенчмарк.
