Новый бенчмарк: 474 игры для оценки интерактивных рассуждений языковых моделей

Команда исследователей опубликовала работу, в которой представляет новый бенчмарк для оценки интерактивных рассуждений больших языковых моделей (LLM). Вместо традиционных одношаговых вопросов и ответов бенчмарк требует от модели активного взаимодействия с окружением: она получает только правила задачи и должна самостоятельно формулировать запросы к скрытому состоянию среды, накапливать информацию и решать, когда дать окончательный ответ.

Бенчмарк, описанный в препринте на arXiv, включает 474 исполняемые игры, каждая из которых имеет пять уровней сложности. Оценка проводится по нескольким метрикам: успешность решения, эффективность взаимодействия (количество запросов), устойчивость к контекстуальным помехам, а также метакогнитивная адаптация — способность пересматривать выводы при контрфактических сценариях.

В ходе экспериментов были протестированы многие современные фронтальные модели. Результаты показали, что бенчмарк обладает высокой дискриминационной способностью: различия между моделями проявляются не только в успешности, но и в эффективности их взаимодействия. Контекстуальные помехи вызывали умеренное, но стабильное снижение показателей, тогда как задачи на контрфактический пересмотр и оценку необходимости приводили к гораздо более серьёзным падениям точности.

Авторы подчёркивают, что разработанный подход позволяет глубже понять, насколько хорошо модели умеют активно получать доказательства и обновлять свои убеждения — ключевые навыки для реальных приложений, таких как ассистенты и диалоговые системы. Бенчмарк открыт для использования и может стать инструментом для дальнейших исследований в области интерактивного ИИ.

Работа доступна на arXiv под номером 2606.00103.