Новый бенчмарк MIRA-Math проверяет способность ИИ запрашивать недостающие данные для решения задач
Исследователи из нескольких университетов представили новый бенчмарк MIRA-Math, предназначенный для оценки способности искусственного интеллекта запрашивать недостающую информацию при решении математических задач. Работа опубликована в репозитории arXiv.
В отличие от традиционных бенчмарков математических рассуждений, где все необходимые факты уже даны, MIRA-Math моделирует ситуацию, в которой у модели отсутствует ровно один критический факт. Модель должна явно запросить его на естественном языке, причём количество запросов ограничено строгим бюджетом.
Бенчмарк включает 2310 сгенерированных примеров из 22 математических областей: алгебра, теория вероятностей, линейные системы, дискретные структуры, обработка сигналов, цепи Маркова, схемотехника, интерполяция и краевые задачи численного анализа. Каждый пример снабжён типизированной подсказкой, которую может вернуть фиксированный LLM-ответчик, если запрос ей соответствует. Подсказки детерминированы, что упрощает верификацию.
Эксперименты на передовых и малых моделях показали, что успех запроса нужного факта и точность итогового ответа разделимы: модель может правильно спросить, но затем ошибиться в вычислениях, или не получить каноническую подсказку и потерпеть неудачу. Это указывает на то, что навыки информационного запроса и математического рассуждения развиваются независимо.
Авторы утверждают, что MIRA-Math заполняет пробел между статическими бенчмарками рассуждений (где вся информация дана) и интерактивными системами, смешивающими запросы с инструментами и долгими диалогами. Бенчмарк ориентирован на узкую диагностическую способность: выявить именно умение модели запрашивать недостающие атомарные факты.
Для воспроизводимости опубликованы генераторы, верификаторы, промпты, метаданные запусков и документация набора данных. Исследователи надеются, что MIRA-Math поможет улучшить как способность ИИ задавать правильные вопросы, так и точность последующих вычислений.
