Исследователи выпустили CrowdMath: датасет для оценки ИИ в коллективном решении математических задач
Исследователи из MIT представили датасет CrowdMath, который призван оценить способность больших языковых моделей следить за коллективным решением открытых математических проблем. В отличие от стандартных бенчмарков, где ответ уже известен, CrowdMath отражает реальный процесс: участники выдвигают частичные аргументы, находят ошибки и постепенно выстраивают полное доказательство.
Датасет включает 164 размеченные экспертами цепочки обсуждений из программы MIT PRIMES–Art of Problem Solving (AoPS) CrowdMath, которая действует с 2016 года. Каждая цепочка ведёт от постановки открытой задачи до готового доказательства. Посты распределены по функциональным ролям: частичный прогресс, завершение доказательства, ошибочное рассуждение, выявление ошибки и другие.
Авторы протестировали шесть ведущих моделей (конкретные названия не указаны) на двух задачах: предсказание следующего поста и классификация роли сообщения. В первой задаче модели достигли точности 83–88%, что говорит о способности улавливать локальный ход дискуссии. Однако во второй задаче лучший результат составил лишь 0,42 макро-F1 — модели с трудом определяют, какую именно функцию выполняет каждое сообщение в процессе доказательства.
По словам исследователей, CrowdMath вскрывает разрыв между умением решать формализованные задачи и пониманием того, как разворачивается совместная математическая работа. Текущие модели неплохо имитируют следование за диалогом, но не осознают вклад каждого шага.
Этот датасет может стать отправной точкой для создания более «социально-ориентированных» ИИ-систем, способных участвовать в научном дискурсе и помогать исследователям в реальном времени. Работа опубликована на arXiv (ID 2606.06526).
