Новый бенчмарк VAMPS: ИИ решает задачи лучше без визуальных подсказок
Группа исследователей представила новый бенчмарк VAMPS (Visual-Assisted Mathematical Problem Solving), предназначенный для оценки способности мультимодальных языковых моделей решать математические задачи с использованием графических подсказок. Работа опубликована на arXiv и содержит 1168 вопросов с несколькими вариантами ответов, взятых из вступительных экзаменов в иранские университеты по алгебре и математическому анализу.
Бенчмарк включает как оригинальные задачи, так и синтетические варианты, созданные языковыми моделями и проверенные людьми. Все задания двуязычные и подобраны таким образом, что построение графика является естественным способом решения: графики помогают найти пересечения, экстремумы, асимптоты и другие ключевые точки.
В ходе эксперимента исследователи тестировали несколько моделей, сравнивая их производительность при прямом аналитическом решении и при использовании внешних инструментов для построения графиков. Результат оказался неожиданным: во всех случаях прямой аналитический подход превзошёл решение с визуальной поддержкой.
Этот результат важен, так как во многих реальных инженерных и научных задачах визуализация считается ключевым инструментом для анализа и принятия решений. Ожидалось, что модели смогут эффективно использовать графики, но данные показали обратное — инструментальная поддержка не улучшает, а иногда и ухудшает результат.
Бенчмарк VAMPS отличается от предыдущих наборов данных, которые оценивали способность ИИ рассуждать над готовыми изображениями. В данном случае модель должна сначала построить график, а затем обосновать ответ на основе полученной визуализации. Это ближе к реальному сценарию использования ИИ в исследовательской работе.
Тем не менее, авторы отмечают, что полученные результаты не ставят под сомнение пользу визуализации в целом, а скорее указывают на текущие ограничения современных моделей. Возможно, для эффективной работы с инструментами требуется дополнительное обучение или архитектурные изменения. Исследование, по данным arXiv, может стать отправной точкой для дальнейших разработок в этой области.
