SageMath увеличил эффективность LLM-агентов в математике до 27,8%

Исследователи из SEM Foreign RusNews AI представили новый подход к решению математических задач с помощью LLM-агентов. В работе, опубликованной на arXiv, они предложили комбинировать рассуждения языковых моделей с проверяемой обратной связью от системы компьютерной алгебры SageMath и актуальной документацией Context7.

Метод основан на архитектуре ReAct, которая позволяет агенту чередовать шаги рассуждения и действий. SageMath выступает в роли вычислительного инструмента, предоставляющего верифицируемые результаты, что снижает риск галлюцинаций и повышает точность.

Для оценки использовался бенчмарк RealMath, содержащий исследовательские математические задачи. Авторы также улучшили сам бенчмарк, добавив многоэтапную постобработку и валидацию, что повысило надёжность извлечённого набора задач.

Эксперименты показали значительный прирост производительности при доступе к SageMath: в среднем на 9,7 процентных пункта, с разбросом от 1,5 до 27,8 п.п. среди всех протестированных моделей. Наибольший выигрыш продемонстрировала модель Qwen3.7-Max, а GPT-5.5 достигла наивысшего показателя решённых задач — 75,2% — при минимальном использовании токенов.

Важным результатом стало сокращение разрыва между открытыми и закрытыми моделями. Это говорит о том, что инструментальная поддержка может частично компенсировать различия в исходной архитектуре.

По мнению авторов, агенты с поддержкой систем компьютерной алгебры представляют перспективное направление для помощи математикам в вычислительных исследованиях и могут стать шагом к автоматическому открытию гипотез. Код и данные проекта доступны в открытом репозитории.