MAVEN: лёгкий ИИ-каркас повышает точность вызова инструментов с 48% до 71% без дообучения
Исследователи представили MAVEN (Modular Agentic Verification and Execution Network) — лёгкий символьный каркас для структурированной декомпозиции задач, адаптивной оркестрации инструментов и промежуточной верификации. Система нацелена на улучшение обобщения в средах с вызовом инструментов, что остаётся ключевой проблемой для надёжных агентных систем рассуждения.
Хотя большие языковые модели демонстрируют высокие результаты на отдельных тестах, их способность комбинировать стратегии рассуждения, сохранять промежуточные состояния и координировать инструменты между доменами изучена недостаточно. MAVEN решает эту задачу за счёт модульной архитектуры, не требующей дополнительного обучения.
Эффективность MAVEN оценили на нескольких бенчмарках, включая BFCL v3, TauBench, Tau2Bench, AceBench. Кроме того, авторы создали собственный стресс-тест MAVEN-Bench, который содержит многошаговые математические и физические задачи с явной верификацией и adversarial комбинированием заданий.
В прямых тестах на MAVEN-Bench система улучшила точность базовой модели GPT-OSS-120b с 48% до 71% без какого-либо дообучения. Это демонстрирует, что лёгкие каркасы, ориентированные на верификацию, способны существенно усилить композиционное рассуждение.
MAVEN остаётся конкурентоспособным по сравнению с лучшими проприетарными системами, при этом используя открытую модель с примерной стоимостью в 10 раз ниже. Исследователи предполагают, что такие подходы стимулируют более процессно-ориентированную оценку агентов в реальных условиях.
