ToolVerse: Платформа для обучения ИИ сложным задачам с тысячами инструментов

Исследователи из сообщества arXiv опубликовали работу, в которой представлен ToolVerse — новый фреймворк для масштабирования сред обучения агентов с подкреплением (RL). Система решает проблему неспособности LLM-агентов сохранять устойчивость в крупномасштабных динамических средах, требующих интеграции множества инструментов.

ToolVerse автоматически строит обширные исполняемые среды для тренировки агентов на основе почти 400 реальных протоколов Model Context Protocols (MCP), которые включают около 4500 инструментов. Это позволяет создавать разнообразные сценарии, приближенные к реальным условиям.

Для генерации долгосрочных задач авторы разработали стратегию на основе графа зависимостей инструментов, используя алгоритм динамической разблокировки выборок (Dynamic Unlocking Sampling). В результате был создан датасет GUST (Graph Unlocking Sampling Tasks).

Чтобы преодолеть проблему атрибуции кредита в длинных цепочках действий, предложен алгоритм Turn-Aware Relative Advantage — метод уточненного расчета преимущества с учетом ходов агента. Это позволяет более эффективно обучать агента в средах с большим горизонтом планирования.

Авторы провели обширное обучение с подкреплением с использованием ToolVerse и протестировали фреймворк на нескольких бенчмарках для агентов. Эксперименты показали значительное усиление способностей LLM к долгосрочному использованию инструментов и устойчивому рассуждению в динамических условиях.

Разработка ToolVerse открывает путь к созданию более автономных ИИ-систем, способных работать в реальных приложениях, где требуется последовательное выполнение сложных многошаговых операций с использованием широкого спектра внешних сервисов и API.