DocsChisel: новый фреймворк повысил успешность ИИ-агентов на 95,89%
Команда исследователей представила DocsChisel — фреймворк для адаптивной оптимизации документации инструментов, которыми пользуются агенты на основе больших языковых моделей (LLM). В arXiv опубликованы результаты эксперимента, показавшие значительный прирост эффективности.
Как отмечается в работе, современные LLM-агенты всё чаще полагаются на внешние инструменты для решения сложных реальных задач. При этом документация этих инструментов обычно рассматривается как фиксированный входной параметр. Существующие исследования в основном сосредоточены на улучшении навыков работы с инструментами, а не на качестве описаний.
Авторы провели крупномасштабное эмпирическое исследование документации инструментов для LLM-агентов. Выяснилось, что информационные поля в существующих документациях сильно различаются, а их эффективность зависит от предметной области, используемой базовой модели и парадигмы агента. Следовательно, единая фиксированная документация не может одинаково хорошо работать во всех сценариях.
Для решения этой проблемы разработчики создали DocsChisel. Фреймворк анализирует неудачные трассы выполнения целевого агента, выявляет проблемы, связанные с документацией, и итеративно улучшает описания каждого инструмента: добавляет, удаляет или уточняет информационные поля.
В ходе тестирования DocsChisel сравнивали с двумя современными базовыми подходами — EasyTool и DRAFT. Результаты показали, что новая система повышает успешность выполнения задач на 95,89% по сравнению с исходной документацией и в среднем на 75,15% по сравнению с существующими подходами.
При этом оптимизация требует ограниченных затрат времени и токенов, что делает метод практичным для реальных сценариев. По мнению авторов, адаптивная работа с документацией инструментов может стать важным направлением в развитии LLM-агентов.
