Оценка ИИ-агентов зависима от настроек: исследование arXiv выявило проблемы и ускорение обучения
Специалисты по искусственному интеллекту опубликовали на arXiv исследование, посвящённое двум ключевым аспектам использования инструментов (tool-calling) большими языковыми моделями (LLM). Работа затрагивает как измерение эффективности, так и скорость обучения данной способности.
В части эффективности авторы проанализировали стандартные конвейеры оценки. Оказалось, что результаты тестов крайне чувствительны к, казалось бы, незначительным и часто недокументированным моментам: выбору случайного зерна (random seed), формулировкам системного промпта, конструкции многократных диалогов и способу передачи истории взаимодействия. Даже небольшие изменения могут приводить к существенным расхождениям в итоговых показателях.
Особенно остро эта проблема стоит в многошаговых сценариях, где отсутствие строгой стандартизации делает сравнение моделей по лидербордам ненадёжным. По мнению исследователей, текущие рейтинги не всегда отражают реальные способности агентов.
Второе направление работы — эффективность обучения. Команда изучила стандартное обучение с подкреплением (RL) для вызова инструментов и выявила два источника вычислительных потерь. Во-первых, в процессе сбора данных (rollout) многие промпты не дают полезного сигнала для обучения. Во-вторых, сама оптимизация политики требует высоких вычислительных затрат.
Основываясь на этих наблюдениях, авторы предложили две техники, которые ускоряют RL-тренировку tool-calling. Методы позволяют добиться значительного прироста в реальном времени выполнения (wall-clock speedup) без ухудшения качества итоговой модели.
Работа представляет практическую ценность для разработчиков, стремящихся создавать более надёжные и быстрые ИИ-агенты, способные эффективно использовать внешние инструменты.
