Петлевые языковые модели эффективнее в многошаговых вызовах API
На arXiv опубликована работа, посвящённая применению петлевых (looped) языковых моделей для инструментальных вызовов в агентных системах. В таких сценариях модель должна координировать несколько запросов к API, сохранять промежуточное состояние и учитывать зависимости между вызовами.
Авторы отмечают, что петлевые модели уже показывали хорошие результаты на задачах рассуждения, однако их потенциал для агентного использования изучен недостаточно. Новая работа закрывает этот пробел.
В ходе экспериментов исследователи сравнивали нативные и доработанные петлевые модели с обычными, обученными по аналогичным рецептам, на наборах данных API-Bank, BFCL и NESTful. Оценивалась как точность изолированных вызовов, так и многошаговые сценарии.
Результаты показали, что рекуррентные вычисления в целом полезны для композиционального и зависимого от контекста использования инструментов. При этом для единичных вызовов API выигрыш оказался меньше и сильнее зависел от конкретной модели.
Точность многошаговой работы с инструментами росла с увеличением глубины рекурсии. Однако адаптивный вывод, который выделяет дополнительные вычисления только при необходимости, показал более выгодный баланс между производительностью и вычислительными затратами.
По мнению авторов, петлевые языковые модели могут стать перспективной основой для агентных систем, требующих надёжного планирования, координации и выполнения композициональных цепочек вызовов инструментов.
