LangGraph-агент сокращает токены в автоэкспериментах на 90%
Авторы новой работы на arXiv предложили stateful ReAct-агент, который радикально снижает расход токенов при автоматическом экспериментировании. Статeless-агенты каждый раз заново обрабатывают всю историю, что приводит к квадратичному росту затрат. Новый подход использует постоянное состояние и фиксированное окно контекста.
Реализация выполнена на фреймворке LangGraph. Агент хранит типизованное состояние и вызывает инструменты для доступа к истории, не перечитывая её целиком. Это даёт линейную стоимость на итерацию вместо квадратичной.
Метод протестировали на двух задачах: подбор гиперпараметров (15 итераций, небольшие наблюдения) и оптимизация производительности кода (40 итераций, большие наблюдения с полным кодом и результатами бенчмарков). В первой задаче stateful-агент потребил 2492 токена против 24465 — экономия 90%. Во второй — 627 тыс. токенов против 1,275 млн — на 52% меньше.
При этом качество оптимизации осталось сравнимым с stateless-подходом. Авторы подчёркивают, что экономия носит структурный характер: stateless-агент вынужден повторно читать всё на каждом шаге, тогда как stateful работает в окне фиксированного размера за O(1) токенов за итерацию.
В статье подробно описана архитектура, чтобы практики могли реализовать такой агент для своих рабочих процессов. Работа опубликована в репозитории arXiv.
Разработка особенно актуальна для задач, где каждая итерация требует обработки больших объёмов кода или данных. Снижение токенов ведёт к экономии вычислительных ресурсов и затрат на API языковых моделей.
