Новый метод AgentStop позволяет экономить до 20% энергии при работе локальных ИИ-агентов

Автономные агенты на базе больших языковых моделей (LLM) всё чаще используются для автоматизации сложных многошаговых задач, таких как написание кода или ответы на вопросы в интернете. Однако облачные решения вызывают опасения по поводу конфиденциальности и требуют постоянного интернет-подключения, а также несут периодические затраты на API.

Развёртывание агентов локально на устройствах пользователей решает эти проблемы, сохраняя приватность данных и исключая плату за использование. Но локальные рабочие процессы оказываются гораздо более ресурсоёмкими, чем обычное взаимодействие с LLM. Итеративные рассуждения, использование инструментов и повторные попытки при сбоях значительно увеличивают потребление токенов и вычислительных мощностей, часто без успешного завершения задач.

Авторы работы, опубликованной в архиве arXiv, провели измерения времени, токенов и энергозатрат локально развёрнутых LLM-агентов на потребительском оборудовании. Результаты показали, что агентное выполнение увеличивает энергопотребление графического процессора, его температуру и разряд батареи по сравнению с однократным выводом.

Для решения этой проблемы учёные представили AgentStop — лёгкий супервизор эффективности, который предсказывает и досрочно прекращает траектории, скорее всего, неуспешные. Используя малозатратные сигналы выполнения, такие как вероятности токенов на уровне логов, AgentStop может сократить бесполезные затраты энергии на 15-20% при минимальном влиянии на производительность задач (падение полезности менее 5%) для сложных веб-задач и задач программирования.

Таким образом, предиктивное раннее завершение неудачных попыток становится практическим механизмом для создания устойчивых и сохраняющих приватность LLM-агентов на пользовательских устройствах. Код и данные проекта доступны в открытом репозитории на GitHub.