AdaCoM: адаптивное управление контекстом повышает эффективность LLM-агентов
Долгосрочные задачи, такие как веб-поиск и глубокие исследования, остаются вызовом для агентов на основе больших языковых моделей (LLM). Накопление контекста приводит к деградации длинного контекста и ошибкам рассуждения. Традиционные методы управления контекстом либо требуют обучения самого агента, что невозможно для закрытых моделей, либо используют фиксированные стратегии, не учитывающие особенности разных агентов.
Группа исследователей предложила AdaCoM (Adaptive Context Management) — новый подход, при котором внешняя LLM управляет контекстом замороженного агента. Адаптивные действия по модификации контекста (например, удаление устаревшей информации) оптимизируются с помощью сквозного обучения с подкреплением, что позволяет агенту сосредоточиться на актуальных данных.
Эксперименты на нескольких агентах и бенчмарках по веб-поиску и глубоким исследованиям показали, что AdaCoM значительно повышает точность выполнения задач. Метод сохраняет ключевые ограничения и прогресс, одновременно убирая устаревшие фрагменты контекста.
Учёные выявили интересную закономерность: «компромисс точности и надёжности». Агенты с изначально высокой производительностью (vanilla ReAct) выигрывают от сохранения более точного контекста, тогда как менее эффективным агентам требуется агрессивное сжатие, чтобы оставаться в рамках надёжного рассуждения.
Тесты на переносимость показали, что обученный модуль AdaCoM лучше всего обобщается на агентов со схожей базовой производительностью. Это открывает путь к созданию переиспользуемых контекстных менеджеров для целых классов агентных систем.
Исследование опубликовано на arXiv и может стать основой для более эффективных автономных ассистентов в условиях ограниченного контекста.
