Обвязку LLM-агентов научили адаптироваться через офлайн-RL

Традиционно при создании LLM-агентов обвязка — код, управляющий вызовами модели и передачей данных — считалась фиксированной инфраструктурой. Улучшения искали в промптах, архитектурах или ручных рабочих процессах. Однако новая работа на arXiv переворачивает этот подход: обвязка сама является обучаемым компонентом.

Авторы формализовали работу обвязки как конечный марковский процесс принятия решений (Harness MDP). В этой схеме лёгкий контроллер выбирает структурные действия выполнения (например, когда вызывать модель, как обрабатывать ошибки), а сама языковая модель остаётся замороженной. Контроллер обучается на офлайн-данных с помощью регрессии с взвешиванием по преимуществу (advantage-weighted regression), используя только терминальные награды из заданного рубрикатора.

Ключевое нововведение — разделение финального качества задачи и пост-фактум метрики зрелости обвязки (Harness Maturity Score). Эта метрика измеряет, следует ли обвязка надёжным шаблонам выполнения, а не только правильность ответа. Такой подход позволяет отделить процесс от результата: улучшение зрелости может происходить даже без роста финального качества.

Эксперименты охватили шесть контролируемых доменов и два публичных бенчмарка: tau-bench retail, AgentBench DB-Bench и задачи кодинга с калиброванным структурным верификатором. Везде обученный контроллер стабильно улучшал поведение верификации и избирательно повышал финальное качество. Наибольший прирост показали адаптированные версии tau-bench и AgentBench.

Для проверки гипотезы авторы сравнили свой метод с поведенческим клонированием (повторение действий из данных) и стратегией Forced CHECK (простое добавление проверок). Результаты показали, что улучшения не объясняются ни имитацией, ни механическим добавлением проверок. Это подтверждает, что обученный контроллер действительно осваивает более эффективные стратегии управления.

Исследование идентифицирует обвязку как новый, ранее упущенный слой управления для замороженных LLM-агентов. Однако авторы отмечают ограничение: офлайн-буфер должен содержать достаточно примеров с высокой отдачей, чтобы обучение привело к росту финального качества. В противном случае улучшается только процесс, но не результат.