ANNEAL: нейро-символический агент устраняет повторяющиеся ошибки LLM-агентов без изменения весов
Группа исследователей разработала ANNEAL — нейро-символический агент, способный самостоятельно исправлять повторяющиеся ошибки в работе LLM-агентов. В отличие от существующих подходов, он не изменяет веса модели, а вносит правки в граф процессных знаний.
Механизм Failure-Driven Knowledge Acquisition (FDKA) локализует оператор, ответственный за сбой, синтезирует исправление через LLM с ограничениями и проверяет его с помощью многомерной оценки, символьных ограничений и канареечного тестирования. Каждое принятое изменение содержит полную информацию о происхождении и возможность отката.
Эксперименты проводились в четырёх областях на 27 запусках с разными начальными условиями. ANNEAL стал единственной системой, которая фиксировала структурные исправления. Эталонные методы ReAct и Reflexion достигали высокого эпизодического восстановления, но оставляли 72–100% повторяющихся ошибок, тогда как ANNEAL снизил этот показатель до 0%.
Абляционный анализ показал, что удаление FDKA полностью прекращает структурные правки и снижает долю успешных выполнений на 26,7 процентных пункта. Результаты указывают, что управляемая символьная коррекция может стать дополнением к адаптации на уровне весов и промптов.
Разработчики отмечают, что текущая версия ANNEAL сосредоточена на повторяющихся отказах в чётко определённых процессах. Дальнейшие исследования будут направлены на расширение областей применения и повышение эффективности синтеза правок.
