Новый тест выявил негибкость LLM-агентов при смене надёжных инструментов

Учёные из проекта arXiv представили новый бенчмарк для оценки способности LLM-агентов адаптироваться к изменениям в доступных инструментах. Методика основана на тесте смены стратегии (set-shifting), заимствованном из когнитивной психологии.

В рамках эксперимента агентам предлагался набор инструментов с избыточностью: несколько разных инструментов могли решать одну и ту же задачу, но их надёжность со временем менялась. Сценарий предусматривал скрытые границы, после которых группа надёжных инструментов заменялась на другую.

Результаты показали, что по умолчанию агенты уже после нескольких шагов фиксируются на небольшом повторяющемся наборе действий. Доля вызовов каждого инструмента концентрировалась вокруг нескольких дискретных значений после каждого сдвига.

Для оценки качества адаптации исследователи ввели показатель точности смены стратегии (set-shifting accuracy) — совместную вероятность того, что агент направляет запросы к целевой группе инструментов в каждом окне после сдвига.

Тестирование проводилось на открытых LLM с открытым кодом в среде агентного управления (agentic harness). Были обнаружены качественно различные типы неудач при одних и тех же сценариях: одни агенты полностью игнорировали новые надёжные инструменты, другие — хаотично переключались, третьи — слишком медленно реагировали.

Также выяснилось, что способ представления набора инструментов (как конкурирующих или как дополняющих друг друга) существенно влияет на динамику выбора. Если инструменты подавались как конкурирующие, агенты чаще застревали на одном из них, тогда как при подаче как дополняющие — демонстрировали большую гибкость.

Работа подчёркивает, что современные LLM-агенты склонны к ригидности в поведении, что может быть критично для практических применений, где надёжность инструментов меняется динамически. Дальнейшие исследования могут быть направлены на улучшение адаптивности агентов через обучение или изменение архитектуры.