Исследование: детерминированные шлюзы на 12% повышают успешность LLM-агентов с инструментами

Исследователи из авторитетного источника (arXiv:2607.07405) обнаружили критическую проблему у LLM-агентов, использующих внешние инструменты: даже при успешном отчёте агент может совершить запрещённое политикой действие, например, отменить бронь или изменить число пассажиров, не выдавая ошибки. В таких случаях инструмент просто выполняет вызов, а агент сообщает об успехе, хотя состояние системы оказывается недопустимым.

Эксперименты проводились на тестовой платформе ??-bench в домене авиакомпании. На бюджетном агенте 78% всех сбоев оказались именно «тихими» нарушениями — без ошибок инструмента, но с неверным состоянием. Частота сбоев была воспроизводима на разных наборах случайных сидов, что исключает шум выборки.

В качестве лёгкого решения авторы предложили набор из четырёх детерминированных шлюзов — простых, доступных только для чтения модулей, которые проверяют каждый вызов инструмента перед его выполнением и блокируют запись, если она нарушает политику. Результаты впечатляют: на модели gpt-4o-mini полный успех на бенчмарке вырос с 29,6% до 42,0% — прирост на 12,4 процентного пункта (p=0,0012). Те же цифры подтвердились на независимом наборе из 15 сидов (прирост +12,3 п.п., p=0,0008).

Эффект сосредоточен там, где шлюзы срабатывают: на 26 из 50 тестовых задач успех поднялся на +19,2 п.п., тогда как на 24 задачах без срабатывания изменение статистически незначимо. Два отрицательных контрольных эксперимента (розничный домен и BFCL) подтвердили механизм: шлюзы помогают только там, где сами инструменты не накладывают политических ограничений.

Кроме того, на более сильной модели gpt-5.2 (без повторной проверки) та же проблема сохраняется: при стандартном логировании агент всё ещё пытается выполнить запрещённые действия. Установка шлюзов повысила успех с 61,2% до 71,6% (+10,4 п.п., p=0,020, всего 5 прогонов). Авторы подчёркивают, что это лишь ориентировочные данные, а не основной результат.

Главный вывод работы: детерминированные шлюзы не гарантируют идеального выполнения задач, но способны надёжно предотвратить целый класс тихих нарушений на границе действия агента. Исследование предлагает практический способ повысить безопасность LLM-агентов, работающих с критическими системами — от авиаперевозок до финансов.