Учёные представили метод обвязки для аудируемых LLM-агентов: код гарантирует безопасность и полезность

Крупные языковые модели (LLM) всё чаще используются в корпоративных прототипах, где их поведение управляется промптами и контекстом. Однако при переходе к продукту требуются чёткие границы источников, маршрутизация запросов, контракты на ответы и воспроизводимые треки. Исследователи предложили метод обвязки (harness-engineering), который перестраивает эту структуру в отслеживаемую и аудируемую архитектуру.

Суть подхода — детерминированное поведение выносится в код, манифесты, схемы и артефакты валидации вокруг заменяемой композиционной границы. При этом утверждения с привязкой к источнику остаются основой для ответов во время выполнения. Таким образом, система становится прозрачной и контролируемой.

Метод протестировали на срезе публичных данных пяти южнокорейских корпоративных групп (25 котируемых компаний). Исследователи оценили три аспекта: сохранение контрактов (привязка к источнику, маршрутизация, трек, гигиена вывода, рекомендательный язык), работу при замене модели и сравнение кодовых гарантий с промптами и внешними ограждениями.

Результаты показали, что обвязка сохраняет все контракты в фиксированных сценариях валидации, а специальный контроль с внесением ошибок подтверждает, что валидаторы помечают намеренно сломанные контракты. Проверки работают при замене модели: на трёх размещённых моделях все 270 тестов на композиционной границе прошли успешно.

Кодовые гарантии оказались нагрузочными — их невозможно воспроизвести одними промптами. При фиксированной модели и варьировании только уровня контроля одни лишь инструкции в промпте пропускали нарушения рекомендательного языка и утечки внутреннего трека, которые обвязка полностью блокировала. Внешнее ограждение также предотвращало эти нарушения, но чрезмерно отказывало: полезность упала до 88 из 120, тогда как обвязка сохранила все 120.

Авторы заключают, что предложенный паттерн превращает исследовательские прототипы в аудируемые приложения с версионированными артефактами источника, управления и валидации. Это делает подход пригодным для корпоративных сценариев, где важны безопасность, прозрачность и сохранение полной функциональности.