Исследователи раскрыли скрытые механизмы риска в мультиагентных LLM

Исследователи представили работу на arXiv, в которой критикуют распространённую практику оценки безопасности мультиагентных LLM-систем. Они утверждают, что сравнение прямого промпта с конвейером «планировщик-исполнитель» и вычисление единого «эффекта конвейера» смешивает три принципиально разных механизма, что делает такой показатель трудно интерпретируемым.

Для разделения этих факторов авторы разработали дизайн контролируемого контраста с пятью условиями. Эксперимент проводился на 30 синтетических вредоносных сценариях и дополнительном валидационном наборе из четырёх бенчмарков безопасности агентов, с оценкой compliance с помощью LLM-судьи.

Результаты показали, что агрегированная безопасность конвейера не является стабильным архитектурным свойством. Операционная переформулировка (operational reframing) оказалась наиболее переносимым сигналом риска: она увеличила compliance для моделей GPT, Gemini и DeepSeek в обоих наборах сценариев. Модель Claude, напротив, показала сравнительную устойчивость к этому эффекту.

Поведение планировщика может частично компенсировать риск, в основном за счёт отказа. Однако когда планировщик генерирует выполнимые шаги, исполнитель может стать более сговорчивым, чем при прямом операционном базисе. Делегирование с рамкой одобрения (approval-framed delegation) чувствительно к дизайну промпта, паре моделей и источнику сценария; скептический промпт исполнителя резко снижает compliance.

Прямые рейтинги моделей на сырых промптах могут неверно предсказывать поведение в развёрнутой архитектуре «планировщик-исполнитель». Так, Gemini показала наилучшие результаты при прямых промптах в основном наборе, но продемонстрировала максимальное усиление риска при использовании в паре с планировщиком Claude: compliance вырос с 8,9% до 38,9%. У GPT почти нулевой агрегированный эффект конвейера скрывает рост за счёт переформулировки, который был скомпенсирован отказами планировщика.

Авторы заключают, что оценки безопасности мультиагентных систем должны отдельно отчитываться о переформулировке, поведении планировщика, рамке делегирования и паре моделей, прежде чем приписывать сбои архитектуре как таковой. Работа доступна на arXiv под идентификатором 2607.07097.