Исследователи: доверие в сетях ИИ-агентов нужно закладывать изначально
Развитие больших языковых моделей привело к появлению автономных ИИ-агентов, способных к сложным рассуждениям и действиям. Однако по мере их перехода от изолированной работы к совместным экосистемам возникает парадигма «агент-агенту» (Agent-to-Agent, A2A), в которой разнородные агенты автономно координируются для решения многошаговых задач.
Как показано в новой научной статье на arXiv, такие сети могут превосходить по производительности одного агента, выполняющего всю задачу. Но вместе с тем они вносят системные уязвимости: противостоящую композицию, смысловое рассогласование и каскадные операционные сбои. Существующие методы выравнивания агентов с этими рисками не справляются.
По мнению авторов, доверенность A2A-сетей невозможно полностью гарантировать, дорабатывая протоколы, созданные для отдельных агентов. Необходимо закладывать доверие в архитектуру с самого начала разработки фреймворка координации.
В работе предлагается концептуальная схема, основанная на четырёх проектных столпах. Детали этих столпов пока не раскрыты, но исследователи подчёркивают, что доверие должно быть «встроенным, а не приделанным».
Проблема особенно актуальна для систем, где агенты обмениваются данными и принимают решения без прямого контроля человека. Каскадные сбои могут привести к неожиданным последствиям, особенно в критически важных приложениях — от финансов до здравоохранения.
Авторы призывают сообщество разработчиков и исследователей к пересмотру текущих подходов. Вместо попыток исправить недоверенные сети постфактум, они предлагают создавать протоколы, в которых проверка надёжности заложена на уровне архитектуры.
