Исследователи представили метод защиты мультиагентных систем от скрытых кибератак

Исследователи представили новый подход к защите мультиагентных систем, в которых несколько ИИ-агентов действуют совместно. В центре внимания — так называемые византийские атаки, когда часть агентов тайно изменяет общий план действий.

В работе, опубликованной в архиве препринтов arXiv, рассматривается сценарий онлайн-обучения. Группа агентов вырабатывает совместный план, но неизвестное фиксированное подмножество участников может после наблюдения плана незаметно подменять собственные координаты. При этом обучающая система видит только запланированные действия, публичные награды и состояния, но не видит ни факта подмены, ни реально выполненного действия.

Цель — обеспечить безопасность: оптимизировать результат команды даже при наиболее разрушительных подменах. Авторы показывают, что характер атаки определяет геометрию задачи. Если атакующий видит запланированное действие, модель сводится к робастному марковскому процессу принятия решений с прямоугольной структурой по парам состояние-действие. Если атакующий действует вслепую, задача упрощается до модели с прямоугольной структурой по состояниям.

Исследователи вывели теоретический предел обучаемости. Они показали, что сожаление о безопасности точно раскладывается на две составляющие: обычное сожаление от отклика, который генерирует данные, и накопленный разрыв отклика. На примере двух неразличимых сценариев доказано, что ожидаемое сожаление не может быть меньше линейной величины, даже при нулевом обычном сожалении. Это означает, что зависимость от накопленного разрыва принципиально неизбежна.

Для практической работы предложен алгоритм, основанный на устойчивой оценке и принятии решений. Для него доказана верхняя граница сожаления порядка H в квадрате, умноженное на корень из числа состояний и числа действий, плюс математическое ожидание накопленного разрыва. Здесь H — горизонт планирования, S — число состояний, A — число действий, K — число эпизодов.

По мнению авторов, результаты создают теоретическую и алгоритмическую основу для построения надежных мультиагентных систем. Такие системы важны для робототехники, автономного транспорта и распределенного управления, где несколько ИИ-агентов должны координировать действия в условиях возможных сбоев или вредоносного вмешательства.