CPSAINT и FRIESA-K: новый подход к измерению рисков в агентном ИИ
Существующие модели риска для агентного искусственного интеллекта не успевают за стремительным внедрением систем в доверенные среды. Одни подходы детально описывают механизмы сбоев, но не дают измеримой оценки остаточного риска. Другие предоставляют численные показатели, однако рассматривают внутренние процессы как «чёрный ящик».
Новый фреймворк CPSAINT (Cyber-Physical System AI Integrity) устраняет этот разрыв. Он предлагает семислойную декомпозицию целостности: физическое состояние, сенсоры, данные, вычисления, исполнительные механизмы, окружение и время. Каждый слой может быть источником уязвимостей.
В паре с CPSAINT работает метод FRIESA-K — функционал остаточного риска, который сопоставляет каждый путь отказа с количественно измеренным экземпляром риска. Ключевая особенность: параметр сопротивления K обосновывается через управляемую поглощающую марковскую модель, что выводит оценку эффективности контроля из динамики состояний, а не из произвольных баллов.
Разработчики также ввели отдельный аддитивный штраф для наблюдаемости управления, не смешивая его с основным функционалом сопротивления. Это повышает прозрачность для регуляторных и аудиторских целей.
Работоспособность фреймворка продемонстрирована на двух контрастных сценариях: жёсткий робот реального времени на складе и финансовый агент с встроенными механизмами управления. В обоих случаях использовались единые грамматика слоёв, семантика переменных и конструкция динамического сопротивления.
Таким образом, CPSAINT и FRIESA-K образуют компактное ядро для межпредметного анализа рисков, явных допущений и количественно обоснованной формализуемой надёжности. Это открывает путь к построению более устойчивых и проверяемых агентных систем искусственного интеллекта.
