Нейронная вариативность улучшает защиту искусственных нейросетей от атак

Ученые изучили влияние нейронной вариативности на устойчивость искусственных нейронных сетей (ИНС). В отличие от периферических сенсорных нейронов, которые реагируют стабильно, нейроны коры головного мозга демонстрируют значительную изменчивость ответов на повторяющиеся стимулы. Исследователи задались вопросом, может ли такой шум нести полезную функцию.

В работе, доступной на arXiv, авторы проанализировали, как коррелированный шум в активациях нейросетей влияет на устойчивость к состязательным атакам и естественным модификациям изображений. Используя ковариацию активаций при измененных и чистых входных данных, они выяснили, что структурированный шум значительно улучшает робастность сети.

Оказалось, что наибольший эффект достигается при защите от естественных искажений, таких как изменение освещения, поворот или размытие. Однако эта структура шума плохо переносится между разными типами модификаций. В то же время структура шума, полученная от состязательных атак, может обобщаться на другие виды атак.

Эти результаты указывают на то, что внесение структурированного шума в активации ИНС является биологически правдоподобной стратегией для создания более устойчивых моделей. Такой подход использует только локальную информацию, что упрощает его реализацию.

Работа открывает перспективы для повышения безопасности систем искусственного интеллекта, особенно в условиях, когда злоумышленники могут целенаправленно вводить модель в заблуждение.