Исследование: защита нейросетей от атак повышает уязвимость к аппаратным сбоям
Нейросети, работающие на энергоэффективных нейроморфных чипах, вынуждены решать одновременно несколько задач: сжимать модель, отражать атаки на вход и переживать аппаратные сбои. Исследователи изучили, как эти факторы взаимодействуют в свёрточных нейросетях, и представили результаты в препринте на arXiv.
В работе использовалась компактная трёхслойная CNN, обученная на наборе данных MNIST. Авторы провели три серии экспериментов: сравнили отказоустойчивость обычных и adversarially обученных моделей, оценили влияние обрезки (pruning) на устойчивость к атакам и построили карту точности при разных уровнях сбоев, атак и сжатия.
Ключевой вывод: обучение против adversarial-атак действительно повышает устойчивость к искажениям входных данных, но одновременно увеличивает чувствительность к аппаратным ошибкам весов, в частности к так называемым stuck-at-zero отказам, когда значение веса принудительно становится нулевым.
Авторы отмечают, что обрезка, вопреки интуитивным ожиданиям, не привела к заметному росту числа сбоев. Изменение уровня обрезки почти не влияло на точность при различных комбинациях интенсивности отказов и силы атак.
Такая асимметрия указывает на неочевидный компромисс: пытаясь защитить модель от внешних атак, разработчики могут непреднамеренно повысить её чувствительность к внутренним отказам оборудования. Для надёжного развёртывания в реальных системах, по мнению авторов, следует учитывать оба аспекта одновременно, а не по отдельности.
Результаты могут быть важны для проектирования нейроморфных чипов и встраиваемых AI-систем, где ресурсы ограничены, а отказоустойчивость критична.
