Новый метод GRAPE повышает устойчивость нейросетей к атакам при меньшем числе параметров

Ученые представили новый метод обучения нейросетей под названием GRAPE (Guided Parameter-Space Evolution), который значительно повышает устойчивость моделей к атакам. В отличие от традиционного подхода, GRAPE не фиксирует пространство параметров с самого начала, а постепенно расширяет его.

Стандартное состязательное обучение (Adversarial Training, AT) настраивает все параметры одновременно, что может приводить к неоптимальным решениям. GRAPE сочетает стабилизацию параметров в текущем пространстве с постепенным добавлением новых оптимизируемых размерностей. Для направления новых параметров в модули, испытывающие наибольшее давление, используется показатель спектральной утилизации.

В экспериментах на наборе данных CIFAR-10 с архитектурой ResNet-18 метод показал впечатляющие результаты. При использовании модели угрозы ?? точность PGD-20 выросла с 51,70% до 56,94%, при этом вычислительные затраты остались почти неизменными (отношение FLOPs 1,009), а количество параметров сократилось примерно на 21,4%.

Дополнительный вариант с последовательным ростом той же финальной архитектуры ResNet-18 достиг точности 56,52%, что подтверждает: улучшение обусловлено не только различиями в архитектуре, но и самим путем раскрытия пространства параметров.

Результаты показывают, что направленная эволюция пространства параметров позволяет получать компактные и устойчивые к атакам конфигурации моделей при фиксированных вычислительных затратах. Это особенно актуально для приложений, где важны экономия памяти и высокая надежность, например в мобильных устройствах и IoT-системах.