Нейросети остаются работоспособными при 90% повреждении входных данных — исследование arXiv

Исследователи представили на arXiv препринт, посвященный устойчивости нейронных сетей к повреждению входных данных. В работе рассматривается атрибутивный шум, когда входные признаки искажаются, а метки остаются нетронутыми. Этот тип зашумления изучен гораздо меньше, чем шум в метках.

Авторы провели эксперименты с многослойными перцептронами (MLP) на нескольких наборах данных для классификации. Результаты показали, что даже при замене более 90% пикселей случайными значениями (аддитивный шум или шум замещения) точность сети остается существенно выше случайного угадывания. Человек в таких условиях не смог бы распознать объект, но нейросеть справляется.

Чтобы понять причину такой устойчивости, ученые применили метод среднего поля для анализа сетей бесконечной ширины в режиме сильного зашумления. Они вывели ведущее правило принятия решения: сеть реализует прототипное правило, а именно классификацию по ближайшему среднему по классу. Каждый тестовый пример относится к тому классу, чей усредненный по обучающей выборке вектор наиболее близок к данному примеру.

Это правило оказалось универсальным для широкого спектра архитектур MLP (различная глубина, функции активации) и типов шума. Авторы подчеркивают, что оно совпадает с поведением сетей конечной ширины в эксперименте, что объясняет, почему обучение возможно даже при почти полном отсутствии сигнала в отдельных примерах.

Работа проливает свет на фундаментальные аспекты обучения с шумом и может быть полезна для разработки более устойчивых моделей в условиях зашумленных или неполных данных, например, при обработке изображений с помехами или восстановлении поврежденных сигналов.