Доказан фундаментальный закон робастности двухслойных нейросетей с произвольными весами
Исследователи представили доказательство закона робастности для двухслойных нейронных сетей с произвольными весами. Результат, опубликованный на arXiv (2607.07778), подтверждает гипотезу, выдвинутую Bubeck, Li и Nagaraj: чтобы подогнать n зашумленных меток, сеть шириной m должна иметь константу Липшица не менее порядка sqrt(n/m).
Ранее Bubeck и Sellke доказали универсальную версию этого закона для классов, параметризованных с полиномиальным ограничением, но для двухслойных сетей без такого ограничения требовался новый подход. Авторам удалось обойти проблему, заменив покрытие пространства параметров покрытием пространства функций.
Доказательство работает для любой непрерывной кусочно-линейной активации, в частности для ReLU. Для данных, равномерно распределенных на сфере S^{d-1} (d>=3) или из многомерного нормального распределения, и уровня шума sigma^2, условие подгонки с ошибкой ниже шума влечет нижнюю границу Lip(f) >= c * ? * sqrt(n / (m? * log(C m? n d / ?))), где m? = (K-1)m+1.
Ключевой элемент — лемма о жесткости: на единичном шаре и сфере размерности >=3 коэффициент каждого канонического излома контролируется константой Липшица, так как изломы на разных гиперплоскостях не могут сократиться в общих точках. При d=2 это свойство нарушается, и авторы построили явный двухслойный ReLU-интерполянт с O(1)-Липшицем при ширине 2n, что совпадает с законом на сверхпараметризованном пределе.
Результат имеет широкое значение для понимания фундаментальных ограничений робастности нейросетей: даже без контроля весов, низкая ошибка на зашумленных данных требует увеличения числа нейронов либо ухудшения гладкости функции. Это помогает объяснить, почему глубокие сети часто уязвимы к состязательным примерам.
