Новое тождество для ландшафтов потерь нейросетей: создан оптимизатор Spectral Newton, превосходящий AdamW
Группа исследователей представила математическое разложение показателя кривизны ландшафта потерь нейронных сетей — так называемого curvature exponent ?. Этот параметр определяет, как собственные значения гессиана масштабируются с сингулярными числами градиента. В разных слоях ? отличается: для сверток он около 2, для трансформеров — около 1, для MLP — менее 1.
Ученые доказали теорему Spectral Alignment Decomposition: ? = 2 + d log ?_k / d log ?_k, где ?_k — мера выравнивания собственных базисов. Это сводит вопрос «почему ? различается?» к геометрическому анализу, который авторы провели для LayerNorm, residual-связей и softmax.
На основе разложения выведено спектральное тождество переноса: s = ??, где s — показатель затухания гессиана, ? — скорость спадания ранга градиента. Тождество является алгебраическим, но его эмпирическая проверка на 93 слоях, пяти архитектурах и трех наборах данных дала медианную ошибку лишь около 2% — без каких-либо свободных параметров.
Исследователи показали, что кривизна сосредоточена фактически в одном направлении на слой. Это позволило разработать архитектурно-адаптивный предобуславливатель T(?;?) и алгоритм Spectral Newton, который реализует T в базисе сингулярных направлений градиента.
В тестах на задачах компьютерного зрения, где ? ? 2, Spectral Newton превзошел популярный оптимизатор AdamW, что открывает путь к более эффективному обучению глубоких сетей.
Полный текст исследования опубликован в репозитории arXiv (ID: 2606.02596).
