Исследователи предложили p-SpheretNorm — метод нормализации, который обошел GeoNorm на nanoGPT
Остаточные связи являются стандартным механизмом для стабильного обучения глубоких нейронных сетей. Метод геодезической нормализации (GeoNorm) переформулирует их на римановом многообразии, ортогонализуя выход каждого слоя относительно текущего скрытого состояния. Это позволяет удерживать норму скрытого состояния постоянной, размещая его на гиперсфере.
Авторы новой работы на arXiv показали, что экспоненциальное отображение, используемое в GeoNorm, — лишь частный случай широкого семейства ретракций. На гиперсфере всё это семейство сводится к одному скалярному параметру: отличается только то, как величина обновления преобразуется в угол поворота в плоскости, образованной скрытым состоянием и обновлением.
Предложенный метод, названный p-SpheretNorm, объединяет евклидовы остаточные связи и GeoNorm в единую схему. Конкретные реализации с метрической проекцией и ретракцией Кэли получили названия Proj-SpheretNorm и Cay-SpheretNorm. Они сохраняют норму точно, но требуют только алгебраических операций, что делает их вычислительно эффективными.
Оба этих метода оказались частными случаями однопараметрического семейства угловых ретракций, где угол поворота насыщается, а не растёт бесконечно. При p=1 и p=2 получаются Proj-SpheretNorm и Cay-SpheretNorm, тогда как тождественное отображение и GeoNorm возникают только в предельных случаях.
Эксперименты на модели nanoGPT показали, что все три метода превосходят существующие лёгкие схемы соединения слоёв. При этом наилучшее значение функции потерь достигается при конечном значении p. Это указывает на то, что экспоненциальное отображение не является оптимальным выбором для сферических остаточных потоков, а представляет собой лишь один из концов спектра возможных ретракций.
Работа доступна в архиве препринтов arXiv и может повлиять на дальнейшие исследования в области архитектур глубокого обучения, предлагая гибкий и теоретически обоснованный инструмент для настройки остаточных связей.
