Исследователи нашли степенные законы масштабирования Muon для больших языковых моделей
Оптимизатор Muon, использующий ортонормировку через итерации Ньютона-Шульца (NS), стал популярен при тренировке больших языковых моделей. Однако точность NS ограничена: направления с малыми сингулярными числами плохо ортонормируются. До сих пор было неизвестно, как спектр сингулярных чисел матриц импульса меняется в процессе обучения и зависит от размера модели.
Группа исследователей впервые систематически изучила этот вопрос на моделях от 77 млн до 2,8 млрд параметров. Отслеживая квантили сингулярных чисел буфера импульса по слоям, они обнаружили единую картину: после короткого разогрева квантили стабилизируются на значениях, определяемых типом слоя и размером модели.
Эти стабилизированные значения подчиняются чистым степенным законам по размеру модели с разными показателями для каждого слоя. Для слоёв средней глубины показатель близок к ?0,25, так что стандартная конфигурация из 5 NS итераций остаётся работоспособной даже при значительном увеличении масштаба.
Однако у некоторых поздних слоёв показатель достигает ?0,96, что означает: на передовых масштабах они попадут в зону отказа NS, если не увеличить число итераций или не подобрать лучшие коэффициенты. Поскольку NS итерации дороги, авторы предлагают слой-ориентированный рецепт выбора минимальной конфигурации.
Новый подход позволяет ортонормировать только те направления, которые действительно важны, избегая лишних вычислений без потери качества обновлений. Это особенно актуально для моделей с сотнями миллиардов параметров, где каждый лишний шаг NS существенно замедляет обучение.
Работа опубликована в архиве препринтов arXiv и открывает путь к более эффективному использованию Muon в будущих больших языковых моделях, сочетая производительность с экономией ресурсов.
