Ученые вывели правила масштабирования Gated Delta Networks для эффективного обучения больших языковых моделей

Обучение больших языковых моделей требует огромных вычислительных ресурсов. Одним из способов снизить затраты является использование эффективных архитектур, таких как Gated Delta Networks, и методов переноса гиперпараметров. Однако ранее такие методы были разработаны только для стандартных трансформеров.

Исследователи представили на arXiv препринт, в котором расширили подход Maximal Update Parametrization (?P) на Gated Delta Networks. Они математически вывели правила масштабирования, анализируя размеры координат при прямом распространении, механизмы гейтинга и рекуррентную динамику состояний.

Новые правила позволяют переносить конфигурации гиперпараметров, например скорость обучения, с малых моделей на более крупные без дополнительной настройки. Это работает как для оптимизатора AdamW, так и для SGD, тогда как стандартная параметризация терпит неудачу.

Эксперименты по предобучению языковых моделей подтвердили, что предложенные конфигурации обеспечивают стабильное обучение при масштабировании ширины модели. Это делает Gated Delta Networks более практичными для реальных задач, снижая затраты на подбор гиперпараметров.

Работа важна для сообщества, занимающегося разработкой эффективных архитектур. Она показывает, что теоретически обоснованные правила масштабирования могут быть применены к сложным рекуррентным сетям, не ограничиваясь только трансформерами.

Детали исследования доступны в препринте arXiv:2606.04048. Авторы планируют дальнейшее изучение применения ?P к другим нестандартным архитектурам.