WAV v1: новый метод маршрутизации остатков для глубоких трансформеров

Остаточные соединения — ключевой элемент обучения глубоких трансформеров, но стандартные PreNorm-схемы используют фиксированные веса. Недавние работы, такие как Attention Residuals и Block Attention Residuals, заменили фиксированное суммирование на маршрутизацию, однако блочные резюме хранят лишь низкочастотную информацию, теряя направленные детали.

Новый метод WAV v1, описанный в препринте arXiv:2606.06564, предлагает многоразрешающую маршрутизацию для декодер-трансформеров. Каждый блок дополняется двумя базисами: фазовым (различие между attention и MLP) и расщепляющим (ранние и поздние подслои). Эти базисы маршрутизируются вместе с блочными резюме через общий softmax-микшер, а специальная инициализация и нормализация стабилизируют обучение.

Эксперименты на бенчмарках TinyStories и Text8 показали, что WAV v1 не дает преимуществ на 12 слоях, но становится конкурентоспособным на 24 и превосходит все базовые методы на 48 слоях. В 48-слойной конфигурации валидационная потеря снизилась с 0.4960 до 0.4738 на TinyStories и с 0.9363 до 0.9305 на Text8 по сравнению с Block AttnRes.

Важно, что улучшение достигнуто с минимальным ростом числа параметров. Авторы подчеркивают: направленные детали остаточных потоков, а не только суммарные блочные смещения, критически важны для масштабирования маршрутизации в глубоких трансформерах.