Новый метод StickyMoe снижает переключение экспертов в MoE-моделях на 60%

Исследователи из SEM Foreign RusNews ML arXiv cs.LG представили метод StickyMoE, направленный на улучшение эффективности инференса MoE-моделей на устройствах с ограниченной памятью. В Mixture-of-Experts моделях каждый токен активирует лишь часть экспертов, но соседние токены часто обращаются к разным экспертам, что приводит к постоянной перезагрузке весов между медленным хранилищем и быстрой памятью.

Существующие решения проблемы — системные эвристики кэширования или дообучение роутера — не затрагивают корень проблемы. StickyMoE предлагает дифференцируемую функцию потерь, которая штрафует резкие переключения экспертов между соседними токенами, побуждая роутер сохранять одного эксперта на семантически связных участках текста.

Метод не требует изменений в архитектуре модели и добавляет лишь один гиперпараметр ?. В отличие от пост-обработки, StickyMoE позволяет представлениям экспертов и решениям роутера адаптироваться совместно с первого шага обучения.

Эксперименты на небольших MoE-языковых моделях показали, что StickyMoE снижает частоту переключения экспертов до 60% при ухудшении перплексии менее чем на 4%. Это превосходит пост-дообучение на фронте качества и локальности.

Авторы подчеркивают, что внедрение временной локальности наиболее эффективно именно на этапе обучения. Результаты открывают путь к более эффективному развертыванию MoE-моделей на граничных устройствах, где пропускная способность памяти часто является узким местом.

Работа опубликована на arXiv под идентификатором 2607.08780 и доступна для ознакомления.