BitsMoE ускоряет квантование MoE-моделей в 12 раз, повышая точность на 28%
Группа исследователей разработала BitsMoE — фреймворк для квантования смешанной точности больших языковых моделей на основе архитектуры Mixture-of-Experts (MoE). Метод решает проблему высоких требований к памяти при развёртывании MoE-моделей, когда все веса экспертов должны находиться в оперативной памяти.
BitsMoE разлагает каждый MoE-слой с помощью сингулярного разложения (SVD) на общий базис и экспертно-специфичные спектральные факторы. Базис сохраняется без квантования, что позволяет зафиксировать общую структуру разных экспертов, а спектральные факторы становятся единицами тонкого квантования.
Для определения разрядности каждого блока BitsMoE формулирует смешанное квантование как целочисленную линейную программу, минимизирующую оценку потерь реконструкции при фиксированном битовом бюджете. Такой подход учитывает гетерогенную важность весов внутри экспертов и между ними.
Эксперименты на нескольких MoE-моделях показали значительное снижение деградации точности в режимах ультранизкой разрядности. В частности, при двухбитном квантовании модели Qwen3-30B-A3B-Base BitsMoE ускорил процесс квантования в 12,3 раза, повысил среднюю точность даунстрим-задач на 27,83 процентного пункта и увеличил скорость декодирования в 1,76 раза по сравнению с методом GPTQ.
Разработчики выложили модель и код в открытый доступ на GitHub. BitsMoE может стать важным инструментом для эффективного развёртывания крупных MoE-языковых моделей в условиях ограниченных вычислительных ресурсов.
