FAIR-Calib: новый метод сжатия диффузионных LLM снижает ошибки квантизации
Диффузионные большие языковые модели (dLLM) генерируют текст, итеративно уточняя токены, но каждое решение записывается необратимо. Это создаёт эффект запаздывания стабильности: ранние решения остаются хрупкими даже после записи. При сжатии модели с помощью пост-тренировочной квантизации (PTQ) ошибка легко переворачивает эти пограничные решения, которые затем фиксируются и усиливаются.
Для решения этой проблемы исследователи из FAIR (Facebook AI Research) предложили FAIR-Calib (Frontier-Aware Instability-Reweighted Calibration). Это двухэтапный фреймворк PTQ, специально разработанный для dLLM. Первый этап исследует полную модель-учитель для оценки позиционного приоритета, который учитывает попадания на границу записи и надёжность маскированных состояний.
Второй этап выполняет калибровку off-policy послойно, минимизируя перевзвешенную среднеквадратичную ошибку скрытых состояний. Это позволяет приоритетно защищать хрупкие состояния на границе записи без затратных полных диффузионных развёрток. Теоретически авторы обосновали, что взвешенная целевая функция является суррогатом для дивергенции Кульбака-Лейблера выхода.
Эксперименты показали, что FAIR-Calib стабильно превосходит современные базовые методы на моделях LLaDA и Dream (в конфигурации W4A4). Он значительно уменьшает количество переворотов решений на границе записи и подавляет несоответствия после фиксации на разнообразных тестах.
Разработка открывает путь к более эффективному развёртыванию диффузионных языковых моделей на устройствах с ограниченными ресурсами, сохраняя их качество. Метод не требует дорогостоящих полных прогонов диффузии, что делает его практичным для реального применения.
Полный текст исследования доступен на arXiv (ID: 2606.06547).
