Новый метод квантования ИИ-моделей: до 9% экономии памяти и 2,45x ускорения
Группа исследователей представила новый метод квантования нейросетей — signed symmetric quantization, который улучшает эффективность работы больших языковых моделей (LLM) при низкой точности (несколько бит). В отличие от стандартного симметричного квантования, он использует знаковую сетку, размещая дополнительное представимое отрицательное число на «хвосте» с доминирующим выбросом, что снижает ошибку округления.
Традиционное симметричное квантование фиксирует масштаб строго положительным, из?за чего один из крайних уровней остаётся неиспользованным. Асимметричное квантование решает эту проблему за счёт нулевой точки, но платит увеличением вычислительной нагрузки. Новый подход, названный signed absmax grid, сохраняет нулевую точку равной нулю, но распределяет дополнительный уровень на сторону с большими выбросами — это достигается простым правилом выбора знака.
Эксперименты проводились на моделях Qwen3, Qwen3.5 и Llama3. При 4?битной точности signed symmetric quantization показал улучшение перплексии и точности few?shot по сравнению с обычным симметричным квантованием. На серверном процессоре AMD EPYC Turin в среде llama.cpp новый формат потреблял до 9% меньше памяти, а пропускная способность оказалась в 2,45 раза выше, чем у асимметричного аналога.
Теоретический анализ показал, что предложенная сетка является условно оптимальной по среднеквадратичной ошибке квантования — это условие выполняется для 88–99% весовых групп предобученных LLM на малых разрядностях. Авторы также доказали, что смена знака масштаба в стандартном симметричном квантователе аналитически эквивалентна сдвигу нулевой точки на единицу.
Результаты работы опубликованы в препринте arXiv (2607.08779). Разработка может быть полезна для развёртывания LLM на CPU, где каждый бит памяти и такт процессора на счету. Signed symmetric quantization не требует дополнительных вычислительных затрат при инференсе и легко интегрируется в существующие фреймворки.
