SAGE-PTQ: новый метод ультранизкобитной квантизации LLM снижает скрытые затраты и повышает эффективность
Исследователи опубликовали работу SAGE-PTQ, новую технику ультранизкобитной квантизации для больших языковых моделей (LLM). Метод направлен на минимизацию скрытых затрат масштабирования, которые возникают при применении жёстких предположений о важности весов или позиционных эвристик.
SAGE-PTQ (Saliency-Aware Graph-guided Efficient PTQ) разделяет веса на значимые и незначимые на основе распределительной статистики. Затем незначимые веса моделируются как разреженный граф, что позволяет оценить оптимальное количество групп на слой. Для значимых весов применяется многобитная точность, а незначимые бинаризуются.
Для снижения издержек масштабирования метод использует один показатель масштаба на канал для значимых весов и один скаляр на группу незначимых весов. Адаптивное пороговое значение позволяет подобрать оптимальное соотношение значимых весов для каждой матрицы.
Результаты экспериментов впечатляют: средний вес составляет 1.03 бита, а масштабные биты — всего 0.004 бита на матрицу. На LLaMA-3-8B SAGE-PTQ достигает перплексии 6.74 на WikiText2, тогда как BiLLM показывает 55.8, при этом используя менее 50% памяти GPU. На LLaMA-2-70B метод обеспечивает ускорение декодирования в 1.5 раза на одном NVIDIA L40.
Разработка может существенно упростить развёртывание больших языковых моделей на оборудовании с ограниченными ресурсами. Пока работа опубликована на arXiv и ожидает рецензирования.
