Новый метод LiftQuant сжимает LLM до дробных битов: 70B модель влезает в 24 ГБ

Группа исследователей опубликовала в arXiv препринт, описывающий метод LiftQuant для квантизации больших языковых моделей (LLM). Ключевая особенность — возможность задавать дробную разрядность, например 2,4 бита, вместо привычных 2 или 3.

Существующие подходы жёстко привязаны к целым битам, из-за чего модель часто не вписывается ровно в доступную память. LiftQuant решает эту проблему с помощью механизма lift-then-project: сначала веса отображаются в пространство большей размерности, где квантуются 1-битной решёткой, а затем проецируются обратно. Эффективная разрядность определяется отношением размерности поднятого пространства к исходной и может быть почти любой.

Такой подход даёт неоднородный кодбук, похожий на векторное квантование, но остаётся совместимым с эффективными линейными операциями и 1-битными квантователями. Это позволяет использовать метод на обычных GPU без специального оборудования.

В экспериментах LiftQuant сжал 70-миллиардную модель LLaMA до 2,4 бита, что позволило разместить её на видеокарте с 24 ГБ памяти. При этом качество генерации превзошло показатели 2-битных моделей, которые обычно используются на таких GPU.

Авторы подчёркивают, что гибкость в выборе разрядности открывает путь к истинно Парето-оптимальному развёртыванию LLM, когда модель занимает ровно столько памяти, сколько доступно, без излишних потерь в точности. Исходный код и контрольные точки модели опубликованы на GitHub.

Разработка может упростить запуск больших языковых моделей на потребительском оборудовании и в облачных инстансах с ограниченной памятью, где прежде приходилось выбирать между грубой квантизацией и недостаточным качеством.