Новый метод сжатия LLM ускоряет вывод в 1.4 раза без потери точности
Развертывание больших языковых моделей (LLM) на граничных устройствах затруднено из-за значительных требований к памяти и вычислениям. Альтернативой обучению компактных моделей с нуля выступает сжатие уже готовых моделей, что требует меньше вычислительных ресурсов.
Группа исследователей представила новый подход на основе дифференцируемого поиска архитектуры нейросетей (NAS). В отличие от предыдущих работ, метод не разделяет поиск архитектуры и квантование, а оптимизирует их совместно, перебирая все возможные конфигурации линейных слоев сети.
В рамках эксперимента авторы применили свой фреймворк к нескольким известным LLM. Результаты показали, что совместная оптимизация позволяет достичь лучшего баланса между точностью и скоростью работы: при сопоставимой точности вывод ускоряется до 1.4 раза по сравнению с последовательным подходом, где сначала подбирают архитектуру, а затем квантование.
Если же время вывода фиксировано, то новый метод дает до 6% прироста средней точности на семи наборах данных для задач логического рассуждения. Таким образом, предложенная техника позволяет эффективнее использовать ресурсы при сохранении качества ответов модели.
Работа опубликована на сервере препринтов arXiv и доступна для ознакомления. Авторы подчеркивают, что их метод не требует дополнительного дорогостоящего обучения и может быть применен к уже существующим моделям, что делает его удобным для практического использования.
Развитие методов сжатия имеет важное значение для внедрения LLM на мобильных устройствах, IoT-гаджетах и других платформах с ограниченными вычислительными мощностями. Новый подход может ускорить появление компактных и быстрых языковых моделей в реальных приложениях.
