ReLoRA: новая техника адаптации LLM сокращает время настройки в 8,9 раза
Научная статья, опубликованная на arXiv, описывает новый подход к адаптации больших языковых моделей (LLM) под названием ReLoRA. Техника решает проблему несовместимости старых адаптеров с обновлёнными базовыми моделями, что особенно актуально для сервисов, постоянно развивающих свои LLM.
При каждом обновлении базовой модели ранее настроенные LoRA-адаптеры теряют совместимость, и их приходится переобучать с нуля. Это требует значительных вычислительных ресурсов и замедляет развёртывание сервисов. Простое применение старого адаптера к новой модели приводит к снижению качества. ReLoRA предлагает решение, сочетающее два этапа.
Первый этап — адаптивная инициализация LoRA с использованием байесовской оптимизации. Она строит совместимую стартовую точку, объединяя информацию от ранее развёрнутого адаптера и изменений базовой модели. Второй этап — дообучение с регулируемой регуляризацией: сначала сильная регуляризация быстро выводит адаптер в область высокого качества, затем регуляризация ослабляется для точной настройки под задачу.
Эксперименты показали, что ReLoRA сокращает время до готовности сервиса (time-to-readiness) до 8,9 раза по сравнению с базовыми методами. При этом точность задач повышается на 4,6% относительно обычного переобучения. Метод особенно полезен для провайдеров, управляющих множеством downstream-сервисов на основе часто обновляемых LLM.
Разработчики отмечают, что ReLoRA не требует изменения архитектуры моделей и легко интегрируется в существующие пайплайны. Исследование опубликовано в открытом доступе и может найти применение в коммерческих и академических проектах, где важна быстрая адаптация моделей.
