ReCoLoRA: новый метод дообучения LLM без забывания предыдущих задач

Группа исследователей опубликовала на arXiv препринт, в котором описывается новый подход к непрерывному дообучению больших языковых моделей (LLM). Метод получил название ReCoLoRA (Recursive Consolidation of Low-Rank Adapters) и призван решить проблему катастрофического забывания, возникающую при последовательном обучении на нескольких задачах.

Традиционные методы параметрически эффективного дообучения, такие как LoRA, добавляют к замороженным весам модели низкоранговые адаптеры для каждой новой задачи. Однако при последовательном выполнении задач новые адаптеры имеют тенденцию перезаписывать информацию, полученную ранее. ReCoLoRA предлагает иной механизм: перед каждой новой задачей текущие эффективные веса модели рекурсивно декомпозируются — часть закрепляется, часть медленно обновляется, а для новой задачи создаётся свежий адаптер.

Ключевая особенность метода — спектральный подход. Адаптеры инициализируются из рандомизированного SVD предобученных весов, а эффективные ранги на слой выбираются по критерию локтя. Основное подпространство адаптируется первым, после чего открывается резервная ёмкость. По словам авторов, это позволяет каждой новой задаче начинать обучение с модели, уже учитывающей все предыдущие задачи.

Эксперименты проводились на последовательности из шести задач GLUE с использованием четырёх моделей размером 7–8 млрд параметров. ReCoLoRA показал наилучший средний итоговый балл на трёх из четырёх моделей по сравнению с LoRA, PiSSA, AdaLoRA и DoRA при различных рангах. При этом метод обучал меньше параметров, чем конкуренты.

Авторы также протестировали вариант с банком задач и оракульным маршрутизатором, который служит верхней границей при полной изоляции задач. Исходный код ReCoLoRA опубликован на GitHub.

Разработка может быть полезна для сценариев, где модель нужно адаптировать к постоянно меняющимся условиям или новым наборам данных без необходимости полного переобучения с нуля.