SeFoRA: федеративная LoRA-адаптация с агрегацией эскизов и гетерогенными рангами клиентов
На arXiv опубликован препринт, в котором представлен SeFoRA — алгоритм федеративного обучения с низкоранговой адаптацией (LoRA). Метод ориентирован на сценарии, где клиенты используют разные ранги LoRA, что ранее создавало проблемы при объединении обновлений.
Как поясняют авторы, сочетание федеративного обучения и LoRA порождает трудности, отсутствующие в каждой из этих техник по отдельности. Если клиенты выбирают различные ранги, их матрицы факторов несовместимы по размерности, а простое поэлементное усреднение приводит к билинейному несоответствию.
SeFoRA решает эту задачу за счёт передачи каждым клиентом линейного эскиза локальных обновлений. Федеративный сервер агрегирует эти эскизы напрямую, что снимает проблему билинейного несоответствия и позволяет проводить объединение в малом подпространстве полной модели.
Для случая однородных рангов предложена модификация SeFoRA-Ho, которая допускает прямое объединение адаптеров. Для этого варианта авторы доказали сходимость к окрестности стационарной точки первого порядка со скоростью O(1/T).
В численных экспериментах алгоритм проверялся при тонкой настройке RoBERTa-Large на наборах данных GLUE. По заявлению исследователей, SeFoRA превосходит современные методы федеративного обучения с LoRA.
Разработка может быть полезна для организаций, которые хотят совместно дообучать большие модели, не раскрывая данные и не тратя избыточные вычислительные ресурсы. Возможность работы с разными рангами делает подход более гибким для гетерогенных устройств.
