Weightless Fine-Tuning: новый способ персонализации LLM без дообучения

Команда исследователей опубликовала на arXiv препринт, в котором описан метод Weightless Fine-Tuning (WFT) для персонализации больших языковых моделей (LLM). В отличие от классического дообучения, WFT не изменяет веса модели, а корректирует логиты на этапе декодирования.

Традиционный подход supervised fine-tuning (SFT) требует для каждого пользователя отдельное хранение весов, повторное обучение и значительные вычислительные ресурсы. Это делает персонализацию моделей дорогой и сложной для массового применения.

Метод WFT вычисляет так называемые остатки на обучающей последовательности автора, а затем переносит их в текущий текст с помощью оператора транспортировки между контекстами. Оператор оценивается по кросс-ковариации, вычисляемой на основе dropout, и отражает, как изменение в одном контексте влияет на предсказания в другом.

Такой подход заменяет градиентное обновление параметров корректировкой логитов, что позволяет избежать переобучения под каждого пользователя. По сути, WFT имитирует эффект SFT без модификации модели.

На трёх бенчмарках LaMP для персонализации WFT показал лучшую среднюю производительность. Он сравнялся или превзошёл SFT на отдельных задачах и обогнал другие лёгкие базовые методы. При сравнении в ограниченном по бюджету режиме WFT достиг результатов, близких к SFT, используя менее 7% эффективных вычислений.

Анализ логитов показал косинусное сходство 0.875 между сдвигами, вызванными WFT и SFT, на 95% массы вероятности следующего токена. Это говорит о том, что WFT улавливает распределённый эффект адаптации без изменения весов модели.

Разработка может упростить персонализацию ассистентов, рекомендательных систем и инструментов генерации текста, снизив затраты на адаптацию под индивидуальные стили. Препринт доступен для ознакомления на площадке arXiv.