PermDoRA: ортогональность адаптеров не улучшает многозадачность LLM
Группа исследователей представила работу PermDoRA, посвященную пониманию интерференции адаптеров в больших языковых моделях (LLM). Распространенная гипотеза гласит, что при композиции адаптеров возникает конфликт из-за перекрытия линейных обновлений параметров, и что обеспечение ортогональности или направленной независимости должно улучшить многозадачную производительность.
Авторы предложили фреймворк DoRA-RBAC — иерархическую композицию адаптеров на основе декомпозиции весов и низкоранговой адаптации. Для проверки гипотезы они сравнили обычное евклидово объединение адаптеров с геометрически осознанной стратегией, аппроксимирующей среднее Фреше через нормализованное усреднение направлений.
Эксперименты проводились на моделях LLaMA-3.1-8B и Mistral-7B с использованием нескольких QA-бенчмарков: GPQA, PubMedQA, SimpleQA и WMDP. Результаты показали, что хотя однодоменная производительность DoRA-RBAC сопоставима с LoRA, геометрически осознанное объединение не дает последовательного преимущества перед стандартным усреднением в многодоменных сценариях.
Диагностический анализ дополнительно выявил, что угловое выравнивание и ортогональность обновлений адаптеров являются слабыми предикторами качества композиции. Это указывает на то, что интерференция адаптеров определяется не столько геометрией пространства параметров, сколько взаимодействиями в общих нелинейных представлениях.
Работа опубликована в репозитории arXiv и представляет интерес для разработчиков модульных LLM-систем, стремящихся к эффективному комбинированию навыков без переобучения. Полученные выводы ставят под сомнение упрощенные геометрические подходы к композиции адаптеров и стимулируют поиск более глубоких механизмов интерференции.
