Новый метод LR-AttnRes повышает эффективность больших языковых моделей
Группа исследователей представила метод Low-Rank Attention Residuals (LR-AttnRes), направленный на оптимизацию больших языковых моделей (LLM). Работа опубликована на arXiv и предлагает модификацию механизма attention residuals, который ранее заменял фиксированную сумму остатков на послойное внимание к предыдущим выходам подслоёв.
Главная проблема оригинального подхода — использование каждого выхода одновременно как ключа и значения в полной размерности, что связывает маршрутизацию с представлением и масштабирует глубинные оценки маршрутизации пропорционально ширине скрытого слоя d. LR-AttnRes решает эту проблему, применяя для маршрутизации r-мерные ключи (r << d) при сохранении полноразмерных значений остатков.
Авторы разработали два варианта метода. Projected LR-AttnRes генерирует обучаемые низкоранговые ключи из существующих проекций выходов, развязывая маршрутизацию и содержимое остатка. Этот вариант показал наилучшие результаты по значению валидационной ошибки среди протестированных версий. Sliced LR-AttnRes использует последние r измерений каждого значения в качестве ключа маршрутизации, что позволяет исключить вспомогательный путь проекции ключей и дополнительно сократить вычислительные затраты на стороне остатков.
Эксперименты показали, что глубинная маршрутизация эффективна даже при значительно меньшем количестве измерений, чем полная ширина модели. Это открывает возможности для создания более компактных и быстрых архитектур LLM без потери качества.
Для дальнейшего изучения подхода исследователи опубликовали код и обученные модели. Метод LR-AttnRes может найти применение при разработке новых версий LLM, где важна балансировка между производительностью и вычислительными ресурсами.
