Роутер на основе ценности информации повышает качество разреженного внимания в языковых моделях
Масштабирование языковых моделей на длинные контексты требует эффективных механизмов внимания. Блочно-разреженное внимание (block-sparse attention) заменяет квадратичную сложность softmax на выбор топ-k блоков для каждого запроса, но такое отсечение может быть близоруким: когда k-й и (k+1)-й блоки почти равны по оценке, модель теряет потенциально важные данные.
Новая работа предлагает роутер на основе ценности информации (value-of-information router), который для каждого запроса измеряет уверенность в сделанном топ-k выборе. Если разрыв между k-м и (k+1)-м блоками мал, роутер удваивает количество сохраняемых блоков. Метод не зависит от архитектуры и может комбинироваться с существующими алгоритмами оценки блоков, такими как Quest.
На наборе данных LongBench-v2 medium (подмножество n=215) комбинация роутера с Quest показала парный recall 0,75 против 0,47 у простого топ-k — улучшение на 28 процентных пунктов. Тест МакНемара подтвердил статистическую значимость (p<0,01). На задаче RULER NIAH multikey с той же длиной контекста роутер достиг точности всего на 2 п.п. ниже полного плотного внимания.
Эксперименты проводились на четырёх моделях трёх архитектур: Qwen2.5, Mistral-Nemo и Qwen3.6. При контексте в 128 тысяч токенов роутер показал 0,81 и 0,89 от точности плотного внимания на Qwen2.5-7B-1M и Qwen3.6 соответственно, тогда как baseline топ-k достигал лишь 0,09 на первой модели.
Несмотря на дополнительную логику выбора, конвейер с роутером и ядром внимания работает за 0,62 и 0,80 wall time от плотного варианта для указанных моделей. Это делает метод практичным для реальных приложений.
Разработка является очередным шагом к эффективному масштабированию языковых моделей на очень длинные контексты без существенной потери качества. Исходный код метода будет опубликован в открытом доступе.
