Новый гибрид BDLM Mamba-H ускоряет генерацию длинных контекстов в 19 раз
Генерация длинных контекстов в больших языковых моделях (LLM) остаётся узким местом: каждый шаг декодирования требует загрузки накопленного кэша ключей/значений, что приводит к ограничению пропускной способности памяти. Для решения этой проблемы разрабатываются два подхода: снижение доступа к памяти через эффективные варианты attention и линейные смесители (например, Mamba) или генерация целых блоков токнов за раз.
В новой работе на arXiv представлена гибридная архитектура BDLM Mamba-H, которая объединяет преимущества обоих методов. Модель использует обратный проход Mamba только внутри активного шумоподавляющего блока, что позволяет точно кэшировать состояния между блоками — ранее это было технической сложностью для гибридных диффузионных моделей.
На тестах с 87 миллионами параметров BDLM Mamba-H показала наилучшую перплексию по сравнению с BDLM attention и полными последовательными baseline. При масштабе 350 миллионов параметров она остаётся конкурентоспособной с BDLM attention.
Ключевой результат — производительность при длинных контекстах: BDLM Mamba-H достигает 19,7x пропускной способности по сравнению с полной последовательной диффузионной моделью на 65 тысячах токенов и 3,7x по сравнению с BDLM attention на 262 тысячах токенов. Авторы отмечают, что гибриды Mamba перспективны как архитектура для длинных контекстов в диффузионных моделях.
Разработка может найти применение в системах, требующих обработки больших объёмов текста — от анализа документов до генерации кода и контента. Дальнейшие исследования направлены на масштабирование и улучшение эффективности таких гибридов.
