Motif-Mamba: новая архитектура ИИ улучшает Mamba для длинных последовательностей
На платформе arXiv опубликован препринт, в котором исследователи описывают новую архитектуру для языковых моделей — Motif-Mamba. Эта модель развивает идеи Mamba, популярной альтернативы трансформерам со сверхлинейной сложностью, и добавляет механизм, вдохновлённый сетевыми мотивами. Цель — улучшить обработку длинных последовательностей без потери эффективности.
Классический механизм self-attention, лежащий в основе большинства современных LLM, требует квадратичного роста вычислительных ресурсов с увеличением длины входной последовательности. Mamba решает эту проблему за счёт линейной во времени рекурсии, однако её диагональные переходы между состояниями ограничивают взаимодействие между различными размерностями скрытого состояния. Это сдерживает выразительность модели на сложных задачах.
Авторы Motif-Mamba предлагают дополнить стандартные рекуррентные переходы Mamba специальным низкоранговым путём. Этот путь проецирует скрытые состояния в компактное динамическое подпространство, где взаимодействия задаются по аналогии с трёхузловыми сетевыми мотивами — элементарными паттернами связей, широко изучаемыми в теории сложных сетей. Затем результат отображается обратно в исходное пространство состояний.
Такой подход усиливает обмен информацией между размерностями состояния, сохраняя при этом линейную сложность. По сути, модель получает дополнительный структурный приор, который помогает выявлять закономерности в длинных последовательностях.
Эксперименты проводились на задачах экстраполяции длинных последовательностей, бенчмарках языкового моделирования и декодировании сигналов интерфейса мозг-компьютер. Во всех случаях Motif-Mamba продемонстрировала стабильное улучшение по сравнению с базовыми моделями Mamba. По оценке исследователей, это подтверждает перспективность использования мотив-ограниченных низкоранговых динамик.
Публикация носит академический характер и доступна в виде препринта. Полный текст и описание экспериментов размещены на arXiv.
