Простая модель SSM оказалась эффективнее сложной Mamba в задачах классификации временных рядов
Структурированные модели пространства состояний (SSM) привлекли внимание как основа для обработки последовательностей. Архитектуры на базе Mamba, использующие вход-зависимые переходы, показывают высокие результаты, но отличаются сложностью. Однако их применение к классификации временных рядов (TSC) ограничивалось в основном Mamba-стилем, а другие варианты SSM почти не изучались.
В новой работе, представленной на arXiv, авторы впервые систематически сравнили диагональные SSM (S4D) и вход-зависимые SSM (семейство Mamba) на крупномасштабных бенчмарках TSC. Результаты оказались неожиданными: S4D последовательно превосходит Mamba-варианты как по точности, так и по эффективности, опровергая мнение, что рост сложности даёт выигрыш в TSC.
На основе S4D исследователи разработали лёгкие модификации — MS4, добавив линейную проекцию входа и механизм смешивания каналов, и MS4N — нормализованную версию, стабилизирующую динамику состояний с минимальными затратами. Эксперименты проводились на 59 датасетах из бенчмарков MONSTER (до 60 млн примеров, 50 тыс. временных шагов, 82 класса) и UEA.
Сравнение с 15 базовыми методами показало, что MS4 и MS4N стабильно превосходят Mamba-модели, оставаясь более эффективными. При этом MS4N достигает или превосходит результаты конкурирующих глубоких моделей, которые имеют в 2–10 раз больше параметров.
Эти результаты позиционируют лёгкие структурированные SSM как убедительную альтернативу наращиванию сложности для классификации временных рядов. Авторы подчёркивают, что простота архитектуры может быть ключом к высокой производительности в данной области.
