OmniMem: сжатие памяти для аудиовизуальных LLM улучшает понимание длинных видео
Развитие аудиовизуальных больших языковых моделей (LLM) открывает новые возможности для анализа длинных видео, однако их применение ограничено линейным ростом видеотокенов и кэша ключ-значение (KV). Учёные из нескольких исследовательских групп предложили OmniMem — эффективный фреймворк для потоковой обработки, специально разработанный для таких моделей.
В отличие от существующих методов сжатия, которые обрабатывают все токены одинаково, OmniMem использует модально-осознанную стратегию распределения памяти. Она раздельно управляет визуальными и аудиоконтекстами, решая проблему дисбаланса токенов между двумя модальностями. Это позволяет более рационально использовать ограниченные ресурсы.
Ключевая особенность OmniMem — выбор состояний KV с учётом возмущений (perturbation-aware memory selection). Алгоритм сохраняет информативные и не избыточные состояния, обеспечивая компактное представление без потери способности понимать длинные контексты. Для усиления сжатия в условиях реальных ограничений авторы также применили тонкую настройку с учётом бюджета (budget-aware fine-tuning), которая поощряет модель консолидировать полезную информацию в удерживаемой памяти.
Эксперименты проводились на наборах данных VideoMME Long, LVBench и LVOmniBench с моделями video-SALMONN 2+ и Qwen-2.5-Omni. Результаты показали, что OmniMem стабильно превосходит сильные базовые алгоритмы сжатия без обучения на 2–4% абсолютной точности при одинаковых бюджетах памяти. После дополнительной тонкой настройки прирост увеличивается ещё на 1–2%.
Предложенный подход особенно актуален для приложений, где важна обработка длинных видео в реальном времени — например, в системах видеонаблюдения, анализе контента или помощи людям с ограничениями по зрению. Сокращение требований к памяти снижает затраты на оборудование и энергопотребление.
Работа опубликована на arXiv и доступна для изучения. Дальнейшие исследования могут быть направлены на адаптацию метода для других мультимодальных сценариев и внедрение в коммерческие продукты.
