Гибридная модель Mamba Samba повысила успешность аудиовизуальной навигации на 11%
С момента утверждения парадигмы свёрточных нейросетей и рекуррентных архитектур в 2020 году фундаментальные бэкбонные сети для аудиовизуальной навигации не претерпели существенных изменений более пяти лет. Это привело к тому, что они стали неспособны эффективно представлять динамические мультимодальные последовательности.
Исследователи предложили новую архитектуру Samba (A Hybrid Mamba for Audio-Visual Navigation), которая использует адаптивный Mamba State Encoder (M-SE) для замены обычных GRU при временной агрегации. Кроме того, в модели реализован Audio Mamba Encoder (AME), компенсирующий ограничения свёрточных операторов в захвате глобальных частотно-временных зависимостей в спектрограммах.
Эксперименты показали, что Samba демонстрирует исключительную обобщающую способность при столкновении с незнакомыми источниками звука и ранее не встречавшимися сценами. На датасете Matterport3D модель улучшила показатель успешности навигации (SR) на 11,3% по сравнению с существующими современными моделями. На датасете Replica, отличающемся более детальной структурой сцен, прирост производительности оказался ещё заметнее.
Такая модернизированная архитектурная перестройка обеспечивает более мощные способности воплощённого представления при более низких вычислительных затратах. Это предоставляет высоконадёжный технологический путь для эволюции парадигмы в области аудиовизуальной навигации.
Разработка может найти применение в робототехнике, системах автономного управления и дополненной реальности, где требуется навигация на основе звука и видео.
