iFLYTEK представила единую мультимодальную модель для воплощённого ИИ iFLYTEK-Embodied-Omni
Компания iFLYTEK представила технический отчёт о новой модели iFLYTEK-Embodied-Omni, предназначенной для воплощённых агентов общего назначения. Модель объединяет обработку видео, изображений, языка и генерацию действий в едином мультимодальном фреймворке.
Как отмечается в работе, существующие подходы обычно специализируются на отдельных задачах: понимании визуально-языковых инструкций, прогнозировании изменений среды на основе видео или генерации управляющих сигналов. Каскадные пайплайны, в которых сначала синтезируются будущие наблюдения, а затем выводятся действия, создают узкие места на стыке компонентов и накапливают ошибки предсказания.
Архитектура iFLYTEK-Embodied-Omni основана на принципе совместного внимания: компоненты для работы с видео и изображениями, генерации видео и выработки действий общаются через общий слой мультимодального самовнимания. Это реализует коллаборацию «мозг-мозжечок»: модели визуального языка и генерации видео выступают как кора больших полушарий для понимания инструкций, планирования задач, отслеживания прогресса и предсказания будущих состояний, а генератор действий — как мозжечок, напрямую преобразующий запланированные подцели и контекст в исполнимые блоки действий.
Для обучения использован комбинированный набор данных: размеченные и неразмеченные действиями видео с человеческих демонстраций и роботизированных взаимодействий, а также данные по воплощённому мышлению, восприятию и общие изображения с текстом. Применена четырёхэтапная стратегия: последовательное обучение VLM, VGM и AGM, после чего вся модель дообучается совместно.
Разработка iFLYTEK представляет шаг в сторону универсальных воплощённых агентов, способных работать с мультимодальными инструкциями, предсказывать развитие среды и генерировать точные управляющие сигналы на длительных горизонтах. Это может найти применение в робототехнике, промышленной автоматизации и сервисных роботах.
Подробности архитектуры и результаты экспериментов описаны в техническом отчёте на arXiv.
