Мультимодальные ИИ-агенты: новый обзор методов и применений

В библиотеке препринтов arXiv появился систематический обзор, посвящённый мультимодальным агентным фреймворкам. Авторы работы проанализировали, как большие мультимодальные модели расширяют возможности ИИ-агентов, которые умеют рассуждать, планировать и действовать в реальных условиях.

Интерес к агентным системам вырос благодаря развитию больших языковых моделей. Новый обзор показывает, как добавление изображений, аудио и видео позволяет таким системам эффективнее воспринимать окружающий мир и принимать решения.

В исследовании рассматриваются ключевые функциональные модули агентов: восприятие, рассуждение, планирование, память и действие. Отдельное внимание уделяется тому, как мультимодальность влияет на каждый из этих компонентов.

Авторы выделяют три основных подхода к интеграции модальностей: делегированную обработку, позднюю фузию и раннюю фузию. Такая классификация связывает архитектурные решения с конечными возможностями агентов.

Обзор охватывает несколько прикладных областей: робототехника, навигация по графическим интерфейсам и веб-страницам, создание и редактирование мультимедийного контента, а также понимание и поиск по длинным видеозаписям.

Отдельно обсуждаются компромиссы между эффективностью и масштабируемостью: затраты на обучение и инференс, задержки и ограничения развёртывания. По мнению авторов, работа помогает определить ключевые пробелы и наметить путь к созданию более универсальных интеллектуальных систем.