Представлен AgentPatch: фреймворк для слияния мультимодальных ИИ без дообучения
Группа исследователей представила AgentPatch — новый фреймворк для слияния агентных мультимодальных больших языковых моделей (MLLM). Подход позволяет объединять несколько специализированных моделей в одну универсальную систему без дополнительного обучения и с сохранением ключевых способностей.
Современные агентные MLLM умеют не только воспринимать и рассуждать, но и планировать действия, использовать инструменты и взаимодействовать с динамической средой. Однако такие модели обычно заточены под конкретные инструменты или среды, что затрудняет объединение их в единого «универсального» агента.
Авторы выделяют две основные проблемы при слиянии моделей. Во-первых, асимметричное сохранение способностей: навыки с разной сложностью взаимодействия удерживаются неравномерно, из-за чего после объединения возникают так называемые слабые задачи. Во-вторых, критическое забывание поведения: потеря решающих действий может нарушить длительное выполнение задачи.
AgentPatch работает в два этапа с грубой настройки к точной. Сначала выбирается стабильная объединённая базовая модель. Затем через механизм слабо-специфичного уникального остаточного восстановления восполняются разбавленные сигналы слабых задач. Финальный шаг — агентно-управляемый патч критического поведения, который восстанавливает решающие действия под защитой явных способностей.
Важной особенностью является то, что AgentPatch создаёт единый статический чекпоинт без использования маршрутизации и ансамблей. Это упрощает развёртывание и эксплуатацию модели.
Эксперименты на шести агентных и мультимодальных бенчмарках показали, что фреймворк улучшает качество различных объединённых базовых моделей. Подход уменьшает деградацию слабых задач и лучше балансирует между восстановлением слабых навыков и сохранением дополнительных поисковых способностей и агентной визуальной обработки.
Исходный код проекта опубликован на GitHub, что позволит другим исследователям воспроизвести результаты и адаптировать метод под свои задачи.
