CARGO-VL: новый подход к разрешению конфликтов в мультимодальных ИИ-моделях
Мультимодальные ИИ-системы, которые анализируют изображения и текстовую информацию, часто сталкиваются с ситуациями, когда источники данных противоречат друг другу или вместе не дают оснований для ответа. Надежная модель должна уметь определять достоверный источник и воздерживаться от ответа, когда ни один из них недостаточен. Существующие методы пост-обучения оценивают каждый пример независимо, что не гарантирует согласованного поведения при изменении входных данных.
В новой работе на arXiv представлен фреймворк CARGO-VL, который решает эту проблему через групповую относительную оптимизацию. Метод рассматривает согласованные и конфликтующие варианты одних и тех же данных — когда изображение корректно, текст корректен, или оба источника ошибочны — как единый комплекс. Это позволяет модели обучаться целостно, а не по отдельным точкам.
Ключевая особенность CARGO-VL — сочетание условной точности с переходными наградами, которые поощряют инвариантность ответа при изменении источника, эквивариантность модальности и корректное переключение на отказ от ответа. Дополнительно применяется адаптивный контроллер, который балансирует между рискованными ответами и чрезмерным уклонением.
Авторы также создали набор данных XMC (eXtended Modal Conflict) с четырьмя условиями конфликта для обучения и оценки. Перенос способностей проверялся на бенчмарках CMC-Bench и Modality-Bias. Результаты показали, что CARGO-VL превосходит поточечные базовые подходы по качеству обработки конфликтов, избеганию необоснованных ответов и модальному балансу на нескольких случайных посевах.
Абляционные эксперименты подтвердили, что реляционные сигналы переходов и адаптивный контроль риска дают взаимодополняющие преимущества. Это указывает на практическую ценность контрфактической согласованности как цели для надежной арбитрации мультимодальных свидетельств.
Разработка может найти применение в системах вопросно-ответного анализа, поиске информации и других областях, где критически важна устойчивость к противоречивым данным. Полный текст препринта доступен на arXiv по идентификатору 2608.04509.
