Отказ редактирования знаний в мультимодальных LLM: новая проблема и решение DECODE
Исследователи выявили важную проблему в редактировании знаний мультимодальных больших языковых моделей (MLLM). Оказалось, что текущие методы, которые обновляют знания с помощью парных текстово-изобразительных запросов, часто не работают при раздельном использовании модальностей.
По данным нового препринта на arXiv, при попытке изменить факт о сущности через текстовый запрос вместе с соответствующей картинкой модель корректно усваивает новое знание. Однако если затем задать тот же вопрос только текстом или только изображением, модель возвращается к старому, неотредактированному факту. Это явление авторы назвали «отказом редактирования при разделении модальностей» (editing decoupling failure).
В ходе эмпирического анализа ученые выяснили, что знание об одной и той же сущности в MLLM хранится не в едином представлении, а распределено по разным группам нейронов, отвечающих за обработку текста и изображений. Когда обновление производится только на основе парных запросов, изменения не затрагивают нейронные цепи, активируемые при одиночной модальности.
Для решения этой проблемы предложен метод DECODE, который явно выделяет и локализует нейроны, связанные с конкретной модальностью, и целенаправленно редактирует их. Это позволяет добиться единообразного обновления знаний при любом типе запроса.
Эксперименты на нескольких MLLM-моделях показали, что DECODE эффективно справляется с отказом редактирования, обеспечивая корректную работу как при мультимодальных, так и при одномодальных запросах. Работа опубликована на платформе arXiv и находится на стадии рецензирования.
