Новый бенчмарк MLUBench оценивает вечное забывание в мультимодальных AI-моделях
Разработчики искусственного интеллекта выпустили новый инструмент для тестирования способности мультимодальных больших языковых моделей (MLLM) забывать информацию по требованию. Проблема lifelong unlearning — последовательного удаления данных — становится всё более актуальной в условиях запросов владельцев контента на его исключение из обучающих наборов.
Бенчмарк получил название MLUBench. Он включает 127 сущностей (объектов или концепций), распределённых по 9 классам, что значительно превосходит по масштабу и охвату предыдущие аналоги. Исследователи провели серию экспериментов и выявили серьёзный недостаток существующих методов забывания: при последовательном применении запросов качество модели неуклонно снижается.
Ключевая сложность, по словам авторов, заключается в необходимости сохранять мультимодальную согласованность. В отличие от моделей, работающих только с одним типом данных (например, текст или изображения), в MLLM процесс забывания из одной модальности может негативно сказаться на всей системе в целом.
Для решения этой проблемы исследователи разработали метод LUMoE. Он позволяет значительно уменьшить накопление ошибок при множественных запросах на удаление. Результаты экспериментов показывают, что LUMoE эффективно смягчает деградацию, с которой сталкиваются базовые подходы.
Исходный код и сам набор данных MLUBench доступны в открытом репозитории на GitHub. Разработчики надеются, что инструмент поможет сообществу создавать более надёжные и управляемые мультимодальные AI-системы, способные соблюдать требования к конфиденциальности данных без потери производительности.
