Ученые предложили метод контролируемого забывания для мультизадачного ИИ
Группа ученых представила новый метод удаления обучающих данных из мультизадачных нейросетей. Работа, опубликованная на arXiv, решает проблему, когда очистка информации для одной задачи непреднамеренно влияет на другие.
В современных моделях часто используется общая основа для нескольких задач. При удалении данных стандартные методы могут нарушать работу смежных функций. Авторы выделили два сценария: полное удаление экземпляра из всех задач и частичное — только для выбранных.
Ключевая трудность заключается в том, что общие параметры связывают наборы забываемых и сохраняемых данных. Это порождает помехи на уровне задач и отдельных примеров. Исследователи создали структуру, учитывающую такие помехи.
Предложенный подход сочетает два механизма. Первый — проекция градиентов в подпространства, специфичные для каждой задачи. Второй — ортогонализация градиентов на уровне экземпляров, снижающая конфликты между сигналами забывания и сохранения.
Эксперименты на пяти задачах компьютерного зрения показали эффективность метода. Индекс нежелательного влияния (UIS) уменьшился на 30,3% при полном удалении и на 52,9% при частичном по сравнению с сильнейшим базовым алгоритмом.
Разработка полезна для систем, где требуется гибкое управление обученными данными без переобучения всей модели. Это особенно актуально для приложений, связанных с конфиденциальностью и адаптацией.
В дальнейшем авторы планируют исследовать применение метода в других областях машинного обучения, включая обработку естественного языка и рекомендательные системы.
