DualOptim+: новый метод точного забывания для больших языковых моделей
Научная группа из City University of Hong Kong опубликовала на arXiv препринт, описывающий новый оптимизационный фреймворк DualOptim+ для повышения качества машинного забывания в больших языковых моделях (LLM). Эта задача становится критически важной в связи с требованиями конфиденциальности данных и возможностью удаления нежелательной информации из обученных моделей.
DualOptim+ вводит концепцию базового состояния (base state), которое захватывает общие представления, необходимые как для забывания, так и для удержания знаний. Дополнительно используются дельта-состояния (delta states), сохраняющие специфичные для каждой цели остаточные данные. Такая архитектура позволяет оптимизатору адаптивно переключаться между общими и раздельными состояниями в зависимости от направления конфликта градиентов забывания и удержания.
Особенностью работы также стала 8-битная квантизированная версия DualOptim+ 8bit, которая снижает потребление памяти без потери производительности. Это делает фреймворк применимым на более широком спектре оборудования.
Эксперименты проводились на нескольких задачах: синтетическое и реальное забывание, выравнивание безопасности (safety alignment) и многозадачное обучение. Во всех случаях DualOptim+ продемонстрировал лучший компромисс между различными целями по сравнению с существующими подходами.
Авторы отмечают, что DualOptim+ может быть полезен для компаний, работающих с LLM и нуждающихся в инструментах для контроля над данными. Исходный код фреймворка доступен на GitHub под названием DualOptimPlus.
Результаты работы привлекли внимание специалистов по машинному обучению: совмещение эффективного забывания с сохранением полезной информации долгое время оставалось сложной задачей. Новая методика может найти применение как в исследовательской, так и в коммерческой сфере.
