Новый метод DPO с весами без метаданных эффективно чистит шум в предпочтениях

Direct Preference Optimization (DPO) стал популярным методом для согласования больших языковых моделей с человеческими предпочтениями, поскольку он устраняет необходимость в явном моделировании наград и оптимизации с подкреплением. Однако его эффективность сильно зависит от качества данных предпочтений, а в реальных условиях данные часто содержат шум, что снижает результаты.

Чтобы решить эту проблему, группа исследователей предложила фреймворк Metadata-Free Meta-Reweighted Direct Preference Optimization (MF-MR DPO). В работе показывается, что предложенная билевельная структура оптимизации может восстановить оптимальное решение DPO на чистых данных при определённых допущениях. Кроме того, выведена априорная форма обучаемой весовой функции для асимметричного шума меток.

Ключевое новшество — возможность мета-обучения даже при полном отсутствии метаданных. Разработан мета-знаниевый метод, не требующий мета-информации о качестве данных. Для снижения вычислительных затрат, связанных с градиентами высокого порядка в мета-обучении LLM, авторы применили центрально-разностную аппроксимацию в сочетании с LoRA-тонкой настройкой. Это позволило создать масштабируемую схему обучения.

Эксперименты проводились на задачах суммаризации датасета TL;DR и однодиалоговых сценариев Anthropic HH. Результаты показали, что новый метод улучшает показатели обучения по сравнению с несколькими базовыми DPO-подходами при различных уровнях шума в данных.

Работа опубликована на arXiv и представляет практический интерес для разработчиков систем искусственного интеллекта, сталкивающихся с несовершенными данными предпочтений. Предложенный подход обещает сделать процесс согласования моделей более надёжным и менее требовательным к качеству исходной разметки.