Новый алгоритм SDPG повышает стабильность обучения языковых моделей с подкреплением
Исследователи из академических кругов предложили новый подход к обучению языковых моделей с подкреплением — Self-Distilled Policy Gradient (SDPG). Работа опубликована на arXiv и сопровождается открытым кодом.
Проблема разреженных наград (sparse rewards) в RL для языковых моделей давно мешает стабильному обучению. Авторы предлагают использовать внутриполитическую самодистилляцию как источник плотного контроля. В рамках SDPG модель обучается на собственных генерациях, используя привилегированный контекст.
Технически метод реализован как вспомогательная функция потерь — обратная дивергенция Кульбака-Лейблера от студента к учителю на полном словаре. В SDPG также входят групповые преимущества верификатора (group-relative verifier advantages), нормализованное стандартное отклонение и KL-регуляризация относительно эталонной политики.
Эксперименты показали, что SDPG превосходит по стабильности и производительности как базовый RLVR, так и другие подходы с самодистилляцией. Авторы отмечают, что комбинация компонентов позволяет избежать переобучения и коллапса политики.
Код фреймворка опубликован на GitHub и доступен для воспроизведения результатов. Это может быть полезно для разработчиков, работающих над улучшением процедур обучения больших языковых моделей.
