Метод CAST: улучшение обучения с подкреплением для рассуждений языковых моделей

Исследователи предложили метод CAST (Non-Privileged Clipped Asymmetric Self-Teaching with Advantage Flipping), направленный на улучшение обучения с подкреплением с верифицируемыми наградами (RLVR) для больших языковых моделей. Метод решает ключевые ограничения существующего подхода GRPO (Group Relative Policy Optimization), в котором используется только разреженная обратная связь на уровне результата, а групповые относительные преимущества обнуляются, когда все сгенерированные траектории для одного запроса верны или неверны.

Чтобы обеспечить более плотную обратную связь, ранее применялся метод On-Policy Self-Distillation (OPSD), дающий сигналы на уровне токенов. Однако, как показал диагностический анализ, сигналы OPSD не всегда согласуются с правильностью траектории: на правильных и неправильных траекториях они ведут себя по-разному, а шумовые профили различаются. CAST предлагает альтернативу без использования привилегированного учителя.

Основная идея CAST — использовать stop-gradient self-teacher для формирования токен-уровневых преимуществ в зависимости от корректности траектории, сохраняя при этом веррификатор-ориентированную GRPO-цель. Ключевые нововведения: двунаправленное обращение знака локального преимущества — отрицательные токены учителя на правильных траекториях получают отрицательные преимущества, а положительные токены на неправильных — ограниченные положительные преимущества. Для групп с нулевой дисперсией (все правильные или все неправильные) CAST назначает ограниченные базовые преимущества с фиксированным знаком, чтобы такие группы могли вносить верифицированный вклад.

Эксперименты на задачах математического рассуждения показали, что CAST улучшает эффективность RLVR-обучения, сохраняя лёгковесную верифицируемую цель на уровне траектории. Метод не требует разметки учителем с привязкой к эталонным решениям и поддерживает обучение на протяжении всего процесса.

По словам авторов, CAST позволяет более эффективно использовать сигналы обратной связи и избегать затухания градиентов, что особенно важно для сложных многошаговых задач. Работа опубликована на сервере препринтов arXiv.