Новый метод SRRL: как заставить ИИ учиться на своих ошибках с помощью самопроверки
Обучение с подкреплением (RL) широко используется для дообучения больших языковых моделей, но сталкивается с проблемой разреженной обратной связи: модель не всегда может понять, какое именно действие привело к ошибке. Новый подход SRRL (Self-Review Reinforcement Learning) решает эту проблему, встраивая этап самопроверки прямо в цикл RL.
В стандартном RL модель получает сигнал вознаграждения за весь ответ, но не может локализовать ошибку. SRRL меняет это: если первый ответ неверен, модель генерирует самопроверку, где анализирует, что пошло не так, и на основе этого выдает исправленную версию. Этот механизм похож на приём Reflexion, но отличается тем, что SRRL оптимизирует самопроверку с помощью градиентов политики и закрепляет улучшения через селективную дистилляцию, чтобы они сохранялись в будущих эпизодах.
Ключевая особенность SRRL — межэпизодная память, которая хранит успешные самопроверки для повторного использования при встрече с похожими задачами в ходе дальнейшего обучения. Это позволяет модели не начинать с нуля каждый раз, а опираться на накопленный опыт.
Эксперименты проводились на бенчмарке GSM8K (математические задачи) с двумя моделями: Qwen 3-4B и OLMo-3-7B. В качестве оптимизатора использовался GRPO — популяционный метод градиентной оптимизации. SRRL сравнивали с базовым RLVR (Reinforcement Learning from Verifiable Rewards).
Результаты показали, что SRRL стабильно превосходит RLVR по финальной награде (reward) и достигает более высокой эффективности обучения. Модели быстрее обучались и демонстрировали лучшие результаты на тестовых задачах. Авторы связывают это с тем, что метод успешно трансформирует разреженную обратную связь в конкретные поведенческие улучшения.
Подход SRRL может найти применение не только в математике, но и в других областях, где важен пошаговый анализ ошибок — например, в программировании, рассуждениях или планировании. Однако для практического внедрения потребуется дополнительная проверка на более широком наборе задач.
