Новый метод BPO ускоряет обучение языковых моделей в песочницах на 38%

Группа исследователей опубликовала на arXiv препринт, в котором предложила новый алгоритм обучения с подкреплением для больших языковых моделей (LLM) — Branching Policy Optimization (BPO). Метод ориентирован на среду исполняемых песочниц (sandbox), где агенты взаимодействуют с симуляциями, веб-сайтами или программными оболочками.

Современные алгоритмы вроде PPO, RLOO и GRPO строят обучение на независимых траекториях: для каждого промпта запускается N параллельных путей, а преимущество вычисляется относительно группового базового значения. Однако, как отмечают авторы, такой подход игнорирует ключевое свойство песочниц — их детерминированность и возможность создавать снимки состояния и возобновлять выполнение с любой промежуточной точки.

BPO использует эту особенность: вместо N независимых деревьев строится одно дерево с N листьями, где узлы-сиблинги делят общие префиксы. Алгоритм адаптивно создаёт снимки песочницы в точках с высокой энтропией (выбора действия), разветвляет K альтернативных действий в каждом таком узле и доигрывает их до конца. Преимущество вычисляется на основе возвратов сиблингов, а не независимых промптов. Авторы доказывают несмещённость такой оценки и строго меньшее по сравнению со стандартным базовым уровнем дисперсию.

Эксперименты проводились на трёх бенчмарках: WebShop (покупки в веб-симуляторе), ALFWorld (домашние задачи) и SWE-bench Verified (решение инженерных задач). В качестве бэкбонов использовались Qwen2.5-7B и Llama-3.1-8B. Результаты показали, что BPO превосходит GRPO и RLOO на 3.6–6.1 абсолютных процента по успешности при одинаковых вычислительных затратах. Кроме того, дисперсия градиента снизилась вдвое, а для достижения результата лучшего базового метода потребовалось на 38% меньше обновлений политики.

Новый подход может ускорить разработку LLM-агентов, способных работать в сложных интерактивных средах. По словам исследователей, BPO особенно эффективен в задачах, где песочницы позволяют часто делать снимки состояний, а действия имеют необратимые последствия.