Новый метод ULPS повышает эффективность обучения с подкреплением при редких наградах
Исследователи разработали новый метод обучения с подкреплением (RL), названный Uncertainty-Aware LLM-Guided Policy Shaping (ULPS). Он призван решить проблему разреженных наград и неоднородных последовательностей задач, которые часто замедляют сходимость и снижают обобщающую способность моделей.
ULPS интегрирует калиброванную большую языковую модель (LLM) в цикл обучения RL. Сначала с помощью A*-подобного оракула синтезируются оптимальные символьные траектории, затем на них дообучают BERT-модель. Во время обучения эта модель даёт подсказки по действиям, при этом влияние подсказок регулируется на основе эпистемической неопределённости, оценённой через Monte Carlo dropout.
Механизм адаптивного смешивания на основе энтропии позволяет балансировать между советами LLM и собственной политикой агента, обученной методом PPO. Это даёт агенту возможность опираться на надёжные приоритеты, сохраняя гибкость.
Эффективность ULPS проверили на бенчмарке MiniGridUnlockPickup. Результаты показали, что ULPS превосходит как обычные RL-алгоритмы, так и варианты без калибровки или без учёта неопределённости. Точность выполнения после дообучения выросла более чем на 9%, а количество необходимых взаимодействий со средой сократилось. Кривая накопленной награды (AUC) также оказалась выше.
Авторы отмечают, что ULPS предлагает принципиальный подход к многозадачному обучению в условиях разреженных наград. По их мнению, метод потенциально может быть расширен на частично наблюдаемые и многоагентные среды.
