Demo2Reward: Как оптимизировать VLM-модели вознаграждения для роботов без дополнительного обучения

Группа исследователей представила новый метод Demo2Reward, позволяющий адаптировать Vision-Language Model (VLM) в качестве модели вознаграждения для задач робототехники. Метод работает на этапе тестирования, используя всего несколько демонстраций (3–10 траекторий) от эксперта, чтобы оптимизировать языковую инструкцию модели.

Актуальность работы связана с тем, что reinforcement learning (RL) требует точных функций вознаграждения, которые в реальных приложениях часто недоступны или создаются вручную. Предыдущие подходы использовали zero-shot способности VLM, но без careful prompt engineering они давали субоптимальные награды, особенно с ложноположительными предсказаниями, ухудшающими обучение политики.

Demo2Reward решает эту проблему, настраивая текстовую инструкцию модели вознаграждения на основе небольшого набора экспертных демонстраций. Важно, что это не требует дополнительного обучения модели или вычислительных ресурсов во время обучения политики — адаптация происходит до начала обучения.

Эксперименты показали, что Demo2Reward стабильно превосходит существующие zero- и few-shot VLM-модели вознаграждения на нескольких симулированных роботизированных задачах и с разными архитектурами политик. Кроме того, метод успешно переносится на реальные сценарии обучения роботов, позволяя обучать политику без ручного проектирования функции вознаграждения.

Таким образом, Demo2Reward представляет собой практичный способ повышения качества VLM-моделей вознаграждения в условиях ограниченных данных. Это может ускорить внедрение RL в робототехнику, упростив настройку обучения.

Исследование доступно на arXiv под номером 2606.00083.