Prompt-Driven Exploration: нейросети учатся с нуля через переписывание инструкций
В reinforcement learning (RL) ключевая проблема — разведка: агент должен пробовать новые действия, а не повторять уже известные. Стандартные методы добавляют шум в действия, но это лишь мелкие отклонения. Когда базовая стратегия слаба, нужны глобальные изменения, которые не может обеспечить простой шум.
Новый метод Prompt-Driven Exploration (PDE), описанный в препринте на arXiv (2607.08837), предлагает решение. Авторы используют языковые модели (LLM) и vision-language-action модели (VLA): агент действует на основе текстовой подсказки. Меняя подсказку, можно получить совершенно другое поведение.
Проблема в том, как найти полезные подсказки, если вознаграждение крайне редкое (например, ноль). PDE обходит это: vision-language модель (VLM) просматривает видео выполнения текущей подсказки, анализирует, как агент себя вёл, и переписывает подсказку так, чтобы на следующем шаге поведение стало более эффективным.
Этот процесс — реализация классического байесовского подхода posterior sampling на уровне подсказок. VLM неявно хранит распределение полезных подсказок и обновляет его на основе наблюдений. Стратегия названа Prompt-Driven Exploration (PDE).
Эксперименты проводились на задачах манипуляции и рассуждения. PDE позволила обучить успешные стратегии даже с нулевого вознаграждения, а в более типичных сценариях улучшила эффективность использования примеров. По словам авторов, это открывает путь к обучению в условиях, когда система не получает никаких сигналов успеха.
Демо и дополнительные материалы доступны на сайте проекта: https://xinyunsunshine.github.io/prompt-rl.
