Новый метод RENEW позволяет ИИ исправлять ошибки моделей мира через предпочтения человека
В новой научной работе на arXiv представлен метод RENEW, который призван решить проблему эксплуатации моделей в offline обучении с подкреплением (RL). Мировые модели (world models) широко применяются для повышения эффективности обучения, однако они склонны к ошибкам в областях с низкой плотностью данных. Ранее для борьбы с этим использовались либо дорогие экспертные демонстрации, либо консервативные алгоритмы, ограничивающие обобщение.
Авторы предлагают альтернативный подход — исправлять эксплуатацию напрямую через предпочтения человека. Идея основана на том, что люди обладают сильной интуитивной физикой и могут легко заметить явные ошибки в динамике, сгенерированной моделью. Это формализовано как Dynamics Learning from Human Feedback (DLHF) — функция потерь, основанная на предпочтениях над правдоподобием траекторий.
Однако наивная реализация DLHF требует большого количества предпочтений, что неэффективно. RENEW решает эту проблему, используя эпистемическую неопределённость для фокусировки дообучения на наиболее уязвимых участках модели. Это повышает эффективность использования предпочтений и предотвращает катастрофическое забывание.
Эксперименты проводились на средах Jumanji и классических задачах управления. Результаты показали, что RENEW значительно снижает эксплуатацию в предобученных мировых моделях, делая практическое применение DLHF возможным. Авторы отмечают, что это лишь первые доказательства того, что предпочтения могут напрямую управлять динамикой мировых моделей.
Предложенный подход открывает новые перспективы для offline model-based RL, где сбор данных часто ограничен. Вместо дорогостоящих экспертных демонстраций RENEW позволяет использовать простую оценку человека, что может ускорить внедрение таких систем в реальных приложениях.
Дальнейшие исследования могут быть направлены на расширение области применения метода, включая более сложные среды и задачи с большим разнообразием динамики.
