SafeExplorer: новый алгоритм сократил падения роботов при обучении в десятки раз
Обучение роботов методом проб и ошибок на реальных физических платформах сопряжено с риском поломок: каждое падение может повредить механизмы и не может быть отменено, как в симуляторе. Традиционные подходы, такие как ограниченные марковские процессы принятия решений, пытаются минимизировать падения, но не устраняют полностью смещение в оценках градиента политики.
Группа исследователей предложила алгоритм SafeExplorer, который решает эту проблему. Он модифицирует популярный метод проксимальной оптимизации политики (PPO) и добавляет несмещённую оценку градиента, используя только безопасные шаги. Это позволяет избежать искажений, возникающих при передаче управления восстанавливающей политике, когда робот покидает безопасную зону.
Ключевое преимущество SafeExplorer в том, что он работает даже с детерминированной восстанавливающей политикой, где стандартные методы коррекции (importance sampling) неприменимы. Дополнительно алгоритм использует замкнутую форму ценности для состояний, активирующих восстановление, и имитационную потерю, копирующую успешные восстановительные действия.
Эксперименты проводились на трёх средах: HalfCheetah, Ant и Unitree Go1. Результаты показали, что SafeExplorer снижает число падений во время обучения в 233, 48 и 26 раз соответственно по сравнению со стандартным PPO. При этом итоговая награда осталась на уровне или превысила показатели базового алгоритма.
Особенно впечатляющими стали результаты на роботе Ant, где восстанавливающая политика ненадёжна: только SafeExplorer смог достичь 80% от максимальной финальной награды. Это подтверждает устойчивость метода в сложных сценариях.
Исследование опубликовано на arXiv и представляет собой шаг к безопасному обучению роботов в реальном мире. Разработчики отмечают, что алгоритм может быть интегрирован в существующие системы без больших изменений.
