Исследование 33 000 экспериментов выявило ненадёжность популярного подхода в RL
Исследователи из нескольких научных центров провели крупномасштабное эмпирическое исследование алгоритмов обучения с подкреплением типа actor-critic. В работе, опубликованной на arXiv, анализируется более 33 тысяч экспериментов на задаче управления, основанной на реальной водоочистной станции. Цель — понять, как различные компоненты алгоритма влияют на надёжность и чувствительность к гиперпараметрам.
Алгоритмы actor-critic широко применяются в управлении физическими системами: от термоядерных реакторов и беспилотных автомобилей до разработки лекарств и очистки воды. Однако на практике инженеры часто сталкиваются с нестабильностью работы, требующей тонкой настройки.
В ходе экспериментов сравнивались разные способы обновления политики, типы распределений действий, методы оценки градиента и относительная частота обновления по сравнению с оценкой ценности. Выяснилось, что часто используемые по умолчанию гауссовы распределения с оценкой градиента через прямой путь (pathwise gradient) относятся к числу наименее надёжных конфигураций.
Напротив, распределения с ограниченной областью значений (bounded distributions) в сочетании с адаптивными графиками обновления показали устойчивую работу в широком диапазоне настроек. Это позволяет рекомендовать их для практического применения в реальных системах, где бюджет на подбор параметров ограничен.
Авторы подчёркивают, что результаты могут быть полезны специалистам в различных областях, использующим методы обучения с подкреплением для задач управления. Полный текст работы доступен в репозитории arXiv (ID: 2607.13274).
