ИИ для управления плазмой: новый бенчмарк ускорит разработку термоядерных реакторов
Ученые из США и других стран опубликовали на arXiv описание открытого бенчмарка RL4F (Reinforcement Learning for Fusion), предназначенного для оценки алгоритмов офлайн-обучения с подкреплением в задачах управления плазмой в термоядерных реакторах типа токамак. Разработка призвана решить проблему отсутствия единой стандартизированной среды для сравнения методов ИИ в этой области.
В основе RL4F лежит симулятор динамики плазмы, построенный на исторических данных с реального токамака DIII-D, расположенного в США. Бенчмарк включает четыре задачи по отслеживанию профилей: вращения, плотности, температуры и давления плазмы — ключевых параметров для поддержания стабильной термоядерной реакции.
Авторы протестировали широкий спектр методов — от имитационного обучения до современных офлайн-RL-алгоритмов. Результаты показали, что методы на основе моделей (model-based RL) в среднем демонстрируют лучшую производительность, однако ни один алгоритм не доминирует во всех задачах. Это подчеркивает сложность и многогранность управления плазмой.
Исследователи подчеркивают, что использование классического онлайн-RL, требующего проб и ошибок на реальной установке, слишком дорого и рискованно. Офлайн-подход позволяет обучать контроллеры на уже собранных данных, что существенно ускоряет разработку и повышает безопасность.
Проект полностью открыт: на GitHub выложены код, наборы данных и среда для оценки. Это должно стимулировать не только специалистов по термоядерному синтезу, но и разработчиков алгоритмов RL, предоставляя им реалистичную и сложную задачу с длинным горизонтом планирования и множеством управляющих воздействий.
Ожидается, что появление единого бенчмарка позволит объективно сравнивать новые методы и ускорит прогресс в создании надежных систем управления для коммерческих термоядерных реакторов, таких как ITER или проектируемых частных установок.
