ИИ для подводных дронов: новый диффузионный алгоритм улучшил совместное слежение
Группа специалистов в области робототехники и искусственного интеллекта опубликовала на сервере arXiv научную работу, посвящённую проблеме коллективного слежения за подвижными объектами с помощью автономных необитаемых подводных аппаратов (АНПА). Предложенный метод опирается на многоагентное обучение с подкреплением и диффузионные модели, что позволяет повысить точность и устойчивость системы.
В реальных подводных условиях аппараты сталкиваются с нестабильной акустической связью, динамической топологией сети и возмущениями океанских течений. Классические алгоритмы многоагентного обучения требуют работы с многомерными пространствами состояний и действий, а также чувствительны к шумам. Из-за этого процесс тренировки становится нестабильным, а качество слежения снижается.
Авторы предлагают алгоритм VGG-MADiffRL, основанный на диффузионных политиках. Ключевая идея — использование градиентов ценности для управления процессом генерации действий во время обратной денойзинговой стадии. Такой подход направляет действия агентов в сторону более высокого ожидаемого вознаграждения, что улучшает конечный результат.
В работе также представлена трёхуровневая иерархическая управляющая архитектура MDCA. Она включает глобальный интеллектуальный уровень управления, локальный уровень онлайн-обучения и физический уровень исполнения действий. Такая структура позволяет синхронизировать распределение задач, локальные решения и обратную связь от исполнительных механизмов.
Для снижения переоценки значений и колебаний в процессе обучения алгоритм использует два связанных ценностных ансамбля, совместную оптимизацию и мягкие обновления целевых сетей. Это способствует более плавной и стабильной сходимости.
Эксперименты показали, что VGG-MADiffRL стабильно превосходит существующие методы по скорости сходимости, точности слежения и плавности динамики обучения. По мнению авторов, разработка имеет практическую ценность для эксплуатации подводных робототехнических систем в динамичных морских средах, включая задачи мониторинга, поиска и исследовательских миссий.
