LIGO-PINN: новый метод инициализации весов решает проблему отказа сходимости в физико-информированных нейросетях
Физико-информированные нейронные сети (PINN) широко используются для моделирования систем, описываемых дифференциальными уравнениями в частных производных (PDE). Однако на сложных областях или при обобщении на новые, но родственные PDE такие сети часто сходятся к тривиальным решениям или вовсе отказываются работать.
Существующие методы борьбы с этим — настройка гиперпараметров, стратегии обучения с постепенным усложнением и динамическая передискретизация сложных точек коллокации — имеют недостатки. Гиперпараметрическая настройка дорога, построение учебной программы затруднено в многопараметрических PDE, а динамическая передискретизация по-прежнему даёт сбои в сложных условиях.
Авторы новой работы из ScaILab предположили, что решающую роль в отказе сходимости играют начальные веса сети, и этот аспект был неожиданно мало исследован. Они разработали фреймворк LIGO-PINN (Learned Initialization via Gated Layerwise Optimization), который обучает инициализацию весов с послойной оптимизацией на основе гейтов.
В экспериментах на одномерных и двумерных PDE, включая сложную задачу гидродинамики, LIGO-PINN превзошёл современные методы, направленные на устранение отказов PINN. Среднее улучшение составило 91,5% по сравнению с шестью базовыми линиями и 81% по сравнению с лучшей из них.
Кроме того, авторы подтвердили, что метод обобщается на трёхмерные неструктурированные области. Анализ динамики обучения на всех трёх наборах PDE позволил объяснить как улучшение, достигаемое LIGO-PINN, так и причины отказов традиционных PINN.
Исходный код опубликован на GitHub (github.com/scailab/ligo-pinn). Работа выполнена в коллаборации исследователей из области машинного обучения и PDE-моделирования.
