PhysAttNet: физически информированное внимание повышает точность прогноза временных рядов

Точное прогнозирование временных рядов необходимо во многих областях, где важны физические процессы: от мониторинга промышленного оборудования до регистрации астрофизических событий. Такие модели должны сохранять надёжность при наличии шума, изменчивости и ошибок измерений, а также выделять локальные структуры, соответствующие значимым событиям.

Свёрточные нейросети широко применяются для этих задач благодаря вычислительной эффективности и высокой выразительной способности. Однако их временные представления часто имеют неустойчивые или физически несогласованные паттерны внимания, что снижает робастность, обобщение и интерпретируемость.

В новой научной работе представлен фреймворк PhysAttNet, который дополняет лёгкий CNN-прогнозист вниманием, управляемым регуляризацией, отражающей структурные свойства физических сигналов. В обучении используются три взаимодополняющих ограничения: выравнивание внимания по гладким пикообразным структурам, сглаживание для непрерывной эволюции и разреженность для фокусировки на информативных интервалах.

Эти дифференцируемые регуляризаторы вносят физически обоснованный индуктивный сдвиг без необходимости аннотированных объяснений или ручного контроля. Это важное преимущество для приложений, где размеченные данные редки или дороги.

Авторы проверили метод на двух разных задачах: прогнозирование усилий резания при фрезеровании и прогнозирование вспышек блазаров по временным рядам. В обоих случаях PhysAttNet показал улучшение точности прогнозирования, обобщения и качества предсказаний структурно важных событий.

Работа опубликована на arXiv и доступна для изучения. Метод может найти применение в промышленном мониторинге, астрофизике и других областях, где важно сочетать точность нейросетей с физической интерпретируемостью.