Metric-Aware PCA: геометрическое глубокое обучение как обобщение метода главных компонент

Научная работа, опубликованная на arXiv, предлагает новый взгляд на метод главных компонент (PCA) через призму геометрического глубокого обучения. Metric-Aware Principal Component Analysis (MAPCA) параметризует PCA положительно определённой метрической матрицей, что позволяет интерполировать между стандартным PCA и отбеливанием выходных данных.

В основе подхода лежит идея геометрического приора: метрическая матрица задаёт группу симметрий (ортогональную группу, сохраняющую метрику), относительно которой решения MAPCA являются эквивариантными, а собственные значения — инвариантными. Таким образом, MAPCA становится линейным аналогом нейросетей с симметриями.

Авторы показывают, что при выборе диагональной метрики MAPCA восстанавливает Invariant PCA (IPCA). Доказана теорема единственности: IPCA — единственная линейная производная от данных метрика в семействе MAPCA, которая эквивариантна относительно произвольных диагональных масштабирований и проецируется на множество неподвижных точек действия группы.

Исследователи устанавливают точный словарь между шестью осями (домен, группа симметрий, эквивариантность, инвариантность, архитектурный примитив, геометрический приор) и концепциями MAPCA. Это позволяет рассматривать PCA как элемент геометрического глубокого обучения, а не как отдельный статистический метод.

Практическое значение работы подтверждается тремя расширениями: ядерный PCA как нелинейное обобщение, спектральные методы на графах как MAPCA на графах, и глубокая архитектура MAPCA, которая встраивается в глубокие эквивариантные сети.

Метод открывает путь к более осмысленному выбору метрик в задачах анализа данных, где важна инвариантность к преобразованиям — например, в обработке изображений, физике или биоинформатике.