Nested Inductive Bias: новый метод обучения на SPD-многообразиях
Исследователи опубликовали на arXiv новую структуру Nested Inductive Bias для обучения представлений на многообразиях симметричных положительно определенных матриц (SPD). Подход решает задачу совместного учета ограничений многообразия и реляционных зависимостей данных.
В геометрическом глубоком обучении индуктивные смещения выполняют две ключевые функции: обеспечивают соблюдение структуры многообразия и встраивают априорные знания о взаимоотношениях объектов. Обычно для SPD-многообразий используются pullback-метрики, например Log-Euclidean, которые вычислительно эффективны и не нарушают границы области, однако порождают плоскую геометрию и могут игнорировать внутренние закономерности выборки.
Новая схема предполагает двухэтапную диффеоморфную композицию, которая переносит целевые неевклидовы геометрии на SPD-многообразие. Это позволяет строить римановы классификаторы с кривизной, согласованной с латентной структурой данных, не теряя при этом матричные ограничения.
Эксперименты на кинематических и сигнальных бенчмарках, а также синтетические тесты показали: если кривизна метрики не соответствует распределению данных, глубокие многообразные сети теряют разделимость классов. Для стандартных векторных архитектур авторы предложили Rational Conformal Metric (RCM), которая ограничивает пространство представлений и повышает устойчивость к выбросам.
Полный текст работы размещен на arXiv под номером 2609.04466.
