LieBN: новый метод нормализации данных на группах Ли для нейросетей
Группа исследователей представила LieBN — фреймворк для пакетной нормализации (Batch Normalization) на группах Ли. Разработка решает проблему обработки данных, определённых на многообразиях, что актуально для многих задач машинного обучения, от компьютерного зрения до робототехники.
Традиционная пакетная нормализация не применима к данным на неевклидовых пространствах. Существующие римановы методы часто заточены под конкретные многообразия или неэффективны. LieBN предлагает единый подход, основанный на лево- и правоинвариантных метриках, которые естественным образом существуют в каждой группе Ли.
Авторы теоретически обосновали, что предложенная нормализация контролирует риманово среднее и дисперсию. Фреймворк протестирован на девяти различных геометриях: четыре варианта на многообразии симметричных положительно определённых матриц (SPD), один на группе вращений SO(3) и четыре на многообразии матриц корреляции полного ранга.
В рамках работы введена новая правоинвариантная метрика для SPD-многообразий, а также расширены три существующие структуры групп Ли с помощью деформации степеней матриц. Эксперименты на разных многообразиях показали эффективность LieBN по сравнению с аналогами.
Код фреймворка опубликован на GitHub, что позволяет другим исследователям использовать и развивать метод. Работа доступна на arXiv (ID 2607.08783).
Разработка может найти применение в областях, где данные естественно представлены на группах Ли: от анализа тензоров диффузии в медицинской визуализации до оценки поз в компьютерном зрении и управления роботами.
