Математики раскрыли геометрию «выброшенной» информации нейросетей: новый фреймворк для маскировки и приватности

Группа исследователей представила на arXiv новый фреймворк, который вскрывает, какую информацию «выбрасывают» модели машинного обучения, когда входные данные обладают внутренними симметриями. Работа затрагивает важный аспект: многие современные нейросети, от предсказания свойств молекул до классификации сферических изображений, работают с данными, имеющими вращательную или проективную симметрию. При этом модель может игнорировать часть информации, не влияющую на выход. Авторы формализовали, что именно теряется и как это можно использовать.

В основе фреймворка лежат два понятия: нулевое волокно и стабилизатор функции. Для заданной точки входного пространства нулевое волокно — это множество таких преобразований (например, поворотов), которые, будучи применены к точке, не меняют выход модели. То есть модель «не замечает» эти повороты. Если нулевое волокно одинаково для всех точек, оно совпадает с максимальной подгруппой симметрий, относительно которой модель инвариантна.

Исследователи доказали, что для гладких функций нулевое волокно имеет размерность как минимум dim(G)-1 в типичной точке, независимо от архитектуры сети. Для компактных групп они использовали теорию представлений (теорему Петера-Вейля), чтобы получить спектральное описание этих объектов через матрицы коэффициентов Фурье. Это позволяет не только анализировать, но и эффективно вычислять нулевое волокно с помощью итераций Ньютона на орбитах, что по вычислительной стоимости сравнимо с несколькими градиентными шагами.

Практическая ценность фреймворка раскрывается в трёх приложениях: маскировка данных, цифровые отпечатки моделей и приватные вычисления. Маскировка данных позволяет «спрятать» чувствительные признаки, преобразуя их так, чтобы модель не могла их распознать, но при этом сохраняла полезные симметрии. Отпечатки моделей, напротив, дают возможность уникально идентифицировать сеть, используя её нечувствительность к некоторым преобразованиям. Наконец, концепция нулевого волокна может лечь в основу протоколов конфиденциального машинного обучения.

Экспериментальная проверка проводилась на двух задачах: предсказание молекулярных свойств с вращательной симметрией SO(3) и классификация сферических изображений с симметриями группы Мёбиуса PSL(2,C). Результаты показали, что фреймворк эффективно находит скрытые симметрии как в классических нейросетях, так и в вариационных квантовых схемах. Авторы подчёркивают универсальность подхода.

Работа открывает новые горизонты для понимания внутреннего устройства нейросетей и может привести к разработке более безопасных и контролируемых моделей. Исследование опубликовано в репозитории arXiv и пока не прошло рецензирование, но уже привлекло внимание специалистов по теоретическому машинному обучению.