Исследователи связали провалы обучения нейросетей с геометрией Калаби-Яу
Научный препринт, опубликованный на arXiv, предлагает новый взгляд на обучение нейросетей с комплексными параметрами. Авторы исследования строят математическую модель, в которой траектория градиентного спуска рассматривается через призму эрмитовой геометрии и многообразий Калаби-Яу.
В работе показано, что пространство параметров такой сети можно описать с помощью информационной метрики Кэлера, возникающей из перекрестной энтропии и гессиана Виртингера. Это позволяет применять к анализу обучения классические результаты комплексной геометрии.
Ключевой результат связан с так называемыми информационными многообразиями Калаби-Яу. Авторы обнаружили, что в некоторых случаях метрика на этих многообразиях может иметь почти низкий ранг, что приводит к эффекту вздутия и ухудшает сходимость алгоритма.
Особое внимание уделяется отрицательной кривизне. Как указывают исследователи, отрицательная секционная кривизна и отрицательная кривизна Риччи способны подрывать ландшафт функции потерь, делая обучение нестабильным. Это перекликается с известными на практике проблемами, когда нейросети не сходятся или застревают в плохих локальных минимумах.
Построенная теория опирается на аналитические методы, но авторы связывают её и с глубоким обучением: они рассматривают асимптотики при инициализации и объясняют механизмы отказов гарантий для нейросетей при исчезающей и отрицательной кривизне Риччи.
На данный момент работа представлена как препринт и ещё не прошла полное рецензирование. Тем не менее, она предлагает новый математический инструментарий для изучения сложных оптимизационных задач, возникающих при обучении больших моделей.
