HouseGNN: новый метод борьбы с пересглаживанием в графовых нейросетях
Глубокие графовые нейронные сети (GNN) сталкиваются с серьёзным ограничением — явлением oversmoothing. При увеличении числа слоёв представления узлов постепенно схлопываются в низкоинформативное подпространство, что делает глубокие модели неэффективными. Исследователи предложили новый подход для решения этой проблемы.
В препринте на arXiv представлена архитектура HouseGNN (Householder Graph Neural Network). Вместо стандартного обновления скрытого состояния, как в обычных графовых свёрточных сетях (GCN), HouseGNN использует агрегированное сообщение от соседей только для оценки направления отражения. Само вложение обновляется с помощью отражателя Хаусхолдера и операции GroupSort.
Такая схема формирует кусочно-ортогональный слой, который сохраняет евклидову норму векторов на каждом узле и на каждой глубине сети. Это ключевое свойство предотвращает коллапс представлений, позволяя строить более глубокие архитектуры без потери информации.
Исследователи строго доказали три основных свойства. Первое: каждый внутренний слой сохраняет поэлементную евклидову норму. Второе: отражатель Хаусхолдера инвариантен к масштабу и знаку входного сообщения. Третье: попарные расстояния между узлами могут изменяться за счёт несовпадения ортогональных операторов на разных узлах, что важно для сохранения различмости объектов.
Новый метод открывает перспективы для создания глубоких графовых моделей, востребованных в анализе социальных сетей, рекомендательных системах, биоинформатике и других областях, где требуется многослойная агрегация информации по графу. Теоретические результаты создают основу для дальнейших экспериментальных исследований.
