Иерархический пулинг для Sheaf-нейросетей: новый метод HiSP
Исследователи опубликовали работу, в которой предложили новый метод иерархического пулинга для Sheaf-нейросетей (SNN). Разработка получила название HiSP (Hierarchical Sheaf Pool) и направлена на преодоление ограничений существующих архитектур.
Sheaf-нейросети обобщают графовые нейронные сети (GNN), заменяя скалярные сигналы узлов на многозначные сигналы (stalks) и используя карты ограничений для измерения совместимости между ребрами. В отличие от стандартной графовой диффузии, которая делает признаки соседних узлов похожими, sheaf-диффузия способствует согласованности через карты ограничений, что позволяет моделировать более общие зависимости между узлами.
Однако существующие sheaf-архитектуры в основном работают на фиксированном разрешении графа и не имеют принципиального механизма пулинга для построения иерархических представлений. HiSP восполняет этот пробел, предлагая метод локального спектрального сжатия графа.
Метод основан на разбиении графа на кластеры. Для каждого кластера HiSP проецирует тонкие признаки (stalk-valued features) на низкочастотные собственные моды внутреннего sheaf-лапласиана. Эти локальные моды образуют карту пролонгации на уровне коцепей, что позволяет представить тонкую sheaf-энергию на грубом пространстве через оператор Галёркина.
Авторы также проанализировали аппроксимацию, возникающую при сжатии, разделив потери на два типа: потери от усечения (из-за отбрасывания локальных мод) и потери от реализации (из-за представления проекционного оператора в виде грубого sheaf).
HiSP реализован как слой пулинга для GNN, совместимый с SNN, с поддержкой PyTorch Geometric (PyG), включая пакетную обработку, поднятые sheaf-лапласианы и иерархические архитектуры. Это упрощает интеграцию метода в существующие модели.
Новый подход открывает возможности для построения более глубоких и выразительных моделей на графах, что может быть полезно в анализе социальных сетей, молекулярной биологии и других областях, где важна многоуровневая структура данных.
