Фреймворк SFRL повышает точность и устойчивость федеративного обучения в гетерогенных системах
Гетерогенные федеративные системы ставят перед агентами сложную задачу: они должны обмениваться информативными представлениями, несмотря на различия в распределении данных, модальностях восприятия, архитектурах моделей и размерностях латентных пространств. Существующие методы часто требуют общего латентного пространства, что ограничивает их применение на практике.
В новой работе на arXiv представлен фреймворк Sheaf-based Federated Representation Learning (SFRL), который снимает это ограничение. Вместо предположения о существовании общего латентного пространства, SFRL обеспечивает глобальную согласованность за счет выравнивания соседних латентных представлений через ортогональные преобразования и изометрические вложения.
Это выравнивание подкреплено квадратичным склеивающим регуляризатором, индуцированным лапласианом пучка. Обучаемые карты ограничений адаптируют геометрию к наблюдаемым данным. Оценка штрафа выполняется на небольшом наборе общих пилотных образцов, что гарантирует масштабируемость и эффективность коммуникации.
Авторы разработали децентрализованный алгоритм Sheaf-FRL, который чередует градиентные обновления локальных моделей и обновления краевых карт ограничений с помощью закрытой формы прокрустова анализа. Для алгоритма доказана сходимость к стационарным точкам первого порядка как в детерминированном, так и в стохастическом режимах.
В качестве практического применения рассмотрена задача совместной классификации в контексте семантической связи при гетерогенности моделей и данных. Результаты экспериментов показывают, что Sheaf-FRL превосходит базовые подходы по точности локальной и пост-коммуникационной классификации при различных уровнях локального сдвига распределения, а также демонстрирует большую устойчивость к сжатию размерности латентного пространства.
Предложенный метод открывает новые возможности для федеративного обучения в реальных сценариях, где устройства существенно различаются по характеристикам и задачам, но вынуждены работать совместно.
