Предложена серверлесс-архитектура SSD-FL для федеративного обучения с гетерогенными оптимизаторами
Ученые разработали новый подход к федеративному обучению, который устраняет необходимость в постоянной серверной инфраструктуре. Метод, получивший название Serverless Semi-Decentralized Federated Learning (SSD-FL), описан в препринте на arXiv.
В традиционном федеративном обучении обычно используется центральный сервер для координации моделей, что создает узкое место и ограничивает масштабируемость. SSD-FL предлагает полудецентрализованную схему: формирование кластеров происходит на основе одноразовой инициализации между устройствами, после чего обучение идет без сервера.
Ключевая особенность SSD-FL — способность работать с гетерогенными оптимизаторами машинного обучения. Это означает, что разные устройства могут использовать разные алгоритмы оптимизации, что часто встречается на практике.
Авторы ввели понятие эффективных функций потерь, которые интегрируют специфичные для устройств оптимизаторы с регуляризацией на основе графа сети. Это позволяет обеспечить глобальную сходимость и консенсус.
Для оптимизации формирования кластеров используется алгоритм, основанный на неравенстве Чегера, который оценивает разрыв консенсуса. Также разработана метрика для количественной оценки гетерогенности данных и оптимизаторов.
Эксперименты показали, что SSD-FL превосходит три категории децентрализованных методов федеративного обучения по скорости сходимости и эффективности коммуникации на различных топологиях сетей и наборах данных.
Новый метод может быть полезен в сценариях, где трудно поддерживать централизованную серверную инфраструктуру, например, в периферийных вычислениях или IoT-сетях.
