Новый алгоритм QSplitFL оптимизирует точку разделения в Split Federated Learning

Исследователи из лаборатории AIPO Lab опубликовали новую работу, посвящённую оптимальному выбору точки разделения в комбинированной парадигме Split Federated Learning (SFL). Предложенный метод, получивший название QSplitFL, использует Deep Q-Network (DQN) для адаптивного выбора слоя, на котором модель делится между клиентами и сервером.

В SFL часть модели обучается на устройствах, а остальная — на сервере. Однако фиксированная точка разделения часто оказывается неэффективной при гетерогенном оборудовании клиентов: слабые устройства перегружаются, растут задержки и падает точность. QSplitFL решает эту проблему, динамически выбирая точку разделения на основе текущих аппаратных метрик каждого клиента: загрузки CPU, памяти, уровня заряда батареи и сетевой задержки.

Архитектура QSplitFL включает лёгкое представление состояния (только метрики клиента), функцию вознаграждения с затуханием, стимулирующую раннюю сходимость, и комитетную DQN-архитектуру с мажоритарным голосованием для защиты от переобучения на наградах. Авторы утверждают, что такой подход позволяет избежать высокоразмерных весовых представлений, характерных для альтернативных методов.

Эксперименты проводились на наборах данных MNIST, Fashion-MNIST, CIFAR-10 и CIFAR-100 с использованием архитектур CNN, ResNet50, MobileNetV4 и ConvNeXt. Во всех сценариях QSplitFL показал лучшую сходимость и точность по сравнению с существующими методами адаптивного выбора точки разделения, особенно в условиях гетерогенных устройств.

Исходный код фреймворка опубликован на GitHub, что позволяет другим исследователям и разработчикам воспроизвести результаты и внедрить метод в свои проекты. Работа доступна в архиве препринтов arXiv.