FedCGNM и FedHOO: новые алгоритмы для борьбы с дисбалансом классов в федеративном обучении
Проблема дисбаланса классов остаётся одной из ключевых в федеративном обучении (FL): редкие классы получают низкую точность, а стандартные централизованные методы неприменимы из-за приватности и гетерогенности данных. Исследователи предложили два взаимодополняющих алгоритма — FedCGNM и FedHOO, описанные в препринте на arXiv.
FedCGNM (Federated Class-Grouped Normalized Momentum) — это оптимизатор на стороне клиента. Он разбивает классы на небольшое число групп по принципу минимальной внутригрупповой дисперсии, для каждой группы поддерживает отдельный импульс, нормализует его до единичной длины и использует сумму нормализованных импульсов как направление обновления. Такой подход выравнивает величину градиентов для большинства и меньшинства классов и снижает шум, присущий градиентам редких классов.
Для эффективной настройки параметров в сценариях с малым числом клиентов создан FedHOO — алгоритм на основе X-armed-бандитов (XAB). Он использует федеративный параллелизм для оценки множества комбинаций двух кандидатов на клиента с линейной вычислительной сложностью.
Эксперименты проводились на четырёх публичных наборах данных с длинным хвостом и на проприетарном датасете дефектов чипов. FedCGNM стабильно превосходил базовые методы, а FedHOO давал дополнительный прирост в малых федерациях.
Авторы также предоставили теоретический анализ сходимости, учитывающий меняющиеся во времени вероятности ресемплинга. Работа открывает новые возможности для FL в приложениях, где важна обработка редких событий или аномалий.
