Энтропийная регуляризация гейтов улучшает разреженное обучение в федеративных системах
Федеративное обучение (FL) — это распределённый подход к машинному обучению, при котором данные остаются на клиентах, а центральный сервер агрегирует обновления моделей. Однако FL сталкивается с проблемами неоднородности данных и частичного участия клиентов. Обучение разреженных моделей перспективно для снижения вычислительной и коммуникационной нагрузки, но становится особенно сложным в режиме малого количества примеров на параметр (d >> N).
В таких условиях стандартные методы отсеивания по величине весов не учитывают неопределённость в пространстве параметров. Авторы работы предлагают использовать вероятностные гейты с L0-регуляризацией, что позволяет модели выбирать разреженные конфигурации в ходе обучения. Дополнительно вводится энтропийная регуляризация распределений гейтов, чтобы избежать преждевременной фиксации разреженной структуры.
Эффективность метода проверена на синтетических и реальных наборах данных в условиях разной неоднородности данных, неоднородности участия клиентов и требуемой разреженности. Результаты показывают последовательное превосходство над федеративным итеративным жёстким пороговым отсечением (Fed-IHT) и методом прунинга после плотного усреднения (FedAvg).
Улучшения коснулись как статистической производительности на тестовой выборке, так и точности восстановления разреженной структуры модели. Это делает новый подход перспективным для сценариев, где данные распределены по большому числу клиентов с малым числом локальных примеров.
Работа опубликована на сервере препринтов arXiv и может найти применение в медицинских, финансовых и IoT-системах, где конфиденциальность данных сочетается с необходимостью эффективных моделей.
