HEAL: новый фреймворк машинного обучения объединяет федеративное и пиринговое обучение

Децентрализованное машинное обучение набирает популярность благодаря преимуществам в приватности, масштабируемости и отказоустойчивости. Однако популярный подход — федеративное обучение (FL) — опирается на центральный сервер-агрегатор, что создаёт единую точку отказа и уязвимость для атак. Альтернативы, такие как Gossip Learning и Epidemic Learning, полностью децентрализованы, но страдают медленной сходимостью модели.

В новой работе, опубликованной на arXiv, представлен фреймворк HEAL (Resilient and Self-* Hub-based Learning). Это первый кросс-слойный децентрализованный подход, использующий самоорганизующуюся и самовосстанавливающуюся P2P-оверлейную сеть. HEAL объединяет принципы FL, gossip и epidemic обучения, чтобы взять лучшее из каждого.

Ключевая инновация — применение алгоритма Elevator, который динамически выбирает некоторые узлы в сети для выполнения роли агрегаторов. В отличие от FL, где агрегатор фиксирован, в HEAL эти роли могут меняться, что повышает устойчивость к сбоям и оттоку узлов (churn). При этом модель остаётся полностью децентрализованной, без единого центра.

Авторы провели симуляции, сравнив HEAL с FL, Gossip и Epidemic Learning. В среде без сбоев HEAL показал производительность, близкую к FL, при этом сохраняя децентрализацию. В сценариях с «падением» узлов или их уходом HEAL превзошёл gossip- и epidemic-методы по скорости сходимости и точности.

Таким образом, HEAL обещает стать компромиссом между централизованным и полностью децентрализованным обучением, сохраняя высокую производительность и отказоустойчивость. Работа особенно актуальна для приложений, где важна приватность данных, например, в медицине или финансах, а также в условиях нестабильных сетей.

Дальнейшие исследования могут быть направлены на реальные внедрения HEAL и его адаптацию под различные типы задач. Пока же фреймворк демонстрирует, что можно объединить лучшие черты известных подходов без компромиссов.