FL-MAESTRO: LLM-агенты почти полностью устраняют потери энергии в федеративном обучении
Федеративное обучение сталкивается с нестабильностью связи и выбыванием устройств, из-за чего серверу каждый раунд приходится решать несколько взаимосвязанных задач: выбирать топологию коммуникации, распределять ресурсы между клиентами и определять правило агрегации обновлений. Эти решения напрямую влияют на эффективность и энергозатраты процесса.
Существующие системы, использующие большие языковые модели (LLM) в федеративном обучении, либо работают только на этапе настройки, либо затрагивают лишь одно измерение, например выбор клиентов. Это ограничивает их практическую пользу в динамичных средах с постоянно меняющимся составом устройств.
В препринте на arXiv исследователи предложили FL-MAESTRO — мультиагентный оркестратор, который принимает совместное решение по всем трём измерениям. Система включает трёх специализированных LLM-агентов, каждый отвечает за своё направление. Координатор объединяет их анализ в единое решение, а отдельная проверка, не основанная на LLM, подтверждает его выполнимость до начала раунда.
Ключевая особенность FL-MAESTRO — использование предсказанного сервером списка сбоев. Оркестратор не выбирает клиентов, чьи обновления всё равно не будут агрегированы, что устраняет основной источник потерь энергии в нестабильных краевых сетях. Кроме того, состояние клиентов считывается в виде текстовых профилей, поэтому система может работать с разнородными классами устройств без создания отдельных энергетических моделей.
На не-IID бенчмарке CIFAR-10 FL-MAESTRO достиг точности, сопоставимой с сильнейшим энерго-ориентированным базовым методом, при этом потери энергии снизились с более чем трети до почти нуля. Это показывает, что мультиагентный подход с LLM способен одновременно повышать энергоэффективность и сохранять качество модели.
Код системы опубликован на GitHub, что позволяет другим исследователям воспроизвести результаты и адаптировать FL-MAESTRO под свои задачи. Работа представляет интерес для области федеративного обучения, где экономия ресурсов и устойчивость к сбоям остаются критически важными вызовами.
