Алгоритм D-FROST повышает эффективность децентрализованного обучения ИИ на разнородных данных
Исследователи представили алгоритм D-FROST для децентрализованного обучения больших моделей с помощью подстройки промптов. Метод основан на оптимальном транспорте и ориентирован на работу с неоднородными и несбалансированными данными, распределёнными между участниками.
Подстройка промптов — популярный способ адаптировать фундаментальные модели, при котором замораживается предобученная часть сети, а обновляются только небольшой набор обучаемых векторов. Такой подход существенно экономит вычислительные ресурсы, что особенно важно в децентрализованных системах, где обмен полными моделями между узлами может быть слишком дорогостоящим.
Однако применение промпт-тюнинга в децентрализованном федеративном обучении сталкивается с серьёзной сложностью: наборы промптов, обученные на разнородных локальных данных, могут быть не согласованы между собой. Это делает стандартное усреднение параметров между клиентами непригодным.
В ответ на это авторы сформулировали задачу децентрализованной настройки промптов как оптимизацию на основе метрики Вассерштейна, которая учитывает множественную структуру промптов. Предложенный алгоритм D-FROST объединяет промпты соседних узлов в компактные репрезентативные наборы с помощью транспортного сопоставления.
Теоретический анализ показывает, что D-FROST ограничивает ошибку консенсуса на основе расстояния Вассерштейна и обеспечивает сходимость барицентра промптов к стационарной точке. Это даёт гарантии того, что участники приходят к общему решению, несмотря на различие данных.
Эксперименты с неоднородными клиентскими данными подтвердили эффективность метода для децентрализованного обучения. Разработчики отмечают, что использование оптимального транспорта позволяет корректно сопоставлять разнородные промпты даже при сильно различающихся локальных распределениях.
Работа опубликована на платформе arXiv и продолжает серию исследований, направленных на практическое применение федеративного обучения в сценариях с ограниченными ресурсами связи и вычислительными мощностями.
