EMA: новая система адаптации моделей машинного обучения снижает затраты на обучение до 42%

Исследователи из ведущих лабораторий представили систему EMA (Efficient Model Adaptation) — первый инструмент для адаптации моделей машинного обучения в динамичных средах, таких как сети передачи данных и системы управления ресурсами. Разработка опубликована в препринте на arXiv.

Традиционные методы машинного обучения требуют полного переобучения модели при каждом изменении условий работы (например, при росте сетевого трафика или смене конфигурации). Это приводит к высоким временным и вычислительным затратам, а также к ухудшению производительности в период переобучения.

EMA решает проблему с помощью двух ключевых механизмов. Во-первых, state transformers — блоки, которые приводят входные данные из новой среды к формату, близкому к ранее встречавшимся, что позволяет использовать уже обученные модели как отправную точку. Во-вторых, система приоритезирует сбор и разметку наиболее полезных данных, снижая затраты на дорогостоящую аннотацию.

В ходе экспериментов на восьми различных системах (включая симуляторы сетей, планировщики задач и оптимизаторы задержек) EMA показала сокращение времени обучения на GPU на 14,9–42,4% при одновременном повышении ключевых показателей (например, пропускной способности сети) на 6,9–31,3%.

По мнению авторов, система особенно актуальна для провайдеров облачных сервисов, операторов сотовой связи и разработчиков IoT-решений, где среда меняется постоянно. EMA интегрируется с любыми архитектурами моделей и не требует изменения исходного кода.

Разработка доступна для ознакомления в открытом доступе. Исходный код планируется опубликовать после рецензирования.