MawForge: эффективный запуск MoE-моделей на устройствах с ограниченной памятью

Разреженные MoE-модели (Mixture-of-Experts) позволяют разделить общее количество параметров и активные вычисления на токен, что делает их эффективными по скорости. Однако для локального инференса такие модели всё равно требуют загрузки полного набора параметров, KV-кэша и служебных буферов в быструю память — что часто невозможно на устройствах с ограниченным объёмом ОЗУ.

В новой работе на arXiv исследователи предложили MawForge — систему, которая решает эту проблему иначе. Вместо того чтобы умещать всю модель в память, MawForge хранит полный набор весов на диске, постоянно держит в памяти только общие тензоры и динамически подгружает экспертные тензоры в ограниченный кэш по мере необходимости.

Ключевой результат работы: MawForge эффективен как механизм выполнения с ограниченным кэшем и как измерительная платформа для локального инференса MoE. При этом он не является политикой максимизации кэша — то есть не пытается удержать в памяти максимум данных, а скорее балансирует между повторным использованием экспертов и ограничениями памяти.

Производительность системы зависит от нескольких факторов: степени повторного использования экспертов, объёма постоянно удерживаемых тензоров, размера KV-кэша, уровня квантизации, локальности маршрутизации и давления памяти в macOS (исследование проводилось на Mac). Это означает, что для разных моделей и сценариев оптимальная конфигурация может различаться.

Работа MawForge особенно актуальна для пользователей, которые хотят запускать современные MoE-языковые модели (например, Mixtral 8x7B) на обычных ноутбуках или рабочих станциях с unified-памятью (Apple Silicon, некоторые конфигурации с APU). Вместо дорогих серверов с гигабайтами видеопамяти достаточно иметь SSD и, скажем, 16–32 ГБ ОЗУ.

Авторы отмечают, что MawForge — это не готовое решение для продакшна, а скорее исследовательский прототип и инструмент для измерения характеристик локального инференса. Однако его подход (дисковое хранение + динамическая подгрузка экспертов) может лечь в основу будущих коммерческих систем для edge-устройств и персональных компьютеров.

Полный текст доступен на arXiv под идентификатором 2607.09686.