Новый метод BlockServe повышает пропускную способность диффузионных LLM до 10 раз
Эффективное обслуживание диффузионных больших языковых моделей (dLLM) сталкивается с проблемой гетерогенности сходимости: при пакетной обработке нескольких запросов разные последовательности сходятся с разной скоростью, что заставляет быстрые запросы ждать медленные, создавая вычислительные пузыри и задержки.
Для решения этой проблемы группа исследователей разработала BlockServe — фреймворк непрерывной пакетной обработки, интегрирующий блочное планирование. Он немедленно удаляет завершённые запросы на границах блоков, а также использует смешанное выполнение, расширяющее двойной кеш и параллельное декодирование на гетерогенные пакеты с помощью индексации gather-scatter.
Кроме того, в BlockServe реализован контроллер приёма, учитывающий вычислительные затраты: он увеличивает эффективную ёмкость пакета за счёт дозаполнения с бюджетом токенов.
Тестирование на моделях Dream и LLaDA с использованием пяти бенчмарков показало, что BlockServe обеспечивает пропускную способность в 1,9–10,6 раза выше, чем Fast-dLLM, при сопоставимом качестве генерации.
Авторы работы подчёркивают, что блочное планирование становится основой для высокопроизводительного офлайн-инференса dLLM. Статья опубликована на arXiv под номером 2607.08930.
Этот подход может существенно сократить затраты и время при развёртывании диффузионных языковых моделей в промышленных сценариях, где требуется обработка больших объёмов запросов.
