Система VKAE ускорила инференс ИИ до 23 раз на одном GPU Nvidia B200
Компания Vidraft, занимающаяся разработкой языковых моделей и ИИ-инфраструктуры, представила систему ускорения инференса VKAE. По заявлению разработчиков, в отдельных сценариях она позволяет увеличить производительность существующих GPU до 23 раз без изменения аппаратной части.
Тестирование проводилось на ускорителе Nvidia B200. Для ряда моделей были получены кратные ускорения относительно базовых систем обслуживания запросов. Разработчики подчеркнули, что качество ответов и точность моделей не снижались.
Особенно впечатляющие результаты показала модель Qwen3.5-35B-A3B. При высокой конкурентной нагрузке система продемонстрировала суммарную производительность свыше 10 тысяч токенов в секунду. Однако для более разнообразных реальных запросов производительность составила около 455 токенов в секунду.
VKAE не является универсальным решением — ускорение существенно зависит от архитектуры модели. Некоторые модели получают многократный прирост, другие ускоряются слабее из-за различий в вычислительных узких местах и организации памяти.
Одной из ключевых особенностей проекта стала ориентация на воспроизводимость. Разработчики предоставили единый контейнер с весами модели и оптимизированной средой выполнения, совместимый с интерфейсом OpenAI API. Это позволяет интегрировать решение в существующую инфраструктуру почти без изменений.
Конкретный механизм ускорения VKAE пока не раскрывается. Подробное описание технологии готовится к публикации в формате препринта. Система вписывается в мировой тренд оптимизации инференса, где уже работают такие решения, как vLLM и TensorRT-LLM, а также специализированные аппаратные платформы Groq и Cerebras.
