Разработан bicache — кэширование для диффузионных языковых моделей с ускорением до 98%
Диффузионные языковые модели (DLM) — перспективное направление в области искусственного интеллекта, но их двунаправленное внимание создаёт серьёзные проблемы для кэширования. В отличие от традиционных LLM, где KV (key-value) кэширование для общих префиксов работает эффективно, в DLM обновление любого токена динамически меняет весь контекст и соответствующие KV. Существующие методы, разработанные для LLM, при применении к DLM приводят к почти полной потере точности.
Группа исследователей предложила решение — bicache. Это первый метод кэширования KV для общих префиксов в DLM. Авторы проанализировали поведение моделей и обнаружили, что KV общих префиксов остаются стабильными и пригодными для повторного использования в мелких слоях, причём глубина этих слоёв зависит от доли общих токенов в каждом запросе.
На основе этого наблюдения bicache динамически определяет безопасную глубину слоя для повторного использования KV общих префиксов, исключая избыточные вычисления. Это позволяет существенно повысить эффективность инференса без ущерба для качества.
Эксперименты показали впечатляющие результаты: пропускная способность серверов возрастает на 36,3–98,3% по сравнению с существующими методами. При этом точность модели практически не страдает — отклонение составляет всего 0–1,8%. Таким образом, bicache позволяет достичь высокопроизводительного обслуживания DLM, решая критическую проблему кэширования.
Разработка bicache открывает путь к практическому применению диффузионных языковых моделей в высоконагруженных системах, где важна скорость обработки. Подробности опубликованы в препринте на arXiv.
