Google DeepMind выпустила DiffusionGemma — текст генерируется через диффузию

Google DeepMind представила DiffusionGemma — экспериментальную модель с открытыми весами, которая меняет принцип генерации текста. Вместо классической авторегрессии, когда токены выдаются по одному слева направо, разработчики применили дискретную диффузию.

Теперь модель начинает работу со случайного «шума» — набора токенов-заглушек. За несколько проходов она последовательно уточняет целый блок текста размером до 256 токенов одновременно. Такой подход напоминает работу нейросетей, создающих изображения: от хаоса к чёткому результату.

Веса DiffusionGemma уже выложены на платформе Hugging Face под открытой лицензией Apache 2.0. Это позволяет разработчикам и исследователям изучать технологию, дорабатывать её и интегрировать в свои проекты без дополнительных ограничений.

Потенциально новый метод может ускорить инференс и снизить вычислительные затраты при генерации длинных текстов. Особенно это актуально для задач, где важна скорость и параллельная обработка данных.

Пока модель остаётся экспериментальной. Точные сроки коммерциализации или интеграции в продукты Google не объявлены, но открытая публикация указывает на намерение компании развивать направление генерации через диффузию.

DiffusionGemma — ещё один шаг в эволюции языковых моделей, который может повлиять на архитектуру будущих систем обработки естественного языка.