Диффузионная модель DiffusionGemma-26B превзошла авторегрессионные аналоги в радиологии
Группа исследователей представила адаптацию диффузионной языковой модели DiffusionGemma-26B для медицинских приложений. В отличие от традиционных авторегрессионных моделей, которые генерируют текст слева направо, диффузионный подход использует двунаправленное устранение шума на всём полотне токенов.
В рамках эксперимента модель DiffusionGemma-26B сравнивалась с её авторегрессионным аналогом Gemma-4-26B одинакового размера на наборе данных медицинских вопросов и ответов по визуализации. Оценка проводилась с помощью LLM-судьи, устойчивого к многословию. Результаты показали, что диффузионная модель не уступает или превосходит авторегрессионную по всем метрикам.
Помимо точности, DiffusionGemma-26B продемонстрировала значительное преимущество в скорости: декодирование оказалось в 3,5–4,4 раза быстрее. Это стало возможным благодаря архитектуре смеси экспертов (MoE) и эффективному процессу денойзинга.
Ключевое отличие диффузионного подхода — возможность заполнения любых пропусков в тексте. Радиолог может зафиксировать отдельные фрагменты отчёта, а модель достроит текст между ними. Такая операция естественна для диффузии, но затруднительна для авторегрессионных моделей.
Эта функция особенно полезна при составлении радиологических заключений, которые часто бывают краткими или неоднородными у разных специалистов и учреждений. Модель позволяет гибко редактировать и дополнять отчёты, не требуя генерации с нуля.
Исследование подчёркивает, что медицинские фундаментальные модели пока остаются почти полностью авторегрессионными. Адаптация диффузионной архитектуры открывает новые возможности для интерактивного создания документации.
