Экспериментальный анализ диффузионных языковых моделей: компромиссы производительности и эффективности
Группа исследователей представила систематический экспериментальный анализ восьми диффузионных языковых моделей (DLM). В отличие от традиционных авторегрессионных моделей, DLM генерируют текст через итеративный денойзинг, что позволяет параллельно уточнять целые последовательности.
В рамках работы авторы оценили восемь современных DLM на восьми бенчмарках, охватывающих рассуждение, программирование, перевод, знания и решение структурированных задач. Учитывались как качество генерации, так и вычислительная эффективность.
Особое внимание уделили влиянию ключевых факторов времени инференса: количество шагов денойзинга, длина контекста, размер блока и стратегии параллельной размаскировки. Дополнительно провели контролируемые сравнения меньших моделей, обученных в идентичных условиях.
Результаты показали, что поведение DLM сильно зависит от настроек генерации. Разные архитектуры демонстрируют различные компромиссы между производительностью и вычислительными затратами. Например, увеличение числа шагов денойзинга может повысить качество, но снижает скорость.
Исследование предоставляет практические выводы о возможностях современных DLM и характеристиках их развертывания. Оно помогает понять, когда и как использовать такие модели вместо традиционных LLM, а также как подбирать гиперпараметры под конкретную задачу.
Авторы подчеркивают, что работа освещает сильные стороны и ограничения диффузионного подхода к языковому моделированию. Полученные данные могут быть полезны для разработчиков, выбирающих подходящую модель и настройки для своих приложений.
