Диффузионные языковые модели освоили мультилейбл-классификацию без дообучения
Исследователи представили метод dLLM-SetScore, который позволяет дискретным маскированным диффузионным языковым моделям выполнять мультилейбл-классификацию текста без какого-либо дообучения. Для каждого возможного лейбла модель получает короткий вопрос с ответом да или нет, а решение принимается сравнением вероятностей двух токенов на одной маскированной позиции.
Метод не использует специализированную тонкую настройку и не обучается на наборах данных для текстовой импликации. Для подбора порогов, температуры и формулировок промптов достаточно размеченного валидационного среза из 200 примеров.
Авторы выявили серьёзный артефакт: если поместить все лейблы в один промпт, возникает сильная асимметрия позиций. Первый слот для ответа предсказывается положительным в 99,4% примеров GoEmotions и в 100% примеров Reuters. Метод по-лейбельного скоринга помещает каждый лейбл в одинаковую синтаксическую позицию, что делает предсказания инвариантными к порядку лейблов и устраняет этот артефакт.
Эксперименты проводились с моделями LLaDA-8B и Dream-7B на шести датасетах. Сравнение шло с NLI-моделями, авторегрессионной LLM, SetFit и контролируемыми классификаторами. На пяти датасетах, общих для обоих семейств диффузионных моделей, инстракт-чекпоинты улучшают macro-F1 в 9 из 10 сравнений и micro-F1 в 8 из 10, хотя авторы отмечают, что эти сравнения не выявляют причину.
В рамках предложенного протокола LLaDA-Instruct показывает самые высокие значения метрик среди методов без обучения как для Reuters, так и для ECtHR.
Теоретическая часть включает доказательство пермутационной инвариантности, описание пороговых решений при взвешенной потере Хэмминга и вывод потолков для recall и F1 при использовании шорт-листов.
В качестве дополнительного шага исследователи попробовали локальное уточнение множества (Joint Set Refinement), но оно снизило F1 как при смещённой, так и при несмещённой инициализации. Этот результат оставлен как негативный.
