Маскированные диффузионные модели превзошли LLM на 47% в обучении RL-агентов
Группа исследователей опубликовала в arXiv препринт, в котором предложила использовать маскированные диффузионные языковые модели (MDLM) как мировые модели для текстового обучения с подкреплением (RL). Работа формализует текстовое моделирование мира как задачу управляемой динамики переходов, разбивая её на описание начального состояния, контекст задачи, схемы инструментов, правила домена и директивы управления.
Авторы отмечают, что авторегрессионные мировые модели страдают от смещения слева направо, что не позволяет им учитывать глобально взаимозависимые якоря состояний, такие как схемы инструментов или ожидаемые результаты. MDLM благодаря двунаправленному шумоподавлению с учётом якорей обеспечивают лучшую когерентность, обоснованность и разнообразие развёрток по сравнению с LLM, превосходя модели в четыре раза большего размера при сопоставимой задержке вывода.
Для обучения и оценки была собрана база из 239 403 размеченных траекторий «состояние–действие», охватывающих девять сред с открытым исходным кодом и двенадцать семейств передовых моделей. Исследователи также разработали плагинную структуру обучения GRPO с детерминированными проверками состояний.
В экспериментах по zero-shot переносу на три внедоменные среды (ScienceWorld, ALFWorld, AppWorld) с тремя архитектурами агентов размером от 1,2B до 7B параметров (LFM2.5, Qwen3, Mistral) MDLM продемонстрировали абсолютный прирост до 47% по сравнению с базовыми линиями без тонкой настройки под конкретную среду.
Помимо количественных метрик, проведён поведенческий анализ отказов в состязательных сценариях и человеческая оценка реалистичности, корректности результатов и полезности для обучения. Все материалы проекта опубликованы в открытом доступе для стимулирования дальнейших исследований в этом направлении.

