Интернализация будущего: новый метод обучения ИИ-агентов с внутренней моделью мира

Команда исследователей представила новый метод обучения больших языковых моделей (LLM), который даёт агентам способность к внутреннему моделированию будущего. В отличие от стандартных подходов, где агенты реагируют на текущую ситуацию, новый метод позволяет им заранее оценивать возможные цепочки действий, имитируя человеческое мышление по принципу «что, если».

Как отмечают авторы, современные LLM-агенты хорошо справляются с последовательными решениями, но в долгосрочных задачах остаются реактивными. Им не хватает внутренней модели мира для симуляции будущих результатов, что ограничивает их эффективность в планировании.

Чтобы преодолеть этот разрыв, команда разработала трёхэтапную парадигму обучения. Первый этап — World Model Agentic Mid-Training (WM-AMT) — внедряет в политику агента скрытые предсказательные способности. Второй этап — Format-Eliciting SFT (FE-SFT) — структурирует эти способности, заставляя модель генерировать текстовые аналоги Q-значений и развёрток состояний. Третий этап — Foresight-Conditioned Reinforcement Learning (FC-RL) — калибрует точность и полезность генерируемых симуляций.

По данным источника, простое дообучение агентов на траекториях с прогнозами приводит лишь к поверхностному копированию без реального понимания. Предложенный же подход гарантирует, что модель не только имитирует предвидение, но и опирается на внутренние предсказательные механизмы.

Эксперименты проводились на задачах поиска и математических рассуждений. Результаты показали, что агенты, обученные по новой схеме, устойчиво превосходят базовые варианты. Исследователи подчёркивают, что эффективное внутреннее моделирование мира требует сначала формирования способностей, а затем их структурирования и калибровки.

Разработка может найти применение в автономных системах, где требуется долгосрочное планирование или работа в условиях неопределённости. Метод позволяет LLM-агентам не просто реагировать на запросы, а активно строить и оценивать сценарии развития ситуации.