Новый метод OCM: AI-агенты строят объектную модель окружения для эффективного обучения
Исследователи представили новый метод Object-Centric Environment Modeling (OCM), который позволяет AI-агентам на основе больших языковых моделей (LLM) более эффективно накапливать и использовать опыт. Вместо хранения взаимодействий в виде свободного текста, OCM организует знания в исполняемые объектно-ориентированные модели окружения.
Как поясняется в работе, традиционные текстовые воспоминания сложны в поддержке, проверке и повторном использовании по мере роста объёмов. Символические подходы, в свою очередь, часто ограничиваются локальными процедурами или упрощённой динамикой. OCM решает эту проблему за счёт двух связанных баз кода: объектных знаний (определяющих сущности и механизмы окружения в виде Python-классов) и процедурных знаний (записывающих шаблоны взаимодействия, которые импортируют объектную модель).
Метод работает в онлайн-режиме: после каждого эпизода агент анализирует траекторию, обновляет обе базы знаний и проверяет, что все процедуры выполняются корректно с обновлённой моделью. При последующих взаимодействиях используется прогрессивное раскрытие знаний — сначала просматриваются компактные сигнатуры кода, и только при необходимости читается исходный код.
Эксперименты показали, что OCM достигает лучшего среднего ранга по сравнению с другими подходами на нескольких бенчмарках и значительно сокращает количество недопустимых действий. Это свидетельствует о том, что построение объектно-ориентированных моделей окружения может улучшить работу AI-агентов.
Разработка может найти применение в автономных системах, обучаемых через взаимодействие со средой, например в робототехнике, симуляторах и игровых агентах. Авторы работы отмечают, что OCM позволяет агентам масштабировать накопление опыта без потери структурированности.
Исследование опубликовано на платформе arXiv и доступно для ознакомления.
