Новый метод Trivium: временное сожаление как ключевой показатель для ИИ-агентов

Научная работа, опубликованная на arXiv, представляет новый подход к обучению ИИ-агентов и LLM-систем. Авторы предлагают ввести временное сожаление (temporal regret) как полноценную цель обучения, наряду с сожалением по исходу и эпистемическим сожалением. Это позволяет системе не просто исправлять ошибки, но и анализировать их временную динамику.

Современные агентные системы часто корректируют ошибки, оптимизируя вознаграждение за результат. Однако такой подход игнорирует вопрос, когда именно модель перестала быть точной. Это приводит к тому, что одни и те же ошибки могут повторяться от эпизода к эпизоду. Trivium решает эту проблему, отслеживая, как долго неверная причинно-следственная модель остаётся неисправленной.

В рамках работы были доказаны три ключевых утверждения. Во-первых, при наблюдательно эквивалентных смешениях обучение только на результатах не позволяет отличить причинную структуру от ложной без вмешательства. Во-вторых, при наличии постоянного журнала причин и ограниченных зондов сложность зондирования логарифмически зависит от горизонта эпизода. В-третьих, при наличии K обнаружимых точек изменений скорость роста сожаления оценивается как O(K log E).

Эксперименты на бенчмарке CausalBench-Seq показали, что Trivium следует предсказанной логарифмической кривой, в то время как подходы, основанные только на результатах, демонстрируют линейный рост. Пилотный эксперимент с реальным LLM подтвердил внешнюю валидность на 500 эпизодах и трёх тестах с 100 эпизодами.

Метод Trivium предлагает структурное решение проблемы повторяющихся ошибок в ИИ, не требующее переобучения весов LLM. Вместо этого система пересматривает внешнюю причинно-следственную модель, что экономит вычислительные ресурсы и повышает надёжность.