Новый метод TRUST повышает качество принятия решений ИИ-агентами
Исследователи представили новый метод TRUST, направленный на улучшение процесса принятия решений ИИ-агентами при использовании внешних инструментов. Работа опубликована на arXiv и описывает подход, основанный на обучении с подкреплением с учетом неопределенности.
Как отмечают авторы, современные языковые модели (LLM) часто принимают неоптимальные решения о вызове инструментов: либо вызывают их без необходимости, либо пытаются дать ответ напрямую, что приводит к накоплению ошибок в многошаговых взаимодействиях.
Существующие методы в основном полагаются на коррекцию на этапе вывода или на грубые сигналы вознаграждения, не учитывающие неопределенность в решениях агента. TRUST решает эту проблему, встраивая количественную оценку неопределенности в дизайн вознаграждения как «отталкивающую силу», которая сохраняет различие между правильными и неправильными действиями.
По данным статьи, стандартное обучение с подкреплением, ориентированное на результат, ослабляет это различие, что приводит к самоуверенным ошибкам и слабым сигналам для исследования. TRUST также использует легковесную разметку ключевых шагов для единообразного обучения на многошаговых траекториях.
Эксперименты на различных бенчмарках показали, что TRUST стабильно улучшает как качество решений, так и общую производительность агентов, сохраняя при этом более надежные оценки неопределенности в ходе оптимизации. Авторы подчеркивают, что метод может быть особенно полезен в сценариях, где требуется высокая надежность.
Разработка может найти применение в автоматизации, робототехнике и системах поддержки принятия решений, где важно снизить риск ошибочных действий ИИ-агентов. Дальнейшие исследования планируется направить на масштабирование метода для более сложных сред.
