Обнаружен разрыв между знанием и действием в использовании инструментов LLM

Большие языковые модели все чаще используются как автономные агенты, способные вызывать внешние инструменты. Однако они не всегда верно оценивают, когда это необходимо. Новое исследование, представленное на arXiv, предлагает адаптивное определение необходимости инструментов, основанное на эмпирической производительности каждой конкретной модели.

Авторы работы сравнили объективную необходимость с фактическим поведением моделей на наборах данных по арифметике и фактологическим вопросам. Расхождение составило от 26,5 до 54,0% для арифметических задач и от 30,8 до 41,8% для фактологических. Это указывает на систематическую ошибку в принятии решений.

Чтобы понять причину, исследователи разбили процесс использования инструментов на два этапа: внутреннее распознавание (модель осознает, что нужен инструмент) и этап выполнения (модель действительно вызывает инструмент). Анализ скрытых состояний нейросети показал, что оба сигнала линейно декодируемы, но в последних слоях, отвечающих за следующее действие, их направления становятся почти ортогональными.

Трассировка траекторий обработки образцов показала, что большинство ошибок приходится на переход от когниции к действию, а не на само распознание. Таким образом, модель часто знает, что инструмент нужен, но не превращает это знание в действие.

Результаты работы подчеркивают важность не только обучения моделей распознаванию ситуаций, требующих инструментов, но и развития механизмов, переводящих это распознавание в фактическое действие. Это может помочь в создании более надежных ИИ-агентов.