LLMs показали неодинаковые результаты в задаче распознавания целей без обучения
Исследователи из ведущих университетов представили первую систематическую оценку больших языковых моделей (LLM) в задаче распознавания целей без дополнительного обучения. Работа опубликована на arXiv и посвящена сравнению LLM с классическими планировщиками на наборе бенчмарков PDDL.
Распознавание целей — это обратная задача планирования: вместо построения последовательности действий модель должна определить, какую цель преследует наблюдаемый агент. Для LLM такая задача оказывается более естественной, так как она опирается на согласованность с мировыми знаниями, а не на генерацию новых последовательностей.
Эксперимент охватил несколько современных LLM, включая GPT-4, Claude и Llama. Модели получали частичные наблюдения за планом и должны были угадать целевую конфигурацию. Учёные варьировали объём предоставленных данных от нуля до полной траектории.
Результаты показали существенную разницу между моделями. Некоторые LLM, например, GPT-4, с увеличением числа наблюдений приближались к точности классических распознавателей, основанных на ориентирах. Другие модели (например, Llama) демонстрировали неизменную приверженность априорным знаниям о мире, игнорируя накапливающиеся доказательства.
Качественный анализ цепочек рассуждений моделей выявил, что это расхождение связано с фундаментальными различиями в интеграции свидетельств, а не с уровнем знакомства с предметной областью. Модели, которые лучше масштабируются с данными, активно пересматривают свои гипотезы по мере поступления новой информации.
Авторы подчёркивают, что распознавание целей может служить принципиальным бенчмарком для оценки планировочных способностей LLM. В отличие от генерации планов, где модели часто полагаются на поверхностные шаблоны из обучающих данных, задача распознавания требует более глубокого понимания причинно-следственных связей.
Работа открывает путь к созданию более надёжных систем ИИ, способных не только действовать, но и понимать намерения других агентов. Дальнейшие исследования могут улучшить интеграцию символьного и нейросетевого подходов в задачах планирования.
