Новый бенчмарк APeB оценил способность LLM-агентов к персонализации в поиске товаров
Группа исследователей опубликовала препринт, в котором представила новый бенчмарк для оценки способности агентов на базе крупных языковых моделей (LLM) к персонализации. Бенчмарк получил название APeB (Agent Personalized Benchmark) и сфокусирован на сценарии персонализированного поиска товаров (PPS).
Авторы отмечают, что современные LLM-агенты сталкиваются с проблемами, когда пользователи задают сырые, неполные запросы без конкретных деталей. В такой ситуации агент должен самостоятельно выявить скрытые намерения, извлечь предпочтения из истории взаимодействий (которая может быть зашумлённой) и выбрать подходящий вариант среди множества альтернатив. Существующие бенчмарки редко тестируют эти возможности, часто полагаясь на уточнённые пользователем запросы или упрощённые истории.
APeB построен на основе логов действий, объединяя неполные намерения с богатыми профилями истории и реальными товарами, которые просматривал пользователь. Для оценки использованы передовые LLM (например, GPT-4) в многошаговых агентских сценариях. Результаты показали, что модели хорошо справляются с явными, детализированными запросами, но резко снижают качество на ранних стадиях, когда требуется угадывать намерения и извлекать предпочтения.
Анализ ошибок по рубрикам показал, что основная причина — неэффективное использование истории взаимодействий. Исследователи предложили простой пайплайн уточнения запроса с учётом истории (VQRA), который дал устойчивый прирост точности. Это говорит о необходимости разработки специальных модулей для работы с историей в персонализированных агентах.
Работа размещена на arXiv.org и, по мнению авторов, может стать отправной точкой для дальнейших исследований в области адаптации LLM под индивидуальные пользовательские контексты. Практическое применение таких агентов может повысить релевантность поиска товаров в электронной коммерции и других рекомендательных системах.
