Учёные выяснили: привычки пользователей ИИ-ассистентов крайне устойчивы

Исследователи провели продольный анализ поведения примерно 12 тысяч случайно выбранных пользователей Microsoft Bing Copilot. Собранные данные сравнили с записями из крупного открытого набора WildChat-4.8M. Цель работы — выяснить, как меняются отдельные пользователи при взаимодействии с большими языковыми моделями.

Оказалось, что на уровне всей выборки заметны некоторые тренды, но индивидуальные траектории очень слабы: привычки пользователей остаются стабильными. Исследователи назвали это свойство «липкостью» поведения.

Также обнаружены существенные различия между пользователями с разной активностью. Те, кто чаще общается с ассистентом, ведут более успешные диалоги и используют нейросеть для сложных, профессионально ориентированных задач.

Некоторые тренды, обнаруженные в данных Copilot, проявились и в WildChat. Однако авторы отметили, что WildChat значительно смещён в сторону опытных «продвинутых» пользователей и не отражает типичное взаимодействие с ИИ. Это важное предостережение для тех, кто использует этот набор данных в своих исследованиях.

В итоге работа показывает, что существующее поведение пользователей изменить сложно, а гетерогенность (разнообразие) пользователей выражена очень сильно. Результаты будут полезны разработчикам ИИ-ассистентов и специалистам по пользовательскому опыту.