Новый метод Cross-Survey Transfer: LLM имитируют респондентов с точностью 52%

Метод «силиконовой выборки» — использование больших языковых моделей (LLM) для симуляции ответов людей в опросах — набирает популярность, но его оценка часто ограничивалась сравнением распределений. Новое исследование на arXiv предлагает более строгий подход: cross-survey transfer.

Авторы дали LLM ответы респондента на один набор вопросов из опроса, а затем попросили предсказать его ответы на совершенно другие вопросы из того же опроса. Такой тест проверяет не просто совпадение распределений, а индивидуальную согласованность.

В качестве данных использовался опрос Taiwan Election and Democratization Study (TEDS) 2024. Три открытые модели с числом параметров от 27 до 120 миллиардов проходили тест без дополнительного обучения (zero-shot).

Результаты: LLM достигли 52% точности на ранее не виденных вопросах. Это всего на 6 процентных пунктов меньше, чем у контролируемого случайного леса, обученного на тех же данных (58%). При этом точность сильно варьировалась в зависимости от темы — от 67% для партийных предпочтений до 23% для вопросов о суверенитете.

Исследование также показало, что две распространённые проблемы LLM — коллапс дисперсии (слишком однотипные ответы) и эффекты выравнивания безопасности — проявляются сложнее, чем считалось. Коллапс дисперсии наблюдался и у супервизорных моделей, а эффект выравнивания сильно различался между семействами моделей.

Таким образом, работа уточняет как возможности, так и границы силиконовой выборки. Метод cross-survey transfer может стать стандартом для оценки LLM в роли «респондентов», но его эффективность сильно зависит от темы опроса и модели.