ИИ-модели точнее классики восстановили пропущенные данные в опросах об урагане Милтон
Опросные исследования сегодня сталкиваются с серьезными вызовами: падением отклика респондентов, смещением выборки и пропусками данных. Особенно остро эти проблемы проявляются в кризисных ситуациях, таких как природные катастрофы, где качество данных критически важно.
Группа исследователей представила на arXiv пятиэтапный фреймворк для интеграции больших языковых моделей (LLM) в полный цикл опроса — от дизайна анкеты до анализа после сбора данных. Ключевой элемент разработки — метод Anchored Marginal Theory-Informed LLM (A-TLM), который опирается на теорию защиты мотивации (PMT) для организации поиска релевантной информации.
В качестве тестового полигона использовался опрос жителей Флориды об их готовности к урагану Милтон, проведенный в 2024 году (выборка составила 946 человек). Исследователи создали семь различных конфигураций LLM: от простого zero-shot до retrieval-augmented подходов и вариантов с теоретическим знанием.
Результаты показали, что A-TLM превосходит классические методы импутации (IPW/MI, MICE+PMM, missForest) по среднеквадратичной ошибке (RMSE 1,439 против 1,496 у лучшего из классических) в условиях блочного неслучайного пропуска (MNAR), типичного для катастроф. При этом смещение A-TLM оказалось минимальным (-0,121), тогда как метод random-forest дал наибольшее абсолютное смещение (-0,631).
Авторы подчеркивают, что почти нулевое агрегированное смещение может скрывать противоположно направленные ошибки в подгруппах, и предлагают ввести стратифицированный аудит смещения в качестве стандарта отчетности. Кроме того, в работе продемонстрирован чатбот с retrieval-constrained архитектурой, в котором галлюцинации управляются на уровне архитектуры.
Разработка демонстрирует, что LLM могут существенно повысить качество данных в опросах высокой важности, но требуют тщательной настройки и верификации. Предложенный метод особенно актуален для исследований в условиях катастроф и других стрессовых ситуаций.
