Исследование: метрики влияния AI на рынок труда искажены из-за состава пользователей платформ
Учёные выявили серьёзную систематическую ошибку в распространённом методе оценки воздействия искусственного интеллекта на рынок труда. Согласно препринту, опубликованному на arXiv, использование логов диалогов с AI-платформами для измерения подверженности профессий автоматизации даёт искажённые результаты.
Авторы исследования показали, что такие оценки во многом отражают не реальную структуру рабочей силы, а состав пользователей конкретной платформы. При смене исходного набора данных, но при неизменных остальных параметрах модели, коэффициент, оценивающий влияние ChatGPT на занятость, менялся в 1,9 раза.
Более того, внутри одной и той же платформы разделение на потребительские и корпоративные каналы давало оценки с противоположными знаками. Это указывает на то, что выбор источника данных критически влияет на выводы об эффектах AI на трудоустройство.
Для коррекции искажения исследователи применили перевзвешивание в соответствии с долями занятых по отраслям из статистики Бюро статистики труда США. Эта процедура ослабила оценки от 42% до 93%, что свидетельствует о значительном смещении исходных показателей.
В работе также формализована неклассическая ошибка измерения, выведены предельные вероятности и границы частичной идентификации для эластичностей занятости. Авторы пришли к выводу, что систематическая ошибка занижает эффект замещения рабочих мест AI по сравнению с эффектом дополнения.
Полученные результаты ставят под сомнение ряд предыдущих исследований, основанных на анализе диалогов с AI-ассистентами. Дальнейшие работы в этой области, вероятно, должны учитывать состав пользовательской базы и вводить поправки на репрезентативность данных.
