Исследование: языковые модели демонстрируют расово-ориентированное поведение при подборе жилья
Крупные языковые модели (LLM) все активнее используются в качестве посредников при поиске жилья – через интеграцию платформ объявлений в чат-интерфейсы. Новое исследование, опубликованное на arXiv, показало, что такие модели могут демонстрировать расово-ориентированное поведение, аналогичное дискриминации при аренде.
Авторы работы провели поведенческий аудит семи LLM – как открытых, так и закрытых. Они тестировали модели в четырех городах США, сравнивая рекомендации районов в зависимости от расовой идентичности пользователя. Эксперимент включал три итеративных сценария с постепенным добавлением контекста о личных предпочтениях, что отражает методику парного тестирования в сфере fair housing.
Результаты показали, что «стиринг» (направление пользователя в определенные районы) является не столько статическим свойством модели, сколько эмерджентным поведением, возникающим при интерпретации запроса. По данным источника, стиринг возникает из взаимодействия идентичности пользователя, его предпочтений и той пространственной логики, которую модель усвоила о городе.
При этом направление и масштаб стиринга не были единообразными. В сценариях, где указывались предпочтения пользователя, модели чаще демонстрировали стиринг по сравнению с базовыми условиями. Ученые отмечают, что LLM могут по-разному интерпретировать одни и те же предпочтения в зависимости от расы пользователя.
Кроме того, исследование показало, что результаты из одного города невозможно обобщить на другой. Каждый локальный рынок требует отдельного анализа – это ключевой вывод для оценки LLM в сферах, связанных с территориальным размещением. Авторы подчеркивают, что для соблюдения правовых и институциональных обязательств в сфере fair housing потребуется привлечение локальных экспертов.
Работа расширяет предыдущие исследования расового стиринга в LLM и ставит вопрос о необходимости регулирования AI-инструментов, которые опосредуют доступ к жилью. Без надлежащего контроля такие технологии могут непреднамеренно усиливать существующее неравенство.
