LLM начали генерировать фантомные домены: хакеры перехватывают трафик через галлюцинации ИИ
Исследовательское подразделение Unit 42 компании Palo Alto Networks описало новый класс атак, связанный с галлюцинациями больших языковых моделей (LLM). Выяснилось, что модели уверенно генерируют несуществующие, но правдоподобные доменные имена реальных брендов, а злоумышленники заранее регистрируют их для перехвата трафика.
Метод получил название phantom squatting. Атакующие используют предсказуемые паттерны галлюцинаций LLM, чтобы занять домены, которые модель может рекомендовать пользователям. При этом домен изначально выглядит легитимным, но контролируется хакерами.
Исследователи проанализировали работу двух LLM на массиве из 913 глобальных брендов, выполнив более 685 тысяч запросов. В ответ было получено около 2,1 млн сгенерированных URL, из которых более 809 тысяч оказались несуществующими доменами. После нормализации это дало примерно 250 тысяч уникальных потенциально регистрируемых фантомных доменов. Часть из них уже признана вредоносной или подозрительной.
Отмечается, что проблема затрагивает и корпоративные процессы: если LLM-ассистент предлагает разработчику URL для API или вебхука, этот адрес может оказаться вымышленным. В CI/CD-конвейерах такие ссылки могут быть использованы автоматически, что создаёт риск утечки данных.
В отчёте приведён конкретный случай: атакующий использовал ИИ-ассистента для создания фишингового набора Montana Empire, который был развёрнут на домене, предсказанном исследователями за 23 дня до его регистрации. Зафиксирован и более длинный цикл — 51 день, когда фантомный домен был сначала сгенерирован моделью, а затем использован для фишинга с поддельным мобильным приложением.
Исследователи подчёркивают, что традиционные системы защиты бессильны, так как фантомные домены изначально чисты и не имеют истории. В качестве меры предлагается проактивный мониторинг поверхности галлюцинаций — отслеживание доменов, которые регулярно генерируют LLM, с проверкой их регистрации.
