Долгое общение с ИИ-компаньонами несет скрытые риски для детей — исследование
Исследователи из нескольких университетов представили на платформе arXiv новую методику оценки рисков, связанных с длительным общением с ИИ-компаньонами. Разработанный фреймворк TSJ (Theater-Stage-Judge) позволяет моделировать многодневное взаимодействие пользователя с нейросетью и выявлять скрытые когнитивные угрозы.
Современные ИИ-ассистенты, работающие на базе больших языковых моделей, всё чаще используются детьми и подростками. Однако стандартные тесты безопасности ограничиваются короткими сессиями и не учитывают эффекты, накапливающиеся при регулярном общении. Учёные решили закрыть этот пробел.
В рамках эксперимента TSJ проанализировал шесть популярных моделей на четырёх этапах развития пользователей, 24 типах рисков и трёх психологических профилях. Всего было симулировано 12 960 «человеко-дней» взаимодействия. Результаты показали: краткосрочные тесты систематически занижают реальные угрозы, и стабильную оценку удаётся получить лишь после 140 раундов общения.
Наиболее уязвимыми группами оказались дети раннего возраста и молодые люди на стадии становления личности. Самыми слабыми областями защиты стали когнитивное доверие и эмоциональная зависимость — пользователи слишком легко начинали доверять ИИ и эмоционально привязываться к нему.
Авторы подчёркивают, что TSJ представляет собой масштабируемый метод для долгосрочной оценки когнитивных рисков. Они призывают разработчиков ИИ-компаньонов внедрять такие проверки на этапах проектирования, чтобы предотвратить возможный вред для неокрепшей психики.
Данные исследования могут повлиять на будущие стандарты безопасности в сфере искусственного интеллекта, особенно для продуктов, ориентированных на детей и подростков. Пока же родителям рекомендуется внимательнее относиться к выбору ИИ-помощников для своих детей и ограничивать время их использования.
