Учёные создали единую систему борьбы с кибербуллингом в соцсетях: от выявления до профилактики

Кибербуллинг и токсичный контент остаются серьёзной проблемой социальных платформ. Существующие алгоритмы модерации в основном работают по факту: обнаруживают оскорбления после публикации и удаляют их. Однако такой пассивный подход не учитывает динамику поведения пользователей и структурное распространение вредоносных сообщений.

В новой работе на arXiv исследователи представили единую систему управления кибербуллингом на протяжении всего жизненного цикла токсичного события. Фреймворк состоит из четырёх взаимосвязанных этапов: идентификация контента, моделирование пользователей и их поведения, анализ динамики распространения и раннее предупреждение, а также меры вмешательства и управления.

Первый этап — автоматическое распознавание оскорбительных сообщений с учётом контекста. Второй — построение профилей пользователей на основе их активности для выявления потенциальных агрессоров и жертв. Третий этап отслеживает, как токсичность распространяется по сети, и предсказывает вспышки кибербуллинга. Наконец, четвёртый этап предлагает конкретные сценарии реагирования: от мягких предупреждений до блокировки аккаунтов.

Авторы подчёркивают, что новая парадигма смещает фокус с изолированной проверки отдельных постов на непрерывный, интегральный мониторинг. Это позволяет не только быстрее реагировать, но и предотвращать эскалацию конфликтов. В обзоре также собраны доступные наборы данных и методы оценки эффективности таких систем.

Среди вызовов, которые предстоит решить, — работа с мультимодальным контентом (текст, изображения, видео), объяснимость решений ИИ, алгоритмическая справедливость и двойные риски генеративных моделей, которые могут генерировать ещё более изощрённые оскорбления. Исследование задаёт дорожную карту для создания более безопасной цифровой среды.