Новый подход к дезинформации: Adversarial Social Epistemology для людей и ИИ
Исследователи представили новую концепцию Adversarial Social Epistemology (ASE), которая описывает, как люди и большие языковые модели (LLM) могут искажать информацию в сложных коммуникативных средах. В работе, опубликованной на arXiv, авторы отмечают, что традиционные понятия «эпистемических пузырей», «эхо-камер» и «распространения дезинформации» не полностью охватывают происходящие процессы.
Согласно ASE, в условиях плотного взаимодействия между людьми и ИИ агенты могут намеренно искажать, замалчивать или фабриковать информацию для личной выгоды, репутации или материального вознаграждения. Особое внимание уделяется тому, как такие искажения подрывают доверие к цепочкам свидетельств и выводам, на которых основываются публичные утверждения.
Авторы предлагают язык и механизмы для анализа того, как коммуниканты используют обязательства и права, обычно делающие утверждения заслуживающими доверия. Они выделяют способы подрыва аудита цепочек выводов и предлагают инструменты для выявления и устранения нарушений доверия.
Концепция опирается на эпистемические сети, обогащенные инференциалистской семантикой для интерпретации утверждений. Это позволяет выявлять, где именно происходит манипуляция и как восстановить прозрачность коммуникации.
Исследование имеет прикладное значение для разработки систем проверки фактов, модерации контента и создания надежных ИИ-ассистентов. ASE может помочь в создании алгоритмов, способных распознавать стратегическое сокрытие информации и автоматически сигнализировать о потенциальных нарушениях.
Эксперты отмечают, что с ростом использования LLM в новостях, образовании и социальных сетях понимание ASE становится критически важным для поддержания информационной гигиены. Работа открывает путь к более детальному аудиту взаимодействий между человеком и искусственным интеллектом.
