Ученые предложили заменить маркировку «Made with AI» на визуализацию плотности фактов
Исследователи представили в arXiv статью, посвященную ограничениям маркировки «Made with AI». По их словам, пользователи часто доверяют гладким текстам, но после раскрытия авторства могут необоснованно сомневаться и в точной информации. Этот феномен назван «ловушкой беглости».
Вместо простого указания на то, что текст создан искусственным интеллектом, авторы предлагают интерфейс Provenance Density. Он визуализирует, какая доля утверждений в тексте подтверждается независимыми источниками. Это позволяет оценить, насколько контент обоснован, а не только кто его написал.
В пользовательском исследовании с участием 81 человека выяснилось, что с этим интерфейсом участники значительно лучше различали правдивые и выдуманные утверждения. Разница составила 4,15 пункта при большом размере эффекта (d=1,82). Без какого-либо сигнала участники не могли отличить достоверную информацию от ложной.
Технический аудит на 200 образцах показал, что одной лишь визуализации поисковых совпадений недостаточно. Самый сильный сигнал при динамических запросах давал так называемый «консистентный вето» (Consistency Veto). Это важная деталь для будущих систем проверки фактов.
Авторы статьи приходят к выводу, что для прозрачности ИИ-контента одного раскрытия авторства мало. Необходимы инструменты, показывающие доказательную базу текста. По их мнению, визуализация плотности подтвержденных утверждений может стать более эффективной альтернативой простым ярлыкам.
