Протокол PEEL выявил систематические искажения в текстах ИИ
Группа исследователей опубликовала работу, в которой представила протокол PEEL (Protocols for Epistemically Engaged Literacy in AI) — методологию для обеспечения достоверности результатов, полученных с помощью больших языковых моделей. Авторы отмечают, что ИИ меняет научную практику, но при этом снижает эпистемическую ответственность исследователей.
PEEL сочетает детерминированное дистанционное чтение с помощью Voyant Tools и интерпретацию на основе LLM через Claude. Теоретической основой стали семиотика Пирса и абдуктивное рассуждение. Такой подход позволяет выявить систематические искажения, которые возникают при генерации текста нейросетью.
В рамках эксперимента создали конденсации трёх исходных текстов с помощью ИИ и применили к ним PEEL. Оказалось, что в сгенерированных версиях меняются количественные характеристики, частота терминов и эпистемический голос — причём эти изменения не видны без не-ИИ измерения.
На основе полученных данных авторы сформулировали три дизайн-рекомендации. Во-первых, детерминированные инструменты должны сопровождать использование ИИ. Во-вторых, гладкость текста не равнозначна точности. В-третьих, эпистемический авторитет нужно закладывать в архитектуру, а не предполагать по умолчанию.
Разработка PEEL подчёркивает важность человеческого контроля за работой ИИ в академической среде. Без таких протоколов существует риск незаметного внедрения ошибок в исследовательские работы, что может снизить качество научного дискурса.
