ИИ-детекторы академической честности ошибочно наказывают за легальную правку текста
Коммерческие ИИ-детекторы, которые вузы используют для контроля академической честности, не способны отличить лёгкое редактирование текста с помощью ИИ от полностью сгенерированного черновика. К такому выводу пришли авторы исследования, опубликованного на arXiv.
В рамках эксперимента авторы сравнили опубликованные англоязычные аннотации научных статей из четырёх дисциплин за 2013–2015 и 2023–2025 годы. Учёные использовали прокси-метки для человеческого и ИИ-текста и протестировали популярные сервисы Pangram и GPTZero.
Оказалось, что лёгкая правка только аннотации — что соответствует разрешённой ИИ-помощи по правилам многих журналов — помечается как нарушение в 64–80% случаев. При этом немодифицированные оригинальные аннотации 2023–2025 годов ошибочно признаются ИИ-текстом в 9–15% случаев.
Особенно заметна разница между областями: в неинженерных науках доля ложных срабатываний значительно выше, чем в STEM. По мнению авторов, это делает детекторы несправедливыми по отношению к исследователям из гуманитарных и социальных дисциплин.
Исследователи подчёркивают: честное использование ИИ для редактирования приводит к более высокому риску санкций, чем попытки обхода через специальные сервисы-«очеловечиватели». Иными словами, студентов и учёных могут наказывать за то, что они не скрывали применение ИИ.
Авторы заключают, что результаты детекторов не должны рассматриваться как самостоятельное доказательство нарушения академической честности. По их словам, решения о санкциях нуждаются в дополнительной проверке.
