Линейные зонды на средних слоях LLM достигли 100% точности в выявлении галлюцинаций

Галлюцинации — одна из главных проблем современных больших языковых моделей (LLM). Исследователи из международной команды предложили новый подход к их обнаружению, основанный на анализе внутренних состояний модели.

В работе использовались три популярные модели размером 7–8 миллиардов параметров: Llama-3.1-8B, Mistral-7B и Qwen2.5-7B. Все они были загружены в 4-битной NF4-квантованной версии, что позволяет проводить эксперименты на GPU с 8 ГБ памяти. Модели тестировали на четырёх бенчмарках: TruthfulQA, HaluEval-QA, FEVER и синтетическом наборе данных.

Ученые извлекали скрытые состояния каждого слоя и сравнивали эффективность пяти методов детекции: линейные и MLP-зонды, метод INSIDE EigenScore, самосогласованность (self-consistency) и энтропия внимания. Результаты показали, что простой линейный зонд, обученный на одном среднем слое, достигает AUROC от 0,904 до 1,000 на отложенных выборках. MLP-зонды не дают существенного прироста — не более 0,01 AUROC.

Интересно, что оптимальные слои для детекции оказались стабильными для разных семейств моделей: для Llama и Mistral это блоки 13–18 из 32, для Qwen — блоки 19–25 из 28. Кроме того, энтропия внимания первого блока показала дополнительные возможности в задачах, основанных на фактических знаниях (AUROC 0,866–0,941 на HaluEval-QA) без дополнительных вычислительных затрат.

Методы, основанные на семплинге (например, самосогласованность), показали низкую различительную способность — не выше 0,541 AUROC. Авторы связывают это с несоответствием между структурой парных меток, используемых для оценки, и доступной информацией, а не с принципиальным ограничением методов.

Все коды и данные опубликованы для воспроизведения результатов на одном GPU. Работа демонстрирует, что галлюцинации кодируются в скрытых состояниях LLM почти линейно, что открывает путь к недорогим и точным детекторам для практического применения.