Проверка рассуждений ИИ: метод подмены предикатов раскрыл ошибки GPT-4o
Большие языковые модели (LLM) часто генерируют цепочки рассуждений, которые выглядят логически обоснованными, но не всегда действительно опираются на указанные посылки. Чтобы выявить такие случаи, исследователи предложили метод интервенционного аудита — пошаговую проверку зависимости от посылок в «черном ящике».
Суть метода заключается в замене одного предиката в посылке на новый символ. Затем модель повторно запускается, и проверяется, изменилось ли нормализованное заключение каждого шага рассуждения. Если заключение не изменилось, значит, шаг не зависит от исходного предиката — это сигнал о возможной ошибке.
Тестирование проводилось на наборе данных ProntoQA — синтетическом бенчмарке многошагового дедуктивного вывода с известными деревьями доказательств. Исследователи взяли 50 задач и применили метод к модели GPT-4o. Результаты показали F1 = 0,806 для обнаружения зависимостей из дерева доказательств, а для предикатоопределяющих зависимостей — F1 = 0,885 при полноте 100%.
Это значительно превосходит базовый метод самосогласованности, у которого F1 составил лишь 0,343. Однако главное открытие состояло в другом: в 66% правильно решенных задач хотя бы один шаг рассуждения оказался нечувствительным к замене предиката, с которым он должен быть связан по дереву доказательств.
Подавляющее большинство таких нечувствительных шагов относились к посылкам, вводящим новые сущности. Это известное «слепое пятно» для методов согласованной замены, которые не могут обнаружить эту проблему. Таким образом, модель получает правильный ответ, но использует неверное рассуждение — сигнал, незаметный для пассивных методов проверки.
Авторы опубликовали все сертификаты аудита, сырые выходы модели и скрипты для воспроизведения в открытом репозитории GitHub. Они также оговаривают, что метод пока ограничен формальными, парсируемыми бенчмарками, и его применение к более сложным задачам требует дальнейших исследований.
