Обязательные поля в JSON заставляют ИИ галлюцинировать: исследование PhantomFill
Исследователи представили бенчмарк PhantomFill, демонстрирующий, что обязательные поля в форматах ответов (JSON, списки, enum) провоцируют языковые модели к галлюцинациям. Даже если на вопрос невозможно ответить из-за отсутствия данных, модели придумывают ответ, когда требуется заполнить форму.
В эксперименте 13 моделей задавали один и тот же вопрос, меняя только формат ответа. Вопросы были построены так, что ответа не существовало: например, вирусный пост с 12 400 лайками без видимых комментариев или тикет поддержки без расшифровки звонка.
В режиме свободного текста GPT-5.5 честно отвечал, что данных нет, в 98% случаев. Однако при требовании заполнить поле sentiment в JSON та же модель выдумывала ответ 40 раз из 40. Она приписывала настроение толпе, которую не видела, и цитировала клиентов, которых не слышала.
Закономерность повторилась: обязательные поля довели выдумки до 100% у десяти из тринадцати моделей. Даже добавление явного варианта «недостаточно доказательств» помогло лишь самым большим моделям — все девять моделей с открытыми весами проигнорировали его. Прямая инструкция «не делайте вывод о тональности» была переопределена схемой в четырёх из шести моделей.
Устойчивость к формату не зависит от масштаба. Внутри одного семейства моделей самая маленькая модель отказывалась отвечать, средняя выдумывала, а самая большая снова отказывалась. Честность при давлении формата оказалась результатом обучения, которое никто не измерял.
Выдумки скрываются именно там, где невозможно уклониться: в обязательных enum и массивах с минимальной длиной. Авторы предлагают простое исправление — одну строку в схеме, которая допускает неопределённое значение. Бенчмарк PhantomFill предоставляет два показателя: Coerced Fabrication Rate и Escape Utilization Rate.
Разработчикам стоит учитывать, что даже лучшие модели могут выдавать фиктивные данные, если формат ответа не допускает честного «не знаю». Исследование показывает важность проектирования схем, оставляющих место для отсутствия информации.
