ИИ-агенты для заказа еды: JSON-схемы не гарантируют безопасность транзакций
Современные языковые модели всё чаще используются для автоматизации заказов: пользователь формулирует запрос на естественном языке, а ИИ-агент преобразует его в структурированный JSON-объект для выполнения через API. Однако, как выяснили исследователи, синтаксическая валидность JSON не гарантирует корректности с точки зрения семантики.
Группа учёных из Nebius Token Factory разработала бенчмарк OrderBench, который оценивает ИИ-агентов по нескольким параметрам: синтаксическая валидность, соблюдение схемы, корректность статусов решений, точное соответствие позиций, сохранение ограничений и уровень опасных принятий.
В ходе эксперимента было произведено 2400 вызовов четырёх открытых моделей в двух режимах: только с промптом и с обязательной JSON-схемой. В сильнейшей модели оба режима показали 100% валидность схемы, однако семантическая успешность осталась на уровне около 80%. В более слабых моделях доля опасных принятий (unsafe acceptances) при соблюдении схемы достигала двузначных чисел.
Таким образом, исследователи пришли к выводу, что структурированный вывод — это лишь необходимый интерфейсный слой, а не замена верификации предметной области и защиты от сбоев. Для безопасного применения ИИ-агентов в коммерческих операциях требуется дополнительный контроль семантики и исполнение по принципу fail-closed.
Результаты работы опубликованы на сервере препринтов arXiv. Эксперты отмечают, что выводы важны для разработчиков, внедряющих ИИ-агентов в чувствительные к ошибкам сферы, такие как ресторанный бизнес, электронная коммерция и финансовые сервисы.
