Исследователи выявили шесть типов сбоев у ИИ-агентов на базе больших языковых моделей
Группа исследователей провела метаанализ 27 научных работ, опубликованных с 2023 по 2026 год, и выявила шесть основных типов сбоев, характерных для агентов на базе больших языковых моделей (LLM). В анализ вошли данные по 19 различным бенчмаркам, оценивающим способность ИИ использовать инструменты, планировать многошаговые задачи и координировать действия с другими агентами.
Авторы сформировали единую таксономию ограничений LLM-агентов, объединив разрозненные данные из множества исследований. По их словам, это первая работа, которая интегрирует свидетельства из разных областей — от работы с инструментами до безопасности и валидности измерений.
Первый кластер ошибок связан с вызовом инструментов и параметрами: модели неверно выбирают API, передают некорректные аргументы или неправильно интерпретируют результаты. Второй кластер охватывает провалы в планировании и соблюдении ограничений — агенты не могут удержать заданные правила или построить реалистичный план.
Третий тип проблем — деградация при длительных горизонтах выполнения. С накоплением контекста качество работы падает. Четвёртый кластер — сбои в многолетней координации: агенты хуже справляются с задачами, требующими общения и синхронизации.
Пятый кластер касается безопасности и уязвимостей: модели легко обмануть с помощью состязательных примеров или нечётких инструкций. Наконец, шестой тип — проблемы валидности измерений: существующие бенчмарки не всегда отражают реальную эффективность агентов.
Исследователи отмечают, что сбои усиливаются нелинейно с ростом длины задачи. Хорошая производительность на отдельных подзадачах не гарантирует успех в полном цикле. Добавление дополнительных «подпорок» (scaffolding) не всегда повышает надёжность.
Впрочем, прогресс достигнут в узких сценариях: одношаговое использование инструментов, короткая навигация по вебу и решение ограниченных задач по программированию. Авторы призывают разрабатывать более комплексные метрики и уделять внимание «слабым местам» агентов.
