Автономные ИИ-агенты: тайминг остановки почти невоспроизводим у людей и LLM
Исследователи изучили проблему тайминга вмешательства в работу автономных ИИ-агентов. В ходе эксперимента они использовали 18-мерный симулятор эмоциональной динамики HEART и тестировали четыре семейства триггеров: пороговые по состоянию, комбинированные паттерны, извлечение признаков на основе регулярных выражений и LLM-судей. Оценка проводилась на трассах отладки SWE-bench-Verified с человеческой разметкой.
Первое открытие — ловушка насыщения состояния. При длительном стрессе агенты не демонстрируют сигнала восстановления, поэтому пороговые триггеры срабатывают почти на каждом шаге: от 39 до 83% действий в пяти траекториях. Вместо точечного детектирования они превращаются в постоянные индикаторы.
Второй результат касается LLM-судей. Малая модель gpt-5.4-mini ни разу не сработала, а более мощные модели достигали F1 от 0.17 до 0.40, но только при доступе к полной траектории, и при этом стоили до 90 раз дороже. Без контекста они также не срабатывали.
Третий и самый важный вывод: человеческая разметка оказалась крайне ненадёжной. Три обученных аннотатора, используя единую схему на 56-шаговой траектории, соглашались о точках вмешательства лишь немного выше случайности (альфа Криппендорфа +0.047, лучший попарный каппа Коэна +0.349). По типу вмешательства согласие было ещё ниже.
Авторы приходят к выводу, что тайминг вмешательства — низконадёжный конструкт. Это делает метрику F1 по одному аннотатору непригодной как цель оптимизации для детекторов. Исследование впервые совместно отображает проблему: человеческую согласованность, четыре архитектуры детекторов, межмодельное сравнение LLM-судей и эффект насыщения.
Работа опубликована в репозитории arXiv и предлагает пересмотреть подходы к runtime-безопасности автономных агентов. По мнению авторов, дальнейшие усилия должны быть направлены на разработку более консистентных метрик и методов сбора разметки.
