AgentLens: новый бенчмарк для оценки кодовых ИИ-агентов по всей траектории работы

Разработчики выпустили AgentLens — новый бенчмарк для оценки интерактивных ИИ-агентов, которые пишут код. Главное отличие от существующих тестов в том, что AgentLens оценивает не только финальный результат (прошёл задачу или нет), а всю траекторию работы агента.

Бенчмарк проверяет, как агент следует инструкциям, использует инструменты, проверяет собственный код, исправляет ошибки и взаимодействует с пользователем. Каждый запуск завершается детальным описанием того, почему выставлена та или иная оценка.

Оценка в AgentLens строится на двух компонентах: формальная верификация, где есть объективная проверка, и LLM-написанные обзоры траекторий с попарным сравнением. Такой подход даёт более осмысленные результаты, чем простой бинарный вердикт.

Создатели отмечают, что бенчмарк полезен не только для ранжирования моделей. С его помощью можно диагностировать поведение агентов, сравнивать последовательные версии собственного продукта и выявлять регрессии в ежедневных тестовых прогонах.

AgentLens опубликован в открытом доступе на GitHub. Исходный код и инструкции по использованию доступны по адресу github.com/agent-lens/agent-lens-bench.

Новый инструмент может стать важным шагом в развитии методов оценки ИИ-агентов, так как он приближает тестирование к реальным сценариям использования, где важна не только конечная правильность, но и качество всего процесса работы.