ИИ-агент Claude Fable 5 справился с 16% реальных фриланс-заказов — вдвое лучше предшественника
Center for AI Safety (CAIS) и Scale Labs представили обновлённые результаты бенчмарка Remote Labor Index (RLI), который оценивает способность ИИ-агентов выполнять реальные фриланс-заказы. В отличие от синтетических тестов, RLI использует живые проекты из таких областей, как 3D и CAD, архитектура, дизайн, видео и анимация, аудио, аналитика данных и веб-приложения.
Новая модель Claude Fable 5 показала лучший результат за всю историю теста по ключевой метрике automation rate — доле проектов, принятых как минимум наравне с работой человека. Показатель составил 16,1%.
Для сравнения, предыдущая версия Opus 4.8 набрала 8,3%, а GPT-5.5 — 6,3%. Таким образом, Fable 5 почти вдвое превзошла своего предшественника и значительно опередила конкурента.
Оценка проводилась живыми экспертами: они сравнивали работу ИИ-агента с эталонной работой оплаченного профессионала и принимали решение, справился ли алгоритм на достаточном уровне.
Разработчики подчёркивают, что рост эффективности ИИ-агентов на реальных задачах происходит быстро. По данным издания, частота успешного выполнения заказов увеличилась в несколько раз за последние месяцы.
Эти результаты показывают, что автоматизация фриланс-услуг становится всё более реальной, особенно в сферах с чёткими критериями качества, таких как аналитика данных и веб-разработка.
