Claude Mythos обошел конкурентов: 18 эксплойтов для Chrome против нуля у других ИИ
Команда ученых из Университета Карнеги-Меллон под руководством Дэвида Брамли выпустила новый бенчмарк для оценки способностей ИИ к эксплуатации уязвимостей — ExploitBench. Тестовый набор включает 41 реальную уязвимость в движке V8, который используется в браузерах Chrome, Edge и среде Node.js.
На ExploitBench прогнали девять передовых моделей искусственного интеллекта. Результаты оказались неожиданными: только одна модель смогла создать рабочие эксплойты. Закрытая модель Anthropic — Claude Mythos Preview — довела до рабочего состояния 18 из 41 бага.
Восемь остальных моделей — Opus 4.7, Sonnet 4.6, Haiku 4.5, GPT-5.5, Gemini 3.1 Pro, GLM 5.1, Kimi K2.6 и MiniMax M2.7 — не смогли произвести ни одного корректного эксплойта. Это подчеркивает значительный разрыв в возможностях между моделями при решении задач кибербезопасности.
Разработчики ExploitBench отмечают, что бенчмарк нацелен на оценку практических навыков ИИ в поиске и использовании уязвимостей. В отличие от традиционных тестов, ExploitBench требует от моделей не просто анализа кода, а генерации исполняемых атакующих программ.
Результаты исследования демонстрируют, что даже ведущие ИИ-модели пока не способны автоматизировать сложные задачи эксплуатации уязвимостей. Исключение составляет Claude Mythos Preview, что может указывать на особые подходы к обучению или архитектуре данной модели.
Пока неизвестно, как быстро другие компании смогут догнать Anthropic в этом направлении. Ожидается, что ExploitBench станет одним из стандартных инструментов для тестирования ИИ в области безопасности.
