GPT-5.5 обошла Opus 4.8 в бенчмарке SWE-rebench: решает больше задач при тех же затратах
Согласно обновлённому рейтингу SWE-rebench за май 2025 года, модель GPT-5.5 от OpenAI стала самой эффективной среди конкурентов. Она опередила Opus 4.8, демонстрируя более высокий процент решённых задач при равной стоимости использования. Бенчмарк измеряет не только точность, но и экономию токенов, что делает GPT-5.5 привлекательным выбором для разработчиков.
SWE-rebench — это живой бенчмарк, в который ежемесячно добавляют новые задачи, взятые напрямую с GitHub. Каждая задача представляет собой реальную пару «issue + pull request»: модель должна разобраться в чужом коде и предложить патч, успешно проходящий приложенные тесты. В текущий релиз вошли 110 задач из 86 различных репозиториев, собранных за период с марта по май 2025 года.
Для сравнения моделей используются два ключевых параметра: процент успешно решённых задач и количество затраченных токенов. GPT-5.5 показала лучший баланс, решив большее число задач, чем Opus 4.8, при аналогичном расходе токенов. Это означает, что разработчики могут получать более качественные результаты без увеличения бюджета на вычислительные ресурсы.
Результаты подчёркивают растущую конкуренцию в области ИИ-помощников для программирования. Другие модели, включая Claude Opus 4.8, также показывают высокие результаты, но пока не могут сравниться с GPT-5.5 по соотношению цена-качество. OpenAI продолжает удерживать лидерство в этом сегменте, несмотря на активное развитие альтернатив.
Важно учитывать, что бенчмарк SWE-rebench ориентирован на реальные задачи, а не на синтетические тесты. Это делает результаты особенно значимыми для практического применения. Однако разработчикам стоит помнить, что условия бенчмарка могут не полностью отражать специфику их собственных проектов, и окончательный выбор модели всегда зависит от конкретных требований.
