ИИ проваливает почти 65% реальных научных задач — бенчмарк OpenAI показал слабость моделей
OpenAI представила новый бенчмарк LifeSciBench, предназначенный для оценки практической полезности искусственного интеллекта в научной работе. В отличие от стандартных тестов на знание биологии, этот бенчмарк проверяет способность ИИ решать реальные исследовательские задачи, такие как анализ статей, интерпретация данных и формулирование гипотез.
Тестирование проводилось на нескольких моделях, включая флагманскую GPT-Rosalind, специально разработанную для научных целей. Результаты оказались отрезвляющими: даже лучшая модель показала лишь 36,1% успешных выполнений. Для сравнения, модель GPT-5.5 справилась с 25,7% задач.
Таким образом, почти две трети (около 64%) реальных научных задач остаются неподвластны современным ИИ-системам. Это указывает на значительный разрыв между демонстрацией знаний в узких тестах и реальной применимостью в исследовательской деятельности.
LifeSciBench включает задания по анализу научных текстов, интерпретации графиков и таблиц, а также построению логических цепочек. Такие тесты ближе к реальной работе учёного, чем стандартные вопросы с выбором ответа, и позволяют объективнее оценить пригодность ИИ для науки.
Разработчики подчёркивают, что бенчмарк был создан в первую очередь для оценки модели GPT-Rosalind, но его можно использовать для сравнения и других систем. Полученные данные заставляют с осторожностью относиться к заявлениям о скорой замене учёных искусственным интеллектом.
Тем не менее, даже 36% успешных решений — это значительный шаг вперёд по сравнению с предыдущими моделями. Ожидается, что дальнейшее развитие ИИ и появление новых бенчмарков позволит точнее измерять и улучшать способности нейросетей в научной сфере, приближая их к уровню человека-исследователя.
