ИИ-агенты не справились с полным циклом нейронаучного исследования

Новое исследование, опубликованное на arXiv, показало, что современные ИИ-агенты, способные автономно писать код, всё ещё далеки от самостоятельного проведения научных исследований.

Учёные поставили перед несколькими общими кодирующими агентами задачу пройти полный пайплайн анализа данных в области нейробиологии — от сырых данных до научного открытия. Конкретным примером стала оптогенетика плодовых мушек (Drosophila), где требуется обработать огромные массивы записей активности нейронов.

Результаты оказались неоднозначными: на отдельных этапах, таких как сегментация изображений или статистическая обработка, агенты справлялись на уровне, сопоставимом с работой специалиста средней квалификации. Однако, когда требовалось пройти всю цепочку шагов последовательно, ни один из агентов не смог получить корректный конечный результат.

Основная проблема, по словам авторов, возникла на этапах, где нет чёткого формального критерия правильности. Например, при визуальной проверке промежуточных данных агенты часто не могли интерпретировать то, что видят, и, соответственно, не предпринимали нужных действий для исправления ошибок.

Дополнительным вызовом стало управление вычислительными ресурсами: агенты не умели эффективно распределять память и время на обработку больших наборов данных, которые в десятки раз превышают размеры стандартных тестовых коллекций.

Исследователи выделили несколько принципов для построения будущих научных ИИ-задач: они должны включать открытые проблемы без заранее известного решения, а оценку следует проводить по стандартам, принятым в предметной области, а не по простым метрикам вроде точности классификации.

Работа демонстрирует, что автоматизация науки с помощью ИИ возможна поэтапно, но до создания полноценного «учёного-робота» предстоит решить фундаментальные задачи, связанные с пониманием смысла обрабатываемых данных.