Prompt-to-Paper: ИИ-агент создает научные статьи по биоинформатике за $0.31

На сервере препринтов arXiv опубликовано описание системы Prompt-to-Paper — мультиагентного ИИ, предназначенного для автоматического создания научных статей в области биоинформатики. Разработчики утверждают, что их подход решает три ключевые проблемы существующих генераторов: отсутствие привязки к проверяемым источникам, склонность к выдумыванию результатов и нехватка объективной оценки качества.

Prompt-to-Paper использует детерминированный пайплайн дополненной генерации с поиском (RAG). Для каждого утверждения система отбирает от 60 до 100 релевантных научных статей, применяя пораздельную оценку релевантности и расширение цитирования по принципу снежного кома. Это гарантирует, что все факты в генерируемой статье имеют реальные ссылки.

Второй ключевой компонент — автономный агент, который пишет и выполняет код для вычислительных экспериментов в области биоинформатики. Вместо вымышленных численных результатов система генерирует подлинные данные, запуская реальные алгоритмы на настоящих (или смоделированных) наборах данных.

Для оценки качества статьи используется восьмимерный автоматический скоррер, откалиброванный по приблизительным эталонным статистикам из опубликованных работ. Он включает явные штрафы за галлюцинации и обеспечивает стандартизированную воспроизводимую оценку. Цикл улучшения качества на основе этого скора использует контекстно-богатый редактор: каждые десять итераций запускается глубокий исследовательский цикл с повторным проведением экспериментов и полной перепиской статьи.

Система протестирована на пяти тематических исследованиях в биоинформатике. Во всех случаях были получены полностью отформатированные PDF-файлы, готовые к подаче в журнал, причём ни одна цитата не выходила за пределы допустимого диапазона. Цикл улучшения повысил качество рукописей в среднем на 17,96 балла по 100-балльной шкале (максимум 26,04). В качестве внешней проверки человек-рецензент оценил все пять статей в среднем на 7 баллов из 10.

Себестоимость генерации одной статьи, по данным авторов, составляет около 0,31 доллара США. Это делает систему экономически привлекательной для массового создания черновиков научных работ и может существенно ускорить подготовку публикаций в биоинформатике и смежных дисциплинах.