FirstResearch: новый фреймворк для проверяемых научных вопросов от ИИ
Команда исследователей представила FirstResearch — фреймворк, который позволяет проверять научные вопросы, сгенерированные большими языковыми моделями (LLM). Разработка призвана решить проблему: вопросы от LLM могут звучать правдоподобно, но остаются непрозрачными для учёного — не видно ни механизма, ни опровергающей гипотезы.
В основе FirstResearch лежит сертификат исследовательского вопроса. Он включает примитивные определения, допущения, модель механизма, противоречие, фальсифицируемую гипотезу, минимальный решающий тест и правило обновления при неудаче. Такой сертификат делает вопрос инспектируемым до выполнения дальнейших шагов.
Тестирование проводилось на десяти темах. FirstResearch сравнивали с несколькими базовыми подходами, включая AI co-scientist, Agent Laboratory и AI Scientist-v2. Оценку выполнял LLM-судья (DeepSeek), а затем независимая проверка на Gemini-2.5-Flash подтвердила ранжирование.
Средний балл FirstResearch составил 4.86 из 5, тогда как лучший из базовых методов получил 4.38. Коэффициент согласия Пирсона между судьями достиг 0.865. При этом абляционное тестирование показало, что ключевым компонентом является именно сертификат: его удаление снижало оценку ниже 1 балла.
Авторы отмечают предварительный характер результатов: в оценках использовались LLM-судьи, а не эксперты-люди. Тем не менее, данные указывают, что явные деривационные ограничения — перспективный механизм для повышения проверяемости научных вопросов, генерируемых LLM.
Код, промпты, сохранённые результаты и скрипты воспроизведения опубликованы в открытом репозитории на GitHub. Ожидается, что развитие фреймворка поможет сделать ИИ-агентов в науке более прозрачными и надёжными.
