Logit-энергия: новый метод оценки научных гипотез превзошел LLM-судей
Большие языковые модели все чаще применяются для генерации научных гипотез. Однако проверка качества таких гипотез остается слабым звеном: исследователи сталкиваются с трудностями при отделении действительно перспективных идей от банальных или ошибочных.
Традиционные методы часто используют LLM в качестве судей, которые сравнивают гипотезы между собой, либо опираются на семантическую близость к известным статьям. Это может приводить к смещению в сторону знакомых концепций и недооценке новизны.
Группа исследователей предложила альтернативный подход — logit-based energy scoring. Вместо сравнительного суждения метод оценивает гипотезы на основе собственной уверенности языковой модели, извлеченной из внутренних логитов.
Для проверки метода ученые провели бенчмарк на 1323 научных статьях из 12 дисциплин. Каждая статья была сопоставлена с корректной гипотезой и 15 заведомо неверными альтернативами. Участие приняли семь языковых моделей различного размера.
Результаты показали, что внутренняя оценка уверенности справляется лучше: точность Hit@1 составила 33,0% в объединенном расчете, тогда как у классического подходе с LLM-судьей — только 16,6%. Наилучший результат достигнут на модели с 1 миллиардом параметров — 53,1%, хотя авторы отмечают, что это максимальное значение из 14 комбинаций, выбранных постфактум.
По мнению исследователей, использование внутренней уверенности модели открывает перспективы для надежной оценки научных гипотез в автоматизированных системах открытий. Работа также мотивирует дальнейшее изучение методов на основе уверенности для построения заслуживающих доверия ИИ-инструментов в науке.
Новый подход не требует дополнительных судей или сравнения множества вариантов, что упрощает вычислительные затраты. Авторы подчеркивают, что это лишь первый шаг, и предстоит проверить метод на более широком спектре задач и моделей.
