DeepSciVerify: новый метод проверки научных ссылок повысил точность ИИ на 4,5%

Одной из распространённых проблем генеративных моделей остаётся несоответствие между утверждениями в тексте и реальным содержанием цитируемых источников. Это особенно критично в научной сфере, где достоверность ссылок напрямую влияет на доверие к результатам.

Группа исследователей представила новый подход DeepSciVerify, который решает задачу верификации цитирования в два этапа. На первом этапе система анализирует аннотацию статьи — если модель уверена в ответе, проверка завершается. В сомнительных случаях происходит эскалация: извлекается и анализируется полный текст работы.

Такой дизайн позволяет использовать комплементарные свойства разных больших языковых моделей: одни склонны к консервативным оценкам, другие — к более решительным решениям при неопределённости. DeepSciVerify умело балансирует между этими стратегиями.

На бенчмарке SCitance система достигла 86,7% Micro-F1, что на 4,5 процентных пункта выше, чем у сильных абстрактных baseline-методов. При этом 67% проверок были выполнены без обращения к полным текстам, что значительно экономит вычислительные ресурсы и время.

Результаты работы показывают, что избирательное углубление в источники — эффективный способ повысить как точность, так и производительность систем верификации научных ссылок. Метод может найти применение в автоматической проверке научных статей, отчётов и других документов с высокой ответственностью.