NxN E-valuation: новый алгоритм для проверки гипотез больших языковых моделей

Научный архив arXiv опубликовал препринт с описанием алгоритма NxN E-valuation. Метод предназначен для проверки гипотез, которые выдвигают большие языковые модели (LLM). Авторы утверждают, что алгоритм не требует построения специальной процедуры сертификации для каждого конкретного случая, включая создание отдельной нулевой гипотезы.

В основе подхода лежат e-value и условный рандомизированный тест (CRT). Благодаря этому гипотезу можно проверить, опираясь на достаточно большой уже имеющийся набор данных. Такой набор обычно и так есть при работе с современными LLM, поэтому дополнительных затрат на подготовку тестовых сценариев не требуется.

Проблема, которую решают авторы, связана с галлюцинациями языковых моделей. LLM хорошо умеют формулировать гипотезы, но иногда выдают ложные или вымышленные утверждения за факты. Из-за этого результаты работы моделей нельзя использовать напрямую, а существующие методы борьбы с галлюцинациями имеют серьёзные ограничения.

Одним из распространённых способов является круговая проверка, когда модель проверяет или исправляет собственную выдачу. Другой подход — тестирование на отложенных данных (held-out testing). Однако, как отмечают авторы, при таком тестировании ложные гипотезы могут проходить проверку из-за ложных корреляций в данных. Оба метода, по мнению исследователей, уязвимы.

NxN E-valuation предлагает использовать естественным образом существующий большой обучающий набор. Разные образцы данных служат нулевыми гипотезами друг для друга. Это напрямую реализует условный рандомизированный тест и позволяет сертифицировать каждую выдвинутую гипотезу.

Авторы считают, что предложенный подход может быть универсально лучшей заменой как круговой проверки, так и тестирования на отложенных данных. Оговорка касается того, что генерация LLM должна действительно формировать гипотезы, применимые к каждому отдельному образцу. В этом случае NxN E-valuation может стать более надёжным инструментом для исследователей и разработчиков.

Препринт опубликован на arXiv, однако полноценное рецензирование работа пока не проходила. Тем не менее, тема борьбы с галлюцинациями LLM остаётся одной из самых актуальных в области искусственного интеллекта, поэтому предложенный метод уже привлёк внимание специалистов.