Исследование: согласованность LLM не гарантирует правильности ответов

Оценка языковых моделей с помощью других LLM (LLM-as-judge) стала стандартом в AI-индустрии. Однако новое исследование, опубликованное на arXiv, ставит под сомнение ключевое допущение таких методов: что согласованность ответов означает их правильность.

Учёные провели масштабный эксперимент с участием 53 моделей-«судей» (runners). Каждая модель получила 50 выборок (K=50) для пересекающихся кейсов из наборов GPQA Diamond и AIME — всего 265 тысяч образцов. Исследователи изучали, насколько согласие между разными моделями или повторами одной модели коррелирует с истинной правильностью ответа.

Результаты показали, что согласованность является слабым предиктором точности: коэффициент корреляции rho составил от 0,20 до 0,59 (все положительные). То есть модели, которые часто соглашаются друг с другом или сами с собой, не обязательно дают верные ответы.

Особенно ярко эффект проявился у «фронтирных» моделей — самых мощных и последовательных. Они демонстрировали высокую согласованность (80% и выше) в 77% случаев, но при этом 48% их «уверенных» ответов оказались ошибочными. Таким образом, высокая уверенность модели не гарантирует точности, а скорее маскирует систематические ошибки.

Дополнительная проверка на семействе моделей Claude трёх уровней подтвердила ту же закономерность: фронтирные модели были чрезмерно самоуверенны, причём их ошибки повторялись даже у разных провайдеров, если не учитывать «нулевой» маргинальный сдвиг.

Авторы приходят к выводу, что самосогласованность может служить условным прокси для правильности лишь в определённых режимах — например, для моделей среднего уровня и для оптимизации вычислительных затрат — но не является самостоятельной мерой доверия. Исследование опубликовано в открытом доступе вместе с обезличенными данными каждой прогонки и распределением ответов.