ARBITER: как исправить ошибки голосования в рассуждениях языковых моделей
При тестировании языковых моделей с многократным сэмплированием (test-time sampling) часто применяют голосование большинством для выбора итогового ответа. Однако, как показано в новой работе на arXiv (2605.26172), эти траектории рассуждений не являются независимыми: они образуют небольшое число кластеров, названных «бассейнами рассуждений» (reasoning basins).
Каждый бассейн определяется итоговым ответом и ведущими к нему решениями. Голосование большинством фактически выбирает самый стабильный бассейн, а не самый точный. Из-за этого возникает ситуация «неправильного большинства»: правильный ответ присутствует, но проигрывает голосование.
Для решения этой проблемы авторы представили ARBITER — модельно-независимый подход, который моделирует взаимодействия между бассейнами, используя только собственные выходы базовой модели, скрытые состояния и полученные доказательства. Прямые стратегии коррекции, как выяснилось, не работают. ARBITER же применяет консервативное аддитивное свидетельство поверх консенсуса.
В простейшей форме без параметров — ARBITER-? — к приоритету большинства добавляются свидетельства той же модели. Расширенная версия ARBITER-Enc дополняет их ограниченными остаточными сигналами из скрытых состояний.
Эксперименты на наборе GSM8K с моделью Qwen3-4B показали, что консенсус при 24 сэмплах достигает примерно 94,5% точности, а «оракул» top-2 из той же выборки — около 96,5%. ARBITER восстанавливает часть этих случаев без внешней информации. На трёх семействах моделей и трёх математических бенчмарках метод даёт стабильный прирост без единого отрицательного случая. Например, на Llama-3.1-8B для MMLU-HS-Math точность повысилась с 78% до 82%, что составляет около 22% от доступного потенциала «оракула».
Результаты показывают, что ошибки голосования можно частично исправить, анализируя саму выборку сэмплов. ARBITER не требует дополнительных данных или дообучения — это практичный инструмент для повышения надёжности языковых моделей в задачах рассуждения.
