Новый метод DEGS улучшает рассуждения LLM без дообучения: энтропийный коллапс как сигнал качества
Исследователи из arXiv опубликовали работу Depth-Entropy Guided Sampling (DEGS) — бестренинговый метод, который использует внутреннюю динамику трансформера для улучшения рассуждений больших языковых моделей (LLM). В отличие от популярного подхода с reinforcement learning (RL), требующего дорогого обучения и размеченных данных, DEGS работает на этапе инференса и не требует дополнительного обучения.
Авторы заметили, что более сильные модели, в том числе прошедшие RL-посттренировку, демонстрируют характерный паттерн «позднего коллапса» энтропии: декодированная энтропия остаётся высокой до глубоких слоёв и резко снижается только в конце. Это наблюдение легло в основу метода: DEGS определяет для каждой последовательности глубину коллапса D(x) и комбинирует её с правдоподобием последовательности в единую целевую функцию.
Полученная функция затем встраивается в MCMC-сэмплер (DEGS-MCMC), который итеративно отбирает кандидатов. Даже будучи близкой к случайной для отдельного кандидата, глубина коллапса накапливает статистически значимый сигнал за счёт повторных выборок, что позволяет системе последовательно отдавать предпочтение более качественным ответам.
Тестирование проводилось на трёх открытых моделях и четырёх бенчмарках рассуждений. DEGS достиг наилучших показателей среди бестренинговых методов, особенно сильно опережая аналогов на задачах вне домена и на сложных подмножествах — там, где одно лишь правдоподобие оказывается недостаточным. При этом накладные расходы по времени составили всего несколько процентов.
На математических разделах, на которых обучался RL-референс GRPO, DEGS лишь незначительно уступил ему. Однако на бенчмарке GPQA (вопросы по естественным наукам) DEGS превзошёл GRPO для всех трёх моделей — без какого-либо обучения, ревард-модели или размеченных данных.
Метод не требует дообучения, ревард-сигналов или специальных датасетов, что делает его привлекательным для быстрого улучшения рассуждений LLM в production-сценариях. Работа опубликована в виде препринта на arXiv.
