DynaSteer: механизм динамического управления рассуждениями LLM находит истину

Исследователи опубликовали в открытом доступе статью, описывающую DynaSteer — новый фреймворк для динамического управления траекториями рассуждений больших языковых моделей (LLM). Работа появилась на arXiv и привлекла внимание сообщества подходом, основанным на геометрии истины внутри модели.

Современные методы ускорения рассуждений (например, Chain-of-Thought или промпты с просьбой «подождать» и подумать) часто поощряют модель генерировать больше шагов, но не гарантируют движения к истинному ответу. Техники редактирования представлений (RepE) позволяют более прямо влиять на внутренние состояния, но их применение к динамически меняющимся цепочкам рассуждений оставалось малоизученным.

Авторы проанализировали геометрию истины в разворачивающихся цепочках рассуждений и сделали три ключевых открытия. Во-первых, истина кодируется на уровне предложений и тесно переплетена с латентными паттернами рассуждений. Во-вторых, эффективное вмешательство подчиняется «принципу неопределенности» и «эффекту затухания»: воздействие должно быть локализовано на ранних «развилках» с высокой энтропией. В-третьих, наивные управляющие векторы содержат шум, способный навредить верным траекториям.

На основе этих выводов создан DynaSteer — динамический фреймворк редактирования представлений. Он использует кластеризацию паттернов для разделения многообразий рассуждений и проекцию Фишера (Fisher-LDA) для очистки сигнала истины. Система мониторит энтропию с упреждением и избирательно применяет коррекцию с возможностью отката.

Эксперименты на нескольких бенчмарках серии MATH подтвердили эффективность DynaSteer. Дополнительные тесты на задачах программирования из других доменов показали его способность к обобщению. Код фреймворка выложен в открытый доступ на GitHub, что позволяет другим исследователям воспроизвести результаты и адаптировать метод под свои задачи.

Работа демонстрирует, что понимание внутренней геометрии истины может существенно повысить качество рассуждений LLM без необходимости внешних данных или значительных вычислительных затрат. DynaSteer может стать основой для новых методов контроля и доверия к языковым моделям.