Стохастическое управление LLM: новый метод снижает нагрузку на каждый токен
Управление поведением больших языковых моделей (LLM) без тонкой настройки — задача, которую решают с помощью разреженных автоэнкодеров (SAE). Однако стандартные методы подают управляющий сигнал на каждый генерируемый токен, что снижает плавность речи. Исследователи из неизвестной лаборатории (статья на arXiv) задались вопросом: обязательно ли вмешиваться в каждый шаг?
В новой работе представлены Stochastic Token Steering (STS) и Stochastic Block Steering (SBS). STS независимо пропускает каждый токен с вероятностью $p$, а SBS применяет управление только к начальному окну последовательности. Ни один из методов не требует модели вознаграждения или обученного правила стробирования.
Эксперименты на двух семействах моделей и двух поведенческих задачах показали: стробирование лишь 50% токенов восстанавливает большую часть эффекта плотного управления, при этом плавность речи сохраняется. При снижении до 30% результат превосходит контроль на основе промптов.
Авторы также обнаружили, что оптимальная величина управления обратно пропорциональна доле вмешательства. Это указывает на то, что управление через SAE ограничено по дозе: поведенческий результат зависит от суммарного сигнала на протяжении последовательности.
Практическое значение работы — возможность сократить вычислительные затраты и улучшить качество генерации при тонком управлении моделями. Метод не требует дополнительного обучения и может применяться к любым LLM, для которых построен SAE.
Статья доступна на arXiv под номером 2607.05615.
