Исследователи предложили геометрический метод управления поведением нейросетей
Исследователи представили геометрический анализ методов управления поведением языковых моделей, раскрывающий роль угловых и радиальных компонент активаций. Работа, опубликованная на arXiv, посвящена так называемому линейному управлению активациями — популярному подходу, позволяющему модифицировать выход модели без переобучения.
В последнее время специалисты предложили сферические методы управления, которые призваны исправить недостатки аддитивных вмешательств. Их мотивация основана на предположении, что норма скрытого состояния не несет информации о концепциях. Однако авторы нового исследования решили проверить это допущение.
В ходе контролируемого эксперимента ученые разделили геометрические эффекты на две составляющие: изменение углового выравнивания токена с направлением концепции и изменение нормы скрытого состояния. Оказалось, что методы управления различаются именно тем, как они связывают эти два эффекта.
Анализ семь различных языковых моделей показал, что концепции действительно представлены преимущественно в угловой структуре — это подтверждает обоснованность сферических подходов. Однако норма скрытого состояния остается важной для стабильности и побочных эффектов управления.
Полученные результаты объясняют, почему вмешательства со схожими эффектами на уровне концепций могут вести себя по-разному. Авторы предлагают параметризовать управление активациями через интерпретируемые угловые и радиальные компоненты, а не через единый аддитивный коэффициент, который смешивает эти два эффекта.
Практическое значение работы заключается в более точном контроле поведения моделей: разработчики смогут выбирать между изменением угла (что влияет на концептуальное содержание) и изменением нормы (что влияет на стабильность и вероятность генерации). Это открывает путь к более надежным и предсказуемым модификациям нейросетей.
