Исследователи научились управлять личностью ИИ-моделей через OCEAN-черты
Группа исследователей представила подход к декомпозиции и управлению поведенческими паттернами больших языковых моделей (LLM). В работе, опубликованной на arXiv, авторы рассматривают личности моделей как набор черт в рамках психологической модели OCEAN (открытость, добросовестность, экстраверсия, доброжелательность, нейротизм).
Для каждого из пяти измерений команда обучила низкоранговые адаптеры (LoRA), которые позволяют целенаправленно усиливать или подавлять соответствующую черту. Эффективность адаптеров оценивалась с помощью LLM-судьи, калиброванного по валидированной человеческой панели, а также специальных тестов и стандартных бенчмарков способностей.
Эксперименты проводились на шести моделях из трёх семейств размером от 4 до 32 миллиардов параметров. Результаты показали, что каждый адаптер изменяет целевую черту монотонно в зависимости от масштаба применения, а при совместном использовании адаптеры комбинируются приблизительно аддитивно для создания смешанных личностей. При умеренных масштабах производительность на базовых тестах сохраняется.
Особое внимание уделено влиянию изменённых черт на безопасность. Так, сдвиг по оси нейротизма влияет на уровень фрустрации модели, а по оси доброжелательности — на склонность к подхалимству (сикофантии). Это демонстрирует, что контроль личности может быть использован для снижения рискованного поведения.
Также авторы предложили метод без учителя для извлечения поведенческих факторов из диалогов модели. Анализ выявил четыре интерпретируемых фактора: тон, инициативность, дидактизм и эпистемическую осторожность. Такой подход позволяет рассматривать управление личностью как обучение, масштабирование и композицию черт в пространстве весов, что связывает психологию, редактирование моделей и безопасность ИИ.
Новый подход может дать исследователям и разработчикам инструмент для тонкой настройки поведения моделей без ущерба для их основных способностей, а также для предотвращения нежелательных реакций в чувствительных областях.
