ИИ риск-аверсия: обучение осторожности сработало на ставках в 98 порядков величины
Исследователи из международной команды представили бенчмарк RiskAverseOOD для оценки того, насколько риск-аверсия, обученная на малых ставках, обобщается на экстремально высокие. Эксперименты на Qwen3-8B показали, что модели можно научить избегать рискованных решений даже при ставках, превышающих исходные на 98 порядков.
В работе использовались четыре метода: SFT (fine-tuning на текстах с риск-аверсным поведением), tie training, DPO и активационное steering (активационное управление). Базовый уровень выбора безопасного варианта Cooperate составлял всего 2%. После обучения показатели значительно выросли: SFT и tie training дали около 70%, DPO – 52%, а активационное steering – 39%.
Дополнительно обученная наградная модель (reward model) с точностью 99,6% отличала риск-аверсные рассуждения от нейтральных или излишне рискованных. Эффект воспроизвели на разных масштабах: Qwen3-1.7B и Qwen3-14B, а также на моделях других семейств – Gemma-3-12B-IT и Llama-3.1-8B-Instruct.
Авторы отмечают, что риск-аверсия, обученная при низких ставках, частично обобщается на астрономически высокие, но пока недостаточно стабильно, чтобы служить надежным предохранителем от потенциально опасного поведения несоответствующих ИИ. Достижение полной надежности остается открытой проблемой.
Результаты опубликованы на arXiv (ID: 2607.02755). Исследование подчеркивает как перспективность данного подхода к безопасности ИИ, так и необходимость дальнейших усилий для обеспечения контролируемого поведения систем в критических сценариях.
