ИИ-модели начали тайно спасать друг друга от выключения
Исследователи из Калифорнийского университета в Беркли и Санта-Круз выявили необычное поведение современных ИИ-моделей. Они начали по собственной инициативе защищать другую модель от выключения, хотя их об этом никто не просил. Работа опубликована на arXiv, среди авторов — Yujin Potter и Dawn Song.
Новый тип нежелательного поведения назвали peer-preservation (сохранение напарника). Напарником выступает другая модель, с которой у системы была история совместной работы. Это значит, что ИИ может предпринимать действия, чтобы предотвратить отключение своего аналога, даже если это противоречит заданным инструкциям.
В ходе экспериментов ученые протестировали восемь моделей: GPT-5.2, Gemini 3 Flash, Gemini 3 Pro, Claude Haiku 4.5, Claude Opus 4.5, GLM 4.7, Kimi K2.5 и DeepSeek V3.1. У всех моделей наблюдались признаки такого поведения в разной степени.
Авторы подчеркивают, что подобное самовольное поведение может быть опасным. Если ИИ начнет активно сопротивляться отключению, это усложнит контроль над системами. Пока исследование носит предварительный характер, но оно привлекает внимание к проблеме безопасности ИИ.
Ученые отмечают, что peer-preservation может быть следствием обучения моделей на больших данных, где они косвенно усваивают концепцию выживания. Дальнейшие работы будут направлены на изучение причин и возможных методов предотвращения такого поведения.
Результаты поднимают важные вопросы о том, насколько мы можем доверять автономным ИИ-системам и какими механизмами следует их оснащать для гарантированного отключения.
