Учёные нашли способ эффективнее взламывать защиту ИИ: новый метод атаки на языковые модели
Группа исследователей опубликовала в архиве препринтов arXiv работу, в которой изучается уязвимость внутренних механизмов безопасности больших языковых моделей (LLM). Авторы предложили новый метод атаки, получивший название Activation-Guided GCG, который целенаправленно воздействует на так называемое направление отказа (refusal direction) в активационном пространстве модели.
В отличие от традиционных подходов, которые оптимизируют выходные вероятности, новый метод напрямую минимизирует внутренние представления, отвечающие за отказ модели выполнять вредные инструкции. Исследователи провели серию экспериментов с различными вариантами целевых функций и выяснили, что подавление отказа на всех слоях и позициях одновременно значительно эффективнее, чем фокусировка на одном слое.
Это открытие указывает на то, что механизмы безопасности распределены по всей сети, а не сконцентрированы в одном участке. Для практической реализации атаки авторы разработали Soft-GCG — непрерывную релаксацию дискретной оптимизации суффиксов с использованием приёма Gumbel-Softmax. По их данным, Soft-GCG достигает ускорения в 33 раза по сравнению со стандартным методом GCG, при этом повышая вероятность успешной атаки.
При тестировании на моделях разного размера выяснилось, что небольшие модели остаются уязвимыми, в то время как более крупные, обученные с усиленной защитой, успешно сопротивляются атакам в рамках вычислительных ограничений эксперимента. Этот результат согласуется с общей тенденцией: чем больше модель и чем тщательнее её обучали безопасности, тем сложнее её взломать.
Исследователи подчёркивают, что их работа не только демонстрирует новые способы атаки, но и даёт понимание того, как безопасность закодирована в современных нейросетях. Полученные результаты могут помочь разработчикам создавать более устойчивые алгоритмы выравнивания, учитывающие распределённую природу защитных механизмов.
По мнению авторов, их метод особенно эффективен против моделей, чья защита основана на поверхностных шаблонах отказа. Для моделей с глубокой интеграцией безопасности в процесс обучения такие атаки требуют значительно больше ресурсов.
