Новый метод безопасности для мультимодальных ИИ-моделей сокращает ложные блокировки
Исследователи представили новый способ обеспечения безопасности мультимодальных больших языковых моделей (MLLM). Предложенный подход, названный выходным защитным барьером (output-aware safety guardrail), решает проблему излишних отказов, характерную для многих современных систем.
Существующие методы безопасности, как правило, анализируют только входной запрос. Если запрос содержит рискованные элементы, система блокирует его независимо от того, может ли модель ответить безопасно. Это приводит к ложным срабатываниям — отказу безобидным запросам, что ухудшает пользовательский опыт.
В основе нового подхода лежит идея, что MLLM сами по себе часто обладают внутренними механизмами безопасности и способны преобразовать вредоносный запрос в безвредный ответ. Входные барьеры игнорируют эту способность и блокируют запрос заранее.
Авторы предлагают перейти к выходному барьеру, который анализирует скрытые состояния модели до того, как ответ будет полностью сгенерирован. Лёгкий классификатор, обученный с помощью многопримерного контрастного обучения, предсказывает, будет ли сгенерированный ответ небезопасным.
Эксперименты показали, что выходной барьер обеспечивает безопасность на уровне лучших существующих методов, но при этом значительно сокращает количество ложных отказов. Таким образом сохраняется полезность модели и её встроенные функции безопасности.
Код проекта опубликован в открытом доступе на GitHub. Работа может быть интересна разработчикам систем безопасности для генеративных ИИ-моделей, а также исследователям, занимающимся снижением излишних ограничений в диалоговых системах.
