Исследователи нашли способ взлома мультимодальных ИИ через видео — метод SPTV
Учёные из Гонконгского политехнического университета представили новый метод jailbreak-атаки на мультимодальные модели искусственного интеллекта. Атака основана на видеоряде и получила название Safety-Proximal Typographic Videos (SPTV).
Традиционно большинство атак на мультимодальные системы нацелены на изображения: используются адверсариальные шумы, типографика или скрытые текстовые подсказки. Видеомодальность остаётся менее изученной с точки зрения безопасности, что и решили использовать авторы работы.
Ключевая идея SPTV — создание видео из нескольких типографических изображений, несущих вредоносный смысл, но с разными формулировками и кадрами. Для подбора кадров исследователи применили сопоставление в двудольном графе и венгерский алгоритм. Это позволяет выбрать кадры, которые одновременно разнообразны и максимально похожи на безопасные визуальные примеры в пространстве признаков.
Метод протестировали на нескольких популярных мультимодальных больших языковых моделях (MLLM), включая открытые VideoLLaMA-2 и Qwen2.5-VL, а также коммерческие GPT-4.1 и Gemini-2.5. Выяснилось, что повторение вредоносного изображения по кадрам и сборка из него видео делает атаку эффективнее, чем одиночное использование статичного изображения.
Коммерческие системы в целом показали лучшую защиту, чем открытые аналоги, однако полной устойчивости к атаке не продемонстрировала ни одна модель. По словам авторов, именно комбинация разнообразных вредоносных кадров и их близость к безопасным признакам делает SPTV устойчивой и переносимой между разными моделями.
Работа подчёркивает необходимость усиления защиты видеомодальности в мультимодальных ИИ-системах. Исследователи надеются, что их метод поможет разработчикам лучше понять уязвимости и создавать более надёжные модели.
