Новый метод CAFD повышает точность обнаружения ошибок нейросетей на 18% с помощью VLM
Учёные разработали новый метод обнаружения ошибок в глубоких нейросетях — Concept-Aware Fault Detection (CAFD). Он объединяет несколько источников информации и использует Vision-Language Models (VLM) для анализа содержания изображений.
Ключевая особенность CAFD — концептуальный признак Concept Failure Ratio (CFR). VLM извлекают из изображений текстовые концепции и определяют, насколько их наличие связано со сбоями нейросети. Это обеспечивает дополнительную семантическую информацию для более эффективного поиска ошибок.
В ходе экспериментов CAFD сравнивали с пятью современными базовыми методами на трёх нейросетевых моделях и наборах данных, включая ImageNet. При различных ограничениях на бюджет выборки CAFD стабильно превосходил аналоги.
Среднее улучшение показателя Fault Detection Rate (FDR) составило 18,3% по всем исследованным моделям и бюджетам. При этом метод сохраняет вычислительную эффективность, что важно для практического применения.
Разработка может быть полезна для диагностики и повышения надёжности нейросетей в таких областях, как компьютерное зрение, автономные системы и медицинская диагностика.
