Verified SHAP: алгоритм для точного расчёта SHAP-значений нейросетей
Объяснение решений нейросетей остаётся одной из ключевых задач искусственного интеллекта. Одним из популярных подходов является метод SHAP (Shapley additive explanations), однако его точное вычисление для нейросетей традиционно считается экспоненциально сложным из-за перебора всех комбинаций признаков.
В новой работе, опубликованной в архиве препринтов arXiv, исследователи предложили алгоритм Verified SHAP. Он впервые позволяет вычислять точные SHAP-значения с доказуемыми границами, используя методы верификации нейронных сетей. Ранее верификация применялась для проверки безопасности моделей, но здесь её адаптировали для интерпретируемости.
Алгоритм итеративно уточняет верхние и нижние границы SHAP-значений, пока не получает точное значение. Ключевое преимущество — масштабируемость: как отмечается в статье, Verified SHAP работает с поисковыми пространствами на порядки больше, чем существующие точные методы. Это позволяет применять его к более сложным моделям и наборам данных.
Для демонстрации авторы протестировали подход на нескольких архитектурах нейросетей. Результаты показали, что алгоритм способен находить точные SHAP-значения там, где ранее это было практически невозможно. Это важный шаг к созданию надёжных инструментов для интерпретации «чёрных ящиков».
По мнению экспертов, Verified SHAP может стать эталоном для проверки приближённых методов расчёта SHAP. Точная интерпретация особенно востребована в медицине, финансах и других критических сферах, где ошибки недопустимы. Однако пока алгоритм требует вычислительных ресурсов: его применение к большим моделям остаётся вызовом.
Работа открывает новое направление на стыке верификации и объяснимого ИИ. Исследователи планируют оптимизировать алгоритм и расширить его на другие типы моделей. Публикация доступна в открытом доступе по ссылке arXiv:2605.24084.
