Нейро-символический метод PACE повышает реалистичность объяснений ИИ
Исследователи разработали PACE — нейро-символический фреймворк для создания контрфактических объяснений, которые не просто меняют предсказание модели, но и учитывают возможные в реальности изменения. Этот подход решает давнюю проблему объяснимого ИИ: многие существующие методы предлагают нереалистичные или невыполнимые альтернативы.
Контрфактические объяснения помогают понять, почему модель приняла то или иное решение, указывая на минимальные изменения входных данных, которые привели бы к другому результату. Однако без учёта предметных ограничений такие объяснения могут предлагать, например, изменить уровень образования за один день — что физически невозможно.
PACE разделяет процессы предсказания и рассуждения. Нейронная сеть отвечает за классификацию, а слой символьного вывода накладывает ограничения, используя правила предметной области. В основе символьной части лежит Answer Set Programming (ASP) — метод логического программирования, позволяющий формализовать допустимые вмешательства.
Фреймворк не зависит от конкретной модели и может адаптироваться к различным сферам, где нужна поддержка принятия решений. В качестве тестового примера авторы использовали набор данных Adult Income, где модель на многослойном перцептроне предсказывает уровень дохода, а ASP-правила задают реалистичные модификации образования, профессии и рабочих часов, сохраняя неизменными неварьируемые признаки.
Результаты экспериментов показали компромисс между валидностью контрфактического объяснения (действительно ли оно меняет предсказание) и его правдоподобностью (реалистичностью предложенных изменений). Символьные ограничения позволили получать объяснения, значительно лучше соответствующие требованиям предметной области.
Разработка демонстрирует потенциал нейро-символических методов для создания прозрачных и осмысленных объяснений в системах искусственного интеллекта. PACE может найти применение в финансах, медицине, кадровых решениях и других областях, где важна не только точность модели, но и доверие к её выводам.
