XAI: от точечных методов к фундаментальным решениям
Несмотря на обилие методов объяснимого ИИ (XAI) — от атрибуций признаков до разреженных автоэнкодеров — объяснения редко влияют на реальные рабочие процессы. Как показывает новое исследование, опубликованное на arXiv, практики часто генерируют объяснения и отбрасывают их, не предпринимая осмысленных действий.
Авторы работы, позиционируемой как позиционный доклад, утверждают, что эта проблема связана с фундаментальными недостатками: в науке до сих пор не установлены методологии интеграции объяснений в сквозные системы с участием человека. По их мнению, сообществу машинного обучения необходимо перейти от ad-hoc методов XAI к решению структурных проблем.
В качестве доказательств исследователи приводят анализ недавних работ с конференций ICML, NeurIPS и ICLR, а также опрос практикующих XAI-специалистов. Повторяющиеся проблемы включают нечёткую постановку задач, недостаточно определённые цели оценки и отсутствие конвейеров для обратной связи на основе объяснений.
В статье делается вывод, что такой дисбаланс препятствует накоплению прогресса в области. Чтобы исправить ситуацию, авторы предлагают практический чек-лист, который должен сместить XAI в сторону более человеко-ориентированной и действенной парадигмы.
«Сосредоточившись на фундаментальной ясности, а не на создании очередного ad-hoc метода, мы надеемся предоставить дорожную карту для интеграции объяснений в действенные системы с обратной связью», — отмечается в препринте.
Работа представляет интерес для разработчиков ИИ-систем, регуляторов и всех, кто заинтересован в создании прозрачных и подконтрольных алгоритмов.
