Новое исследование выявило скрытую предвзятость в ИИ-моделях кредитования

Группа исследователей представила работу, посвящённую скрытой предвзятости в алгоритмах машинного обучения, используемых для принятия кредитных решений. В статье, опубликованной на arXiv, авторы показывают, что даже модели, которые соответствуют стандартным метрикам справедливости, могут проявлять неодинаковое рассуждение при оценке заёмщиков из разных групп.

Традиционные подходы к обеспечению справедливости в ИИ обычно направлены на выравнивание прогнозируемых результатов, например, чтобы процент одобрения кредитов был одинаковым для мужчин и женщин. Однако, как выяснили учёные, это не гарантирует, что модель применяет одну и ту же логику к каждому индивидууму. Они назвали это явление скрытым procedural bias.

Для решения проблемы авторы предложили фреймворк Counterfactual Explanation Consistency (CEC). Он позволяет обнаруживать и уменьшать такой перекос за счёт согласования важности признаков (feature attributions) между реальным человеком и его контрафактуальной версией — например, человеком того же профиля, но с изменённым полом или возрастом.

Метод включает несколько новшеств: генерацию контрафактуальных примеров на основе ближайших соседей, модифицированный базовый уровень для сравнения градиентов, метрику индивидуальной процедурной справедливости и соответствующий штрафной член в функции потерь при обучении.

Исследователи также ввели классификацию, выделив режим B, при котором модель выдаёт одинаковый результат для разных групп, но использует принципиально разные аргументы. Этот режим остаётся незамеченным для обычных метрик справедливости.

Эксперименты проводились на синтетических данных, а также на реальных наборах данных: German Credit (оценка кредитоспособности в Германии), Adult Income (данные о доходах взрослых США) и HMDA (ипотечные данные США). Результаты показали, что модели, настроенные на равенство исходов, содержат значительный скрытый procedural bias, а применение CEC существенно снижает его с относительно небольшими потерями в точности.

Авторы подчёркивают, что предложенный подход может быть полезен для финансовых организаций, стремящихся к более прозрачным и действительно справедливым алгоритмам принятия решений, особенно в чувствительных социальных сферах.