Утечки данных завышают точность ИИ в прогнозе хронической болезни почек

Международная группа исследователей провела систематический обзор работ по использованию машинного обучения для раннего выявления хронической болезни почек (ХБП). Результаты, опубликованные на сервере препринтов arXiv, показывают, что заявленная высокая точность многих моделей обусловлена методическими ошибками, а не реальной предсказательной способностью.

Хроническая болезнь почек — одно из самых распространённых неинфекционных заболеваний, затрагивающее около 10% населения мира. Ранняя диагностика позволяет замедлить прогрессирование болезни, поэтому алгоритмы машинного обучения привлекают большое внимание исследователей. Однако, как показал новый анализ, значительная часть опубликованных результатов страдает от утечек данных — когда информация из тестовой выборки неявно попадает в обучающую.

Авторы проанализировали 19 релевантных исследований, отобранных в ведущих научных базах данных. Для оценки надёжности они разработали количественную шкалу утечек и классификацию типов информационных утечек. Выяснилось, что в работах с высокой степенью утечки средняя точность достигает 95,48%, тогда как в исследованиях без утечек — лишь 80,2%. Разница составила около 15 процентных пунктов.

Кроме того, специалисты провели анализ стабильности предикторов (факторов, используемых для прогноза) по разным работам. Результаты показали, что лишь небольшое подмножество клинических индикаторов воспроизводимо в разных исследованиях. Более 80% предикторов оказались ненадёжными и нестабильными, что ставит под сомнение их практическую ценность.

«Многие из заявленных успехов связаны не с тем, что модель действительно хорошо предсказывает болезнь, а с ограничениями в методологии, — отмечают авторы. — Повышение прозрачности и стандартизация подходов к оценке утечек данных могут значительно улучшить ситуацию в этой области».

Исследование подчёркивает необходимость более строгих стандартов в разработке и тестировании медицинских моделей машинного обучения. Внедрение систематической оценки утечек и проверки стабильности предикторов позволит быстрее внедрять действительно эффективные инструменты в практику здравоохранения, избегая ложных надежд на завышенные показатели.