Исследователи представили открытый бенчмарк MS-MLB для диагностики рассеянного склероза по РНК крови
Представлен MS-MLB — открытый воспроизводимый бенчмарк для машинного обучения, предназначенный для классификации рассеянного склероза (РС) по данным экспрессии РНК цельной крови. Работа опубликована на arXiv и сопровождается кодом на GitHub.
Бенчмарк построен на публичной когорте GSE17048 и формулирует задачу бинарной классификации: пациенты с РС против здорового контроля. Авторы отмечают, что модель на основе РНК не может заменить клиническую диагностику, но может служить исследовательским инструментом.
В рамках единого конвейера, защищённого от утечки данных, оцениваются несколько алгоритмов. Используются вложенная кросс-валидация, отдельная стратифицированная выборка, бутстрэп-доверительные интервалы, ROC- и precision-recall-анализ, калибровка и исследовательский показатель MS Research Score.
По итогам тестов на отложенной выборке лучший результат показал градиентный бустинг: MS Research Score 93,83, AUC-ROC 0,989, чувствительность 0,950, специфичность 0,778, F1-мера 0,927, Brier score 0,050.
Ранее исследователи уже применяли машинное обучение к транскриптомным данным крови при РС, включая классификацию стадий по PBMC и моделирование диагностических сигнатур. Отличие MS-MLB, по словам авторов, в том, что это первый открытый бенчмарк именно для задачи РС против здорового контроля на данных GSE17048 со встроенным механизмом внешней подачи моделей.
Разработчики подчёркивают, что показатель MS Research Score предназначен только для сравнения исследовательских подходов и не прошел клиническую валидацию. Код и инструкции доступны в репозитории проекта.
