Медицинские ИИ: метод CALCoDe повышает надежность диагностики при сдвиге данных

Международная группа исследователей представила новый метод CALCoDe, предназначенный для повышения надёжности медицинских визуально-языковых моделей (VLM) при так называемом клиническом сдвиге — изменении условий сбора данных, протокола или оборудования. Подход добавляет к уже обученным моделям пост-обработку, которая защищает от потери точности по отдельным классам диагнозов.

Проблема, которую решают авторы, заключается в том, что VLM после сдвига могут в целом сохранять высокое среднее покрытие предсказаний, но при этом значительно хуже работать с конкретным заболеванием. Причём проблемный класс может меняться в зависимости от протокола и архитектуры модели, поэтому заранее выявить его по частоте встречаемости в исходных данных не удаётся.

Существующие конформные методы, ориентированные либо на локальные окрестности тестовых данных, либо на частотные хвосты распределения, не учитывают скрытый провал по отдельному классу. CALCoDe использует перекрёстную валидацию для выявления классов, находящихся в зоне риска, а затем оценивает для них отдельные пороги на калибровочной выборке. Защита применяется только к этим выбранным классам, а итоговое предсказание объединяет локализованный и класс-специфичный пороги.

Эксперименты проводились на двух сдвигах дерматологических данных: переход от набора HAM10000 к ISIC 2019 и от HAM10000 к PAD-UFES-20. В качестве базовых моделей использовались четыре замороженных VLM: BiomedCLIP, OpenAI CLIP ViT-B/32, PubMedCLIP ViT-B/32 и MedSigLIP-448. CALCoDe стал единственным методом, который достиг целевых 0.95 как по общему покрытию, так и по худшему классу во всех восьми конфигурациях эксперимента.

На переходе HAM10000 ? ISIC 2019 среднее покрытие худшего класса у CALCoDe составило 0.970. Для сравнения, у метода sTACP этот показатель был равен 0.926, а у LCP-VLM — 0.864. Такая разница указывает на существенное улучшение работы с редкими и сложными диагнозами после клинического сдвига.

Авторы отмечают, что при выполнении условий обменяемости внутри защищённого класса CALCoDe обеспечивает гарантию конечной выборки на заданном уровне и включает в себя соответствующие локализованные конформные множества. Оценка на внешних смещённых когортах проводилась эмпирически. Работа опубликована на arXiv под идентификатором 2607.28696.