Стандартный conformal prediction ошибается на редких классах в скрининге лекарств

В новой работе, опубликованной на arXiv, исследователи выявили серьёзный недостаток стандартного conformal prediction в задаче виртуального скрининга лекарств. Метод, призванный давать честную оценку надёжности модели, на несбалансированных данных почти полностью игнорирует редкие классы соединений.

Стандартный (маргинальный) conformal prediction гарантирует, что набор предсказаний содержит истинную метку с вероятностью не менее 1?alpha. На четырёх наборах химических данных этот показатель формально достигался (90% глобального покрытия), но реальное покрытие редкого класса составляло всего 64,8% для проникновения через гематоэнцефалический барьер и 4,2% для клинической токсичности. В последнем случае редкий класс был почти полностью упущен.

Проблема не зависит от конкретной модели: случайный лес, графовая нейросеть и замороженная химическая языковая модель воспроизводят эффект (p <0.001), причём тяжесть пробела коррелирует с калибровкой модели на редких метках, а не с архитектурой. Авторы вывели консервационное тождество: дефицит покрытия меньшинства равен избытку большинства, умноженному на коэффициент дисбаланса. Эта формула предсказывает измеренный разрыв с точностью до одного процентного пункта.

Исследователи подчёркивают, что ошибка легко остаётся незамеченной: агрегированная точность и общее покрытие остаются обманчиво высокими. Проблема сохраняется при реалистичных scaffold-разбиениях и при использовании альтернативной скоринговой функции. Класс-условный (Mondrian) conformal prediction устраняет разрыв на всех наборах данных, восстанавливая покрытие редкого класса до целевого уровня ценой умеренного увеличения размера предсказательных наборов.

Локализовав сбои на типовые молекулярные остовы (например, бензольные и пиридиновые кольца, встречающиеся в обоих классах), авторы предложили одномерный диагностический показатель и продемонстрировали на модели затрат, что отказ от предсказаний на проблемных соединениях превращает скрининговую кампанию из убыточной в прибыльную. Работа вносит практический вклад, показывая, как серьёзен и незаметен известный пробел теории conformal prediction в реальной химии, и предлагает протокол для восстановления по-классовой надёжности.