Граф-ограниченное обучение превзошло плоские модели в прогнозировании клинических кодов

Прогнозирование клинических кодов ICD-10 по выписным эпикризам — задача с чрезвычайно большим и разреженным пространством меток. Большинство систем рассматривают её как плоскую многоклассовую классификацию, где каждый код оценивается независимо, что даёт слабый обучающий сигнал для редких кодов.

Группа исследователей предложила граф-ограниченную стратегию обхода, превращающую предсказание кодов в конечный процесс принятия решений над усечённой иерархией кодов. Единая языковая модель спускается по графу уровень за уровнем, выбирая валидные дочерние узлы, пока не достигает итоговых листовых кодов. Такой подход гарантирует структурную валидность выходных данных.

Эксперименты проводились на датасете MIMIC-IV. Лучшая супервизируемая политика SFT-1+ показала micro-F1 0,709 на отобранном подмножестве из 50 кодов и 0,527 на полном пространстве из 15 761 кода. Для сравнения: плоские базовые модели CAML, LAAT и PLM-ICD уступают SFT-1+ по micro-F1 на 0,044 и по macro-F1 на 0,157 в полном режиме.

Авторы провели факторное исследование архитектуры, алгоритма обучения и объёма данных. Единственным вмешательством, последовательно улучшающим результат, оказалось увеличение размера супервизируемых траекторных данных. При этом обучение с подкреплением методом GRPO не дало преимуществ по сравнению с прямым супервизионным обучением на тех же данных.

Интересно, что одна общая политика смогла заменить каскад из трёх специализированных моделей, одновременно избежав переполнения контекстного окна на 28–32% тестовых заметок полного пространства. Таким образом, простое граф-ограниченное обучение оказывается эффективнее сложных плоских, каскадных и RL-альтернатив для экстремального прогнозирования клинических кодов.