NeoRed: первая мультимодальная ИИ-модель для диагностики респираторных болезней новорожденных
Научная группа представила модель NeoRed, которую называют первой мультимодальной большой языковой моделью, специально ориентированной на диагностику респираторных заболеваний у новорожденных. Работа опубликована в архиве препринтов arXiv под номером 2609.03527.
Неонатальные респираторные заболевания остаются одной из основных причин заболеваемости и смертности среди новорожденных, создавая серьезные вызовы для врачей. Существующие мультимодальные ИИ-модели обучались преимущественно на данных взрослых пациентов, что формирует разрыв в диагностике малышей. Кроме того, они недостаточно полно используют многомерный клинический контекст, необходимый для точного заключения.
Для решения этих проблем авторы собрали два реальных набора клинических данных — NeoCXR и NeoCXR-EV — и разработали модель NeoRed. Ее ключевая особенность — архитектура Knowledge-Logic-Alignment (KLA), которая ограничивает поведение модели сразу с трех сторон.
Первый компонент, Knowledge Prior Injection, внедряет диагностические знания неонатологов в мультимодальные представления, помогая модели обращать внимание на значимые признаки по разным модальностям. Второй, Diagnostic Logic Constraint, согласует смысл генерируемых медицинских отчетов с диагностической логикой. Третий, Visual Semantic Alignment, устанавливает смысловое соответствие между визуальными особенностями снимка и его заключением.
Эксперименты показали, что NeoRed способна точно генерировать диагностические отчеты для новорожденных. На наборе NeoCXR модель достигла показателей ROUGE-L 53,29% и Clinical Efficacy F1 65,19%, опередив существующие мультимодальные модели. При этом NeoRed сохранила конкурентоспособную производительность на взрослых бенчмарках MIMIC-CXR и IU-Xray, что говорит о ее универсальности.
Разработка открывает перспективы для совместного анализа рентгенограмм грудной клетки и клинических данных у самых уязвимых пациентов. Наборы данных планируется предоставлять по запросу, что может ускорить дальнейшие исследования в области неонатальной радиологии и ИИ-диагностики.
