Нейросеть FreNet для медицины превзошла SOTA в сегментации поражений
Сегментация патологических областей на медицинских изображениях играет ключевую роль в диагностике и планировании лечения. Однако автоматические методы часто спотыкаются о два препятствия: сложный фон, создающий помехи, и разнообразие форм поражений, которые трудно описать единым шаблоном.
Существующие архитектуры типа энкодер-декодер в основном улучшают выделение признаков или перестраивают стратегию декодирования. При этом на этапе кодирования у них, как правило, нет раннего направления с использованием визуальных приоритетов и перестройки признаков — это ограничивает точность.
В новой работе на arXiv предложена модель FreNet — фреймворк перестраивания признаков с визуальными приоритетами. Она выполняет попиксельную перестройку до кодирования и перестройку на уровне признаков непосредственно во время кодирования. Такой подход позволяет точнее выделять границы очагов поражения.
Для подавления фонового отклика авторы создали модуль IPNN (Implicit Prior Neural Network). Он моделирует непрерывное пространственное поле и использует визуальные приоритеты от модели SAM, подготавливая изображение до начала работы основного энкодера.
Для работы с разнообразной морфологией поражений в FreNet встроен модуль DFR (Dual-domain Feature Reconfiguration). Внутри него Frequency Decoupling Module (FDM) разделяет признаки в частотной области, усиливая различия между передним и задним планом, а Spatial Localization Module (SLM) улучшает пространственную стабильность после этой процедуры.
Эксперименты проводились на 9 бенчмарках по сегментации медицинских изображений, охватывающих три модальности визуализации. FreNet стабильно опередила современные методы (SOTA). На особенно сложном наборе ETIS прирост метрики Dice составил 5,0% по сравнению с SOTA-методом и 7,2% по сравнению с SAM.
Такие результаты показывают, что сочетание визуальных приоритетов и поэтапной перестройки признаков может стать перспективным направлением для развития автоматизированных инструментов в медицинской визуализации. Разработчики планируют дальнейшие исследования в этой области.
