Жидкие нейросети превзошли LSTM в эффективности и устойчивости к пропускам данных
Новое исследование, опубликованное на arXiv, показывает, что Liquid Neural Networks (LNN), в частности Closed-form Continuous-time (CfC) сети, превосходят традиционные LSTM в задачах распознавания последовательных паттернов. Учёные провели комплексное тестирование на четырёх различных модальностях: нейроморфные событийные данные (N-MNIST), рисование штрихами (QuickDraw), рукописный текст (IAM) и физиологические временные ряды (PhysioNet Sepsis-3).
Традиционные RNN и LSTM работают на дискретных временных шагах, что часто не позволяет уловить непрерывную временную динамику реальных процессов. LNN моделируют эволюцию скрытого состояния как непрерывное дифференциальное уравнение, что даёт им преимущество в обработке естественных временных рядов.
В ходе экспериментов исследователи применили стресс-тест с временным dropout, чтобы оценить устойчивость моделей к пропущенным данным. Результаты показали, что LNN значительно надёжнее LSTM в условиях неполных данных, что критично для клинической среды, где данные часто разрежены.
Параметрическая эффективность LNN также оказалась выше: они достигают сопоставимой или лучшей точности при меньшем количестве обучаемых параметров. Это делает их перспективными для внедрения в медицинские системы с ограниченными вычислительными ресурсами.
Исследователи подчеркнули, что работа расширяет понимание теоретических основ LNN и предоставляет детальную документацию по экспериментам. Дальнейшие шаги могут включать адаптацию моделей для реальных клинических задач, таких как прогнозирование сепсиса или мониторинг пациентов.
Результаты подтверждают, что непрерывные нейронные сети способны заменить дискретные архитектуры в приложениях, где важна обработка временных рядов с пропусками. Это направление активно развивается и может повлиять на разработку более надёжных систем искусственного интеллекта в медицине и других областях.
