LLM4EHR: новая ИИ-модель улучшает прогнозы для пациентов реанимации
Группа учёных разработала новую фундаментальную модель LLM4EHR, предназначенную для анализа клинических данных пациентов отделений интенсивной терапии (ОИТ). Работа опубликована в репозитории arXiv. В отличие от традиционных подходов, LLM4EHR объединяет доменно-адаптированную большую языковую модель (LLM) с трансформерным кодировщиком временных рядов.
Как отмечают авторы, существующие клинические модели недостаточно используют общую временную структуру между событиями в электронных медицинских картах (EHR) и непрерывными наблюдениями (например, показателями жизненно важных функций). LLM4EHR решает эту проблему за счёт предварительного обучения с временным выравниванием событий и временных рядов. Для этого предложен регуляризированный контрастивный метод, который учится представлять временные ряды в контексте событийных эмбеддингов.
В ходе экспериментов на данных реальных пациентов ОИТ модель продемонстрировала улучшенные результаты на различных задачах прогнозирования — от оценки риска осложнений до предсказания длительности госпитализации. Абляционное исследование подтвердило, что именно механизм временного выравнивания даёт основной прирост производительности.
Особый интерес представляет способность LLM4EHR к переносу обучения: полученные эмбеддинги временных рядов можно адаптировать для новых когорт пациентов с помощью k-shot обучения. Это означает, что модель способна быстро настраиваться на данные новой больницы или региона без полного переобучения.
По словам разработчиков, LLM4EHR — шаг к созданию более обобщаемых и эффективных клинических моделей, которые могут работать с разнородными данными и масштабироваться на различные медицинские учреждения. В перспективе такие системы способны повысить качество поддержки принятия врачебных решений.
Работа продолжает тренд перехода от узкоспециализированных моделей машинного обучения в медицине к фундаментальным, предобученным на смешанных модальностях данных. Однако, как отмечают авторы, для внедрения в клиническую практику потребуется дополнительная валидация и учёт регуляторных требований.
