LLaMA 3.1 точно извлекла данные из МРТ-отчётов на нидерландском языке

Открытая большая языковая модель LLaMA 3.1 успешно справилась с задачей извлечения структурированных данных из текстов радиологических отчётов на нидерландском языке. В исследовании, опубликованном на arXiv, проанализировано 947 отчётов МРТ головного мозга из клиники памяти за период с 2016 по 2021 год.

Тридцать клинически значимых переменных аннотировали обученные студенты-медики. Для оценки надёжности 100 отчётов были размечены дважды. Эффективность LLaMA 3.1 проверяли в нескольких режимах: с использованием нидерландского оригинала и английского перевода, а также с zero-shot и few-shot подсказками.

Результаты впечатляют: по визуальным рейтинговым шкалам модель достигла сбалансированной точности 96% для атрофии медиальной височной доли справа, 87% для глобальной корковой атрофии и 94% для шкалы Фазекаса. Упоминания микрокровоизлияний были обнаружены с точностью 93%, а инфарктов – 82%.

Однако при извлечении числовых значений (например, количества микрокровоизлияний или инфарктов) точность оказалась ниже: 80% и 66% соответственно. Решить эту проблему помогли few-shot подсказки – после добавления нескольких примеров точность повысилась до 92% для микрокровоизлияний и 81% для инфарктов.

Интересно, что перевод отчётов на английский язык не ухудшил результатов, а few-shot с подбором примеров по структурной схожести дал наилучший прирост для числовых переменных. При этом извлечение описаний локализации поражений остаётся сложной задачей – здесь точность была ниже.

Авторы подчёркивают, что LLaMA 3.1, будучи открытой моделью, демонстрирует большой потенциал для автоматизации сбора данных из радиологических отчётов на нидерландском языке. Это может ускорить крупномасштабные исследования, не требуя передачи чувствительных данных в коммерческие облачные сервисы.