Вотермарки LLM ухудшают качество медицинских текстов: новое исследование
Исследователи из ведущих университетов представили первую масштабную работу, посвященную влиянию вотермарок на качество медицинских текстов, сгенерированных большими языковыми моделями (LLM). В рамках эксперимента были протестированы пять схем вотермарок на 11 языковых и 7 мультимодальных моделях. Задача — оценить, как внесение служебных меток сказывается на клинических рассуждениях, терминологической точности и частоте галлюцинаций.
Водяные знаки (вотермарки) — это невидимые для человека метки, которые внедряются в текст, сгенерированный ИИ, чтобы отслеживать его происхождение. С развитием LLM их начинают применять в здравоохранении — например, для маркировки записей в электронных историях болезни или рекомендаций по лечению. Однако до сих пор никто не проверял, как такие метки влияют именно на медицинский контент, где даже небольшая ошибка может привести к серьезным последствиям.
Результаты оказались тревожными. Вотермарки вызывают несколько типов сбоев: лексическая порча (замена правильных терминов на близкие по смыслу, но неверные), галлюцинации (генерация несуществующих диагнозов или симптомов), а также пропуски или искажение интерпретации медицинских изображений. Особенно остро проблема проявилась в мультимодальных задачах, где модель анализирует одновременно текст и снимки — например, рентгенограммы.
Авторы работы отмечают, что большинство существующих бенчмарков для вотермарок ориентированы на общие тексты — новости, эссе, код. Они не рассчитаны на специфику клинических данных: строгую терминологию, тонкие смысловые нюансы и последствия ошибок. В результате стандартные метрики не показывают ухудшения, хотя на практике качество медицинского вывода падает.
«Стандартные бенчмарки могут систематически маскировать практически значимые ухудшения, вызванные вотермарками, — поясняют исследователи. — Без предметно-специфической оценки невозможно гарантировать безопасное применение водяных знаков в медицине». Ученые призывают разработать отдельные тесты для медицинских текстов, учитывающие возможные сбои и их клинические последствия.
Работа опубликована на сервере препринтов arXiv и пока не прошла рецензирование. Тем не менее она привлекает внимание сообщества, ведь LLM все активнее внедряются в диагностику и администрирование больниц. Если вотермарки будут обязательными для медицинских систем, их влияние на качество потребуется перепроверить с учетом выявленных рисков.
