OriginBlame решает проблему удаления авторских данных из ИИ-датасетов

В мире ИИ остро стоит задача соблюдения авторских прав и удаления данных по запросу. Существующие системы работают на уровне файлов или наборов данных, что приводит к катастрофическому переудалению. Новый инструмент OriginBlame предлагает иной подход — отслеживание происхождения данных на уровне отдельных записей и даже токенов.

Разработчики представили систему, которая пропускает информацию об авторе через конвейеры обработки данных. При запросе на удаление она формирует точный forget set — список конкретных записей, которые нужно забыть. Выполняется это с помощью детерминированных запросов, без лишних удалений.

Эксперименты проводились на 219 555 страницах Wikipedia. Результаты показали, что удаление на уровне записей позволяет избежать переудаления в 101 раз (снижение с 101-кратного до 1,3-кратного). При этом накладные расходы на производительность составили всего 1,3–4,0 % для HuggingFace и 2,1–19,0 % для Datatrove на тестовых данных.

Дополнительно систему проверили на модели с 1,7 миллиарда параметров. Использование forget set на основе provenancе улучшило качество забывания на 42 % по сравнению со случайным выбором записей. Это подтверждает, что точное знание источника данных критически важно для эффективного удаления.

Решение OriginBlame может стать важным шагом к реализации права на забвение в контексте машинного обучения. Оно позволяет разработчикам ИИ реагировать на запросы авторов, не жертвуя при этом остальной частью обучающего набора и не создавая лишней нагрузки на системы.