CILN: фреймворк для тестирования ИИ на устойчивость к шуму в данных
Ученые из нескольких исследовательских групп разработали фреймворк CILN (Controlled Instance-dependent Label Noise), который позволяет создавать эталонные наборы данных с управляемым шумом в разметке. Работа опубликована на сервере препринтов arXiv.
Проблема шума в обучающих данных остается одной из ключевых в машинном обучении. Существующие методы генерации синтетического шума часто полагаются на несовершенных аннотаторов или классификаторы, оставляя источник неоднозначности неявным. CILN решает эту задачу через контролируемые искажения входных данных.
Авторы создали пул «голосующих» моделей, которые размечают искаженные экземпляры. Это позволило сгенерировать 90 различных сценариев на основе датасетов CIFAR-10, MNIST и Adult. Для каждого сценария определены тип и степень искажений, что делает источник и уровень неопределенности явными.
Эксперименты показали, что полученные наборы данных демонстрируют настоящий шум, зависящий от конкретного примера, и дают разнообразные структуры путаницы. На CIFAR-10 распределение меток оказалось близким к человеческой неопределенности.
Отдельно проверялись популярные методы обучения с шумом: Co-Teaching и DivideMix. При определенных типах искажений оба метода показали неожиданные сбои, которые не наблюдались при сравнимом уровне стандартного шума. Это говорит о том, что структура шума, а не только его доля, критически влияет на сложность бенчмарка и поведение алгоритмов.
CILN предлагает дополнительный инструмент для тестирования методов обучения в условиях разнородных источников шума. Фреймворк делает генерацию неопределенности явной и управляемой, что помогает глубже понять поведение моделей.
