Учёные: датасеты для ИИ не отражают объективную истину, а созданы человеком

Научное сообщество машинного обучения регулярно сталкивается с проблемой качества датасетов, используемых для обучения и оценки моделей. В новой позиционной статье на arXiv исследователи утверждают, что эталонные датасеты (ground truth) не являются нейтральными объективными данными, а представляют собой конструкцию, созданную взаимодействием людей и технологий.

Авторы работы подчёркивают, что сообщество ML выиграет от чёткого артикулирования и обсуждения этих часто невидимых или несообщаемых выборок. Признание того, что эталонные данные являются условными, а не универсальными, может улучшить осведомлённость о границах применимости моделей.

В статье предлагается концепция situированной надёжности, которая включает в себя описание пределов и сильных сторон моделей, а также их утверждений об истинности. Уделяя больше внимания конструированию ground truth, можно повысить прозрачность, подотчётность и междисциплинарную работу.

Исследователи отмечают, что контекстно-зависимая природа эталонных данных позволяет лучше понять, где, когда и как датасеты и сформированные ими модели могут быть наилучшим образом использованы. Это, по их мнению, ведёт к повышению надёжности в реальных сценариях.

Работа приглашает к дискуссии о том, как сообщество ML может более осознанно подходить к созданию и использованию эталонных датасетов, избегая иллюзии их универсальной объективности.