Алгоритм отделяет спам краудсорсеров от полезных данных при обучении ИИ
Исследователи опубликовали в архиве препринтов arXiv новую работу, посвящённую обучению моделей на основе попарных сравнений. Авторы предложили алгоритм, который позволяет учитывать ненадёжность исполнителей при сборе данных через краудсорсинговые платформы, такие как Amazon Mechanical Turk и Scale AI.
Попарные сравнения широко используются в рекомендательных системах, социальном выборе и, в последнее время, при тонкой настройке больших языковых моделей. Однако далеко не все участники краудсорсинга выполняют задания добросовестно: часть работников не обладает достаточной компетенцией, а часть сознательно отправляет случайные ответы ради быстрого заработка. Это приводит к зашумлению данных и искажению итоговых оценок предпочтений.
В новой работе авторы расширяют классическую модель Брэдли-Терри-Люса, добавляя в неё параметр компетентности каждого работника. На основе этой модели разработан алгоритм, основанный на EM-подходе, который обучается одновременно на определении истинных наград объектов и на оценке надёжности самих исполнителей.
Ключевая техническая деталь — использование латентных переменных Поля-Гаммы. Благодаря им логистическая функция правдоподобия преобразуется в условно-гауссовую форму, что упрощает оптимизацию. Авторы сводят задачу к матричному восстановлению и доказывают теоретические гарантии сходимости алгоритма.
Эксперименты на реальных и синтетических наборах данных показали, что новый метод эффективно работает даже при наличии спамеров и антагонистически настроенных участников. По результатам тестов он превосходит стандартные базовые подходы по точности восстановления истинных предпочтений, что подтверждает его практическую значимость.
Код и данные для экспериментов доступны в открытом репозитории на GitHub. Авторы рассчитывают, что предложенный подход поможет исследователям и инженерам повысить качество данных при использовании краудсорсинга в задачах обучения с подкреплением и других областях, где важны надёжные оценки предпочтений.
