Новый метод C3R гарантирует контроль загрязнения доменов в мультидоменном поиске

Группа исследователей опубликовала на arXiv preprint, в котором представлен метод C3R (Certified Consistent Contamination-Reducing Retrieval). Разработка решает проблему мультидоменного поиска, когда система выдает релевантные, но не относящиеся к нужному домену документы, что ухудшает качество для отдельных предметных областей.

Авторы отмечают, что традиционные метрики ранжирования не всегда выявляют такое междоменное загрязнение, а методы контроля риска на основе конформного прогнозирования дают слишком слабые гарантии для худших доменов. C3R является «встраиваемым» слоем: он не требует изменений в основной модели ранжирования или энкодере, а лишь добавляет поверх готового стека.

Механизм основан на двухвыборочной схеме с наборами прогнозов, контролирующими риск (risk-controlling prediction sets). Используя выведенное апостериорное распределение доменов без дополнительных меток, C3R для каждого домена сертифицирует заданный бюджет загрязнения (долю нецелевых документов). Если сертификация невозможна, система воздерживается от выдачи по этому запросу, а не нарушает бюджет молча.

Эксперименты на тысяче пересэмплированных калибровок показали, что сертификат ни разу не нарушается, тогда как стандартный маржинальный контроль нарушал бюджет для самого загрязнённого домена в каждом прогоне. При этом мягкое понижение (soft demotion) удерживает больше полноты (recall) при равном сертифицированном уровне загрязнения по сравнению с сильнейшим каскадным калиброванным методом.

Метод был протестирован на нескольких открытых наборах данных, включая независимый тест из публичных федеральных нормативных актов. Дополнительная оценка с помощью LLM-судьи показала, что доля ссылок на неверные авторитетные источники растёт с увеличением загрязнения и снижается при использовании C3R.

Разработка может быть полезна для поисковых систем, работающих с разнородными коллекциями, — например, в юридической, медицинской или научной сфере, где точная принадлежность документа к домену критична. C3R не требует переобучения, что упрощает его внедрение в существующие пайплайны.