Контрастивное обучение улучшило ответы ИИ на вопросы по нескольким таблицам на 16%
Исследователи разработали метод Contrasitive Preference Optimization (CPO) для улучшения качества ответов языковых моделей на вопросы, требующие объединения данных из нескольких таблиц. Работа опубликована на arXiv и описывает синтетический набор данных с контрастными цепочками рассуждений, который используется для дообучения моделей.
Основная проблема существующих ресурсов для multi-table Q&A — отсутствие подробных шагов рассуждения, объясняющих, как получен ответ. Авторы создали синтетический датасет на основе MMQA, генерируя как верные цепочки рассуждений (positive traces), так и правдоподобные, но ошибочные (negative traces) с помощью нескольких различных больших языковых моделей. Пары предпочтений затем использовались для обучения с CPO.
Эксперименты проводились на моделях Qwen3-14B, Mistral-8B и Llama-3.1-8B. По сравнению с обычным обучением с учителем (supervised fine-tuning) CPO дал абсолютный прирост точности от 9,7% до 16,3% в среднем по MNQA, а в отдельных случаях — до 21 процентного пункта. Уточняется, что использование разнородных генераторов положительных и отрицательных цепочек усиливает контрастный сигнал.
Автоматические и человеческие оценки показали, что сгенерированные пары в основном достоверны, связны и действительно контрастны, что подтверждает эффективность подхода. Метод может быть полезен для задач, где требуется композиционное рассуждение по нескольким источникам данных, например, в аналитике или поиске информации.
Исследование подчеркивает важность синтетических данных для обучения рассуждениям, особенно когда реальные данные дороги или недоступны. В дальнейшем авторы планируют расширить подход на другие типы мульти-табличных задач и оценить его на более широком спектре моделей.
