Новый метод EP-HUBO повышает точность LLM в юридических задачах за счет квантовой оптимизации доказательств
Исследователи предложили новый подход к улучшению рассуждений больших языковых моделей (LLM) в специализированных областях, таких как юриспруденция. Метод получил название EP-HUBO (Evidence Pool Higher-Order Binary Optimisation) и решает проблему нестабильности LLM при работе с тонкими различиями в доказательствах.
Традиционные методы, например голосование большинством по сгенерированным цепочкам мыслей (CoT), часто отдают предпочтение популярным ответам, даже если их доказательная база слабее. EP-HUBO рассматривает выбор фрагментов рассуждений как явную комбинаторную оптимизацию, что позволяет учитывать корректные, но менее распространённые гипотезы.
Процесс включает генерацию нескольких CoT-траекторий с помощью небольшой локальной модели, их разбиение на пулы доказательств для каждой гипотезы и решение задачи безусловной бинарной оптимизации высшего порядка. Веса вычисляются на основе релевантности, специфичности и различимости доказательств. Финальное решение принимает флагманская модель после одного обращения на вопрос.
Эффективность EP-HUBO оценили на двух юридических бенчмарках, требующих высокой точности работы с доказательствами. Оптимизацию проводили как с помощью имитации отжига на классическом оборудовании, так и с использованием фотонного энтропийно-квантового компьютера Dirac-3 от Quantum Computing Inc.
Результаты показали, что HUBO-оптимизация даёт принципиальный способ агрегации фрагментов рассуждений, сохраняя верные, но непопулярные гипотезы. Особую ценность метод представляет в слабоконтаминированных областях, где флагманские модели ещё не «впитали» тестовые данные.
