Самообучающийся ИИ-агент превзошёл BM25 в поиске юридических дел
Поиск релевантных судебных дел остаётся сложной задачей из-за специфики юридического языка и необходимости точного лексического соответствия между запросом и делом. Несмотря на прогресс плотных моделей поиска, эмпирические исследования показывают, что BM25 всё ещё является сильным базовым методом в этой области.
Учёные предложили саморазвивающийся фреймворк для переписывания запросов на основе правил, который не требует обучения параметров. Система использует LLM-агента, оснащённого средой автоматической оценки. Агент итеративно создаёт правила переписывания, планирует проверочные эксперименты над комбинациями правил и отсеивает неэффективные на основе исторической обратной связи.
Метод был протестирован на китайском бенчмарке LeCaRD-v2 для поиска юридических дел. Результаты показали, что предложенный фреймворк превосходит неэволюционные базовые методы, включая правила, разработанные человеком, и жадный отбор правил. Наилучшие результаты были достигнуты при использовании высокопроизводительной языковой модели в качестве ядра агента.
Детальный анализ механизмов саморазвития показал, что ключевую роль играет способность LLM использовать результаты предыдущих экспериментов и внутреннее знание о том, какие правила стоит отбрасывать. Это позволяет агенту эффективно уточнять набор правил в процессе эволюции.
Разработка может найти применение не только в юриспруденции, но и в других областях, где требуется точное лексическое соответствие запросов и документов. Исследование опубликовано на arXiv и привлекло внимание специалистов по информационному поиску.
