AI-юрист FETCH: GPT-5 задаёт лучшие вопросы для подбора правовой помощи
Команда исследователей представила классификатор FETCH, который помогает людям точнее описать свою юридическую проблему, задавая уточняющие вопросы. Система использует ансамбль недорогих языковых моделей для генерации вопросов, что позволяет снизить затраты, но, как выяснилось, сказывается на качестве.
В работе, опубликованной на arXiv, эксперты-юристы и сами LLM оценили подход FETCH. Выяснилось, что бюджетные модели хорошо справляются с задачей классификации, но формулируют вопросы на естественном языке недостаточно качественно. Для этого требуется более сложная и дорогая модель.
Авторы предложили оценочную рубрику для вопросов, используемых при первичном юридическом консультировании. Они обнаружили, что простого инжиниринга промптов недостаточно для улучшения качества вопросов для приёма заявок. Кроме того, оценки LLM-судьи и людей расходятся.
Добавление одной дорогой модели — GPT-5 — значительно улучшило работу классификатора. Система стала задавать более релевантные вопросы, что позволило точнее определять категорию правовой проблемы и направлять заявителя к нужному специалисту.
Однако исследователи отметили неравномерность сбора фактов по разным категориям, включая домашнее насилие. Это противоречит стандартным протоколам скрининга в семейном праве, что указывает на необходимость создания специальных панелей вопросов для отдельных областей права.
