Новый метод для LLM: неопределенность из-за неоднозначности оценивают без ответов

При развертывании больших языковых моделей (LLM) важно отличать неопределенность, связанную с неоднозначностью самого задания, от пробелов в знаниях модели. Первый тип называют алеаторной неопределенностью, и он возникает, когда входные данные допускают несколько равноправных интерпретаций. Существующие методы оценивали ее, генерируя несколько уточнений вопроса, запрашивая у модели ответ под каждым уточнением и сравнивая результаты.

Авторы нового исследования, опубликованного на arXiv, утверждают, что ответы для этого не нужны. Они теоретически обосновали, что ответы избыточны, добавляют лишние затраты и могут искажать оценку из-за утечки эпистемической неопределенности. Вместо этого они предложили подход, который оценивает алеаторную компоненту напрямую по множеству правдоподобных интерпретаций, не требуя ответов на уточненные входы.

Для проверки использовали три бенчмарка и задачу обнаружения неоднозначности. Подход, основанный только на уточнениях, показал улучшение AUROC с 60.85 до 63.34. При этом вычислительные затраты снизились в 4–26 раз по количеству выходных токенов и в 2.2–3.5 раза по числу API-вызовов.

Кроме того, полученные оценки оказались значительно менее коррелированы с эпистемической неопределенностью, чем у существующего метода. Это означает, что новый способ лучше выделяет именно ту неопределенность, которая связана с неоднозначностью, а не с недостатком знаний модели.

По мнению авторов, результаты показывают: алеаторную неопределенность, вызванную неоднозначностью, рациональнее оценивать в пространстве интерпретаций, а не в пространстве ответов. Это открывает путь к более надежным и экономичным системам на базе LLM, особенно в сценариях, где важна калибровка уверенности.