LLM переоценивают свою точность на сложных задачах — исследование

Исследователи изучили калибровку уверенности больших языковых моделей (LLM) на разнообразных задачах. Результаты показали, что современные LLM в среднем слишком уверены в своей правоте: их уверенность превышает фактическую точность.

Этот эффект оказался неравномерным. На сложных тестах модели демонстрируют наибольшую переоценку своих способностей, тогда как на простых заданиях наблюдается обратная картина — модели недооценивают свою точность. Ученые назвали это «эффектом трудного-легкого» (hard-easy effect), который ранее был известен для людей.

Для оценки калибровки моделей была разработана специальная тестовая платформа LifeEval, которая позволяет проверять уверенность LLM на задачах разного уровня сложности. Это может помочь в создании более надежных и предсказуемых систем искусственного интеллекта.

Авторы отмечают, что проблема калибровки особенно важна для приложений, где ошибки могут иметь серьезные последствия — например, в медицине, юриспруденции или автономном вождении. Если модель слишком уверена в неверном ответе, это может ввести пользователя в заблуждение.

Результаты опубликованы в виде препринта на arXiv. Исследование подчеркивает необходимость дальнейшей работы над тем, чтобы модели не только давали точные ответы, но и адекватно оценивали свою уверенность в них.