LLM научились понимать свои ограничения: RL-подход эффективнее точной настройки

Сотрудники ведущих исследовательских лабораторий представили работу, посвященную способности больших языковых моделей (LLM) осознавать границы собственных возможностей. В статье, опубликованной на arXiv, авторы вводят понятие Capability Self-Assessment (CSA) — умение модели решить, браться ли за задачу или делегировать ее. Оказалось, что современные LLM систематически переоценивают свой уровень и пытаются решать непосильные задачи.

Для решения проблемы ученые сформулировали задачу как обучение политике (policy learning). Цель — улучшить самооценку модели, не снижая ее исходной производительности. В ходе экспериментов сравнивались два подхода: обучение с подкреплением (RL) и контролируемая точная настройка (SFT). Результаты показали, что RL значительно эффективнее: модели, обученные этим методом, научились адекватно оценивать свои способности, тогда как SFT приводил к серьезной деградации навыков, которые модель должна была оценивать.

Важной особенностью CSA является способность к обобщению: полученное поведение сохранялось на задачах, не встречавшихся во время обучения. По мнению авторов, это говорит о том, что самооценка — переносимое свойство модели, а не привязанное к конкретному набору данных.

Практическая польза CSA подтверждена в двух сценариях. Во-первых, модели с улучшенной самооценкой принимают более взвешенные решения о распределении нагрузки между локальными и облачными вычислениями на этапе инференса. Во-вторых, данные самооценки могут служить сигналом для целенаправленного отбора примеров во время обучения, повышая эффективность дообучения.

Отмечается, что работа охватывает разнообразные семейства моделей и масштабы, а полученные результаты указывают на принципиальную возможность создания более надежных и самостоятельных ИИ-систем. Разработка может быть полезна как для повышения безопасности, так и для оптимизации вычислительных ресурсов.