Метод RAP: как предсказать успех LLM-программ по нескольким примерам
Разработчики всё чаще используют LLM для выполнения задач на естественном языке, однако такие программы не всегда надёжны: они могут успешно пройти несколько тестов, но выйти из строя в реальной эксплуатации. Исследователи из Массачусетского технологического института (MIT) предложили новый подход RAP, который позволяет заранее оценить реальную эффективность таких программ.
В своей работе, опубликованной на arXiv, авторы описывают модель предсказания, основанную на простой аналогии с подбрасыванием монеты. Каждое выполнение программы рассматривается как испытание Бернулли с неизвестной вероятностью успеха. Итоговая производительность зависит от двух факторов: наблюдаемых результатов на тестовых примерах и априорного распределения вероятностей.
Учёные составили априорные распределения на основе обширного корпуса программ и задач. Выяснилось, что для символьных программ (например, написанных на Python) распределение имеет ярко выраженный «всё или ничего»: программа либо полностью справляется, либо полностью проваливается. Для промпт-программ (запросов к LLM) распределение оказывается более размытым — существует много почти правильных вариантов.
Это ключевое различие объясняет, почему небольшое число успешных тестов может подтвердить надёжность символьных программ, но не промпт-программ. Для последних требуется более сложная оценка, так как один удачный запуск не гарантирует стабильности.
На основе этого открытия авторы разработали алгоритм RAP (Retrieved Approximate Prior). Он находит похожие задачи и промпт-программы из существующего корпуса, строит аппроксимированное априорное распределение и с его помощью предсказывает производительность новой программы. Тесты показали, что RAP даёт хорошие результаты, позволяя достоверно оценить ожидаемую успешность до полного запуска в продакшн.
Метод может стать полезным инструментом для разработчиков, желающих заранее отсеивать ненадёжные LLM-решения и экономить время на масштабном тестировании. Работа опубликована в формате препринта и ещё не прошла рецензирование, но уже привлекла внимание сообщества машинного обучения.
