Новый метод сжатия бенчмарков для LLM: выбор промптов без оценки моделей

Оценка больших языковых моделей (LLM) требует прогона тысяч промптов из множества бенчмарков, что дорого и медленно. Исследователи из arXiv предложили метод сжатия тестовых наборов — выбор небольшого подмножества промптов, которое сохраняет рейтинг и оценки моделей, полученные на полном наборе.

В отличие от традиционных подходов, новый метод не использует результаты реальных оценок моделей на этапе отбора. Он работает на уровне отдельных промптов, а не целых бенчмарков, что даёт более тонкую настройку. Для выбора применяются субмодулярные функции, в частности facility location (FL), оперирующая только дешёвыми семантическими эмбеддингами промптов.

Эксперименты проводились на масштабном наборе из 35 гетерогенных бенчмарков, 18 передовых LLM и более 61 тыс. промптов. Функция FL показала лучшие результаты по сохранению оценок моделей по сравнению с двенадцатью базовыми методами, включая основанные на очках и разнообразии, при различных бюджетах подмножества.

Дополнительно авторы показали, что тот же подход применим в сценарии, где доступно много результатов моделей, а нужно выбрать лишь несколько целых бенчмарков. На лидербордах MMLU и MTEB новая цель сравнялась или превзошла современные базовые линии, оставаясь при этом значительно более дешёвой в вычислениях.

Разработка позволяет сократить время и ресурсы на тестирование LLM, что особенно важно для исследовательских групп и компаний, которым необходимо быстро сравнивать новые модели. В перспективе метод может стать стандартным инструментом для оптимизации бенчмарков.

Результаты указывают на то, что субмодулярность в целом является надёжным средством сжатия бенчмарков для LLM, открывая путь к более эффективному оцениванию искусственного интеллекта.