CARPRT: алгоритм для точной zero-shot классификации изображений без дообучения
Исследователи из TMLR Group предложили метод CARPRT (Class-Aware Zero-Shot Prompt Reweighting), который улучшает zero-shot классификацию изображений c помощью vision-language моделей (VLM). Работа опубликована на arXiv.
Современные VLM, такие как CLIP, классифицируют изображения, вычисляя сходство между картинкой и текстовым описанием — промптом. Обычно промпт формируется по шаблону вроде «фото <объекта>». Однако точность сильно зависит от формулировки: промпт «вид сверху» подходит для аэропорта, но не для яблока.
Существующие методы объединяют несколько промптов, присваивая им общие для всех классов веса. Это не учитывает, что разные классы требуют разных промптов. CARPRT решает эту проблему, вычисляя веса для каждого класса отдельно без дополнительного обучения.
Алгоритм работает так: для каждого класса и каждого промпта вычисляется средняя оценка релевантности по изображениям, которые данный промпт отнёс к этому классу. Затем эти оценки нормализуются для получения весов. Такой подход позволяет адаптировать вес промпта под конкретный класс.
По данным исследования, CARPRT превосходит существующие методы class?independent reweighting на стандартных бенчмарках классификации изображений. Авторы отмечают, что учёт зависимости между промптом и классом критически важен для эффективного zero?shot прогнозирования.
Метод может быть полезен не только для классификации, но и для других VLM?задач, где используется ансамблирование промптов. Исходный код доступен на GitHub по ссылке https://github.com/tmlr-group/CARPRT.
