Формат промпта может менять результаты LLM-тестов в десятки раз: новый индекс FSI
Небольшие изменения в форматировании промпта – так называемые prompt wrappers – могут сильнее влиять на результаты бенчмарков LLM, чем замена самой модели. К такому выводу пришли авторы препринта на arXiv, предложившие два новых показателя: Format Sensitivity Index (FSI) и Parseability Sensitivity Index (PSI).
FSI измеряет разброс точности (accuracy) при использовании разных обёрток промптов, а PSI – разброс парсибельности ответов. В эксперименте было задействовано 140 000 генераций через OpenRouter, 7 задач на вопросно-ответные пары, 5 семейств обёрток и 4 инструктивные модели (от 7B до 72B параметров).
Результаты показали, что средний FSI различается между моделями более чем в 30 раз. Основная причина – несоответствие вывода модели ожидаемому формату (compliance failures). Даже после контроля задачи, модели и обёртки парсибельность остаётся сильным предиктором точности.
Авторы утверждают, что публикация оценок точности без учёта вариативности обёрток и соблюдения формата статистически ненадёжна. Они рекомендуют при бенчмаркинге сообщать FSI и PSI, а при развёртывании структурированного вывода – тестировать несколько вариантов форматирования.
Таким образом, привычные лидерборды могут отражать не столько качество моделей, сколько их чувствительность к конкретному форматированию. Исследование подчёркивает необходимость стандартизации промптов и более тщательного контроля экспериментальных условий.
