KV-PRM в 5000 раз быстрее: новый метод оценки процессов для мультиагентных LLM
На arXiv опубликована работа, в которой предложен KV-PRM — высокоэффективная модель вознаграждения процессов (Process Reward Model, PRM), устраняющая главное узкое место существующих решений. Вместо перекодирования всей траектории текста (сложность O(L?)) KV-PRM напрямую считывает KV-кэш, сгенерированный языковой моделью на этапе генерации, что снижает сложность до O(L).
Авторы доказали, что KV-кэш содержит строго больше информации, чем текст, и более эффективен для последующего моделирования вознаграждения. Это позволяет PRM масштабироваться на длинные контексты без катастрофического роста затрат.
Эксперименты на бенчмарках MATH, GSM8K и AIME показали, что KV-PRM соответствует или превосходит текстовые PRM по качеству при использовании методов TTS: Beam Search, MCTS и Weighted Voting. При этом вычислительные затраты снизились до 5000?, задержка — до 37?, а потребление памяти на одну последовательность — до 34?.
Особенно актуально это для мультиагентных систем, где развёртывание длинных траекторий типично. Ранее текстовые PRM создавали вычислительный узкий канал из-за квадратичной сложности, теперь же оценка становится соизмеримой с генерацией.
Практически KV-PRM может быть внедрён в существующие LLM-агенты без значительных изменений инфраструктуры, так как использует уже имеющийся KV-кэш. Разработчики подчёркивают, что модель не требует дополнительных тренировок или сложных модификаций.
По мнению экспертов, работа открывает путь к более масштабным мультиагентным сценариям, где процессное вознаграждение ранее было непозволительно дорогим. KV-PRM может стать стандартным компонентом для тестового масштабирования в реальных приложениях, от логики до генерации кода.
