UniScale: новый метод адаптивного выбора модели и масштабирования для LLM

Группа исследователей опубликовала на платформе arXiv препринт, в котором описывается новый фреймворк UniScale, предназначенный для адаптивного объединения двух ключевых подходов к оптимизации инференса больших языковых моделей (LLM). Это маршрутизация моделей (выбор подходящей модели под запрос) и масштабирование времени тестирования (TTS — динамическое выделение вычислительных ресурсов внутри модели).

Существующие решения обычно применяют эти методы независимо, что приводит к ограничениям. Маршрутизация обеспечивает лишь грубые дискретные изменения производительности, а TTS для одной модели может упираться в потолок возможностей и демонстрировать убывающую отдачу при росте затрат. Раздельное управление снижает адаптивность в динамичных средах.

UniScale формулирует проблему как контекстную задачу многорукого бандита и использует алгоритм LinUCB для онлайн-обучения политики. Фреймворк включает отслеживание эффективности и моделирование затрат для стабильной оптимизации в многомерном пространстве действий — комбинируя выбор модели и объем вычислений.

По результатам тестов UniScale достигает тонкозернистого и стабильно более качественного компромисса между точностью и затратами в разнообразных динамических сценариях инференса, превосходя отдельное применение каждого из подходов. Авторы отмечают, что унификация пространства поиска позволяет эффективнее использовать синергию между выбором модели и масштабированием.

Работа представлена в виде препринта на arXiv (ID: 2605.30898) и может быть интересна разработчикам, создающим системы для развертывания LLM в условиях неоднородной нагрузки и ограниченных ресурсов.