Новый подход к вызову LLM в потоковых системах: доказана оптимальность пороговых правил
Затраты на вызов больших языковых моделей (LLM) в потоковых системах вывода могут быть значительными. Группа учёных представила на arXiv (препринт 2607.13048) формальный подход к решению вопроса: когда именно стоит обращаться к LLM, чтобы сбалансировать качество и стоимость.
Авторы рассматривают задачу как последовательную остановку на основе риска. Правило-триггер активируется, когда функционал риска, вычисленный по истории наблюдений, превышает заданный порог. В рамках этой модели доказаны шесть ключевых результатов.
Среди них — минимальное время между событиями, исключающее «дребезг» триггера; оптимальность пороговых политик, установленная методом гладкого сращивания; гарантии приближённого критерия последовательного отношения вероятностей (SPRT) даже при оценке параметров; асимптотические границы сожаления (regret) порядка O(?T log T) для стационарных потоков.
Кроме того, доказано, что при наличии точек изменения потока (до C_T штук) сожаление ограничено величиной O(?((C_T+1)T log T)). Также показана сходимость метода онлайн-градиентного спуска для адаптивных порогов со скоростью O(1/?T) и получена формула переноса калибровки в показатель пропуска.
Предложенный фреймворк обобщает несколько известных семейств триггеров: событийный, оптимальной остановки, SPRT, CUSUM и байесовский. Практическую эффективность проверили на данных деградации турбовентиляторов (CMAPSS) с реальными вызовами LLM.
Авторы сравнили свой подход с шестью базовыми алгоритмами, включая маршрутизатор в стиле RouteLLM и контекстные бандиты. Результаты подтвердили асимптотически сублинейное сожаление (?=0,75) и показали, что функции риска на основе аномалий доминируют альтернативы примерно на порядок по метрике AUC на кривой Парето.
Разработка открывает путь к более экономичному использованию LLM в потоковых приложениях, где требуется семантическое понимание, но критически важна стоимость каждого вызова модели.
