Новый алгоритм для нестационарных линейных бандитов: оптимальная динамическая сожаление без ограничений
Многие задачи онлайн-принятия решений предполагают, что доступные действия и награды меняются со временем. Например, рекламные показы, цены и медицинские назначения могут варьироваться от раунда к раунду, а предпочтения пользователей или кривые спроса дрейфуют. Эти сценарии описываются моделью нестационарных линейных бандитов с изменяющимися наборами действий.
Существующие алгоритмы, достигающие оптимальной динамической сожаление порядка T^(2/3) * P_T^(1/3), где P_T — длина пути последовательности параметров награды, обычно требуют предположения об ортогональной структуре наборов действий. Это ограничение сильно сужает область применения, особенно в контекстных задачах.
В новой работе исследователи устраняют этот пробел, предлагая унифицированный подход на основе мисспецификации. Они разбивают временной горизонт на блоки и связывают динамическую сожаление каждого блока с сожалением относительно стационарного эталона, при этом внутриблоковый дрейф параметров рассматривается как ограниченная мисспецификация.
Перезапуск алгоритмов с гарантиями сожаления, зависящими от мисспецификации, позволяет получить оптимальную зависимость T^(2/3) * P_T^(1/3) для линейных бандитов с общими компактными наборами действий и для контекстных линейных бандитов с K рукавами.
Этот результат расширяет применимость нестационарных бандитов на реальные сценарии, где множества действий могут быть произвольными и не подчиняться ортогональности. Потенциальные области использования включают онлайн-рекомендации, аукционы рекламы и динамическое ценообразование.
Работа представляет собой теоретический вклад в область онлайн-обучения с подкреплением и опубликована на arXiv. Полный текст доступен по ссылке: https://arxiv.org/abs/2607.02891.
