REATS: как LLM помогают выбирать лучшую модель прогнозирования временных рядов
Научная группа представила подход REATS, который использует рассуждения больших языковых моделей для адаптивного объединения прогнозов нескольких моделей временных рядов. Идея в том, что ни одна отдельная модель не может одинаково хорошо предсказывать все типы данных, поэтому ансамблевый подход должен подстраиваться под конкретный пример.
Как поясняется в работе, классические ансамблевые методы обычно полагаются на фиксированные правила или на «чёрные ящики», которые работают только с числовыми признаками. REATS вместо этого превращает временной ряд в гибридное текстово-числовое описание: модель получает не только цифры, но и словесное описание структуры ряда. Это позволяет LLM строить цепочку рассуждений и объяснять, почему одной модели отдаётся больший вес, чем другой.
Разработчики решили несколько практических проблем. Во-первых, предложили единый формат входных данных с фиксированной стоимостью токенов, чтобы не зависеть от внешних API. Во-вторых, разработали формат процентного распределения весов, который уменьшает вычислительную сложность и снижает риск галлюцинаций модели. В-третьих, применили двухэтапное обучение: сначала стандартный fine-tuning, затем оптимизация через GRPO со специальной функцией вознаграждения. Она преобразует разницу среднеквадратичных ошибок в ограниченный сигнал и усиливает чувствительность к выбору почти оптимальной модели.
Для обучения использовалась супервизия по нескольким строкам весов, а также привлечение похожих примеров из обучающей выборки. Эксперименты на восьми бенчмарках показали, что REATS превосходит конкурирующие ансамблевые методы. Кроме того, система умеет давать объяснения на естественном языке и демонстрирует перенос обучения на новые, ранее не встречавшиеся модели.
Авторы отмечают, что метод особенно интересен для задач, где важна интерпретируемость прогноза. Возможность понять, почему ансамбль выбрал конкретную модель, открывает путь к более широкому применению LLM в аналитике временных рядов.
