Новый метод COM повышает точность анализа временных рядов в LLM

Исследователи из нескольких университетов предложили новый подход к анализу временных рядов с помощью больших языковых моделей (LLM). Метод, получивший название COM (Continuity and Ordinality Matter), направлен на сохранение важных свойств данных — непрерывности и упорядоченности — в токенных представлениях.

Токенные LLM для временных рядов набирают популярность, но, как отмечают авторы, предыдущие работы часто игнорировали фундаментальные характеристики временных последовательностей. Без учёта непрерывности и порядка модель может терять важные зависимости между наблюдениями.

COM решает эту проблему, внедряя геометрические ограничения на этапе инициализации и обучения токенных эмбеддингов. Это позволяет модели лучше отражать внутреннюю структуру данных.

Эксперименты на нескольких бенчмарках показали, что COM стабильно улучшает производительность токенных TS-LLM. Метод демонстрирует конкурентоспособные результаты и хорошую обобщающую способность.

Исходный код COM опубликован на GitHub для воспроизведения результатов и дальнейших исследований. Работа размещена на arXiv и находится на стадии рецензирования.

По мнению авторов, их подход открывает путь к более эффективному использованию LLM в задачах прогнозирования и анализа временных рядов.