Algometrics: как алгоритмы прогнозирования меняют будущие данные
Новое исследование, опубликованное на платформе arXiv, представляет фреймворк Algometrics для прогнозирования временных рядов в условиях, когда алгоритмы влияют на данные. В алгоритмических рынках (например, в трейдинге) модель не просто предсказывает, но и меняет будущие данные через свои действия.
Работа различает два типа риска: исторический (пассивное прогнозирование) и риск развертывания (когда прогнозы управляют действиями). Автор доказывает, что риск развертывания не может быть идентифицирован по пассивным историческим данным — даже в простой линейной модели бесконечно много сред дают одинаковую историю, но разные риски.
Второй результат: рейтинг моделей может инвертироваться при «толчее» — предсказатель с меньшей ошибкой на пассивных данных может показывать большую ошибку при развертывании, если используются похожие алгоритмы. Это ставит под сомнение традиционные бенчмарки.
В качестве решения предлагается рандомизация или инструментальные переменные для идентификации краткосрочной линейной обратной связи. Выведена граница для оценки риска развертывания на конечных выборках.
Автор рекомендует при оценке временных рядов в алгоритмических рынках указывать чувствительность к обратной связи наряду с точностью прогноза. Это повысит прозрачность и снизит риски при внедрении моделей.
