RL-агенты с учётом неопределённости обогнали классические модели на фондовом рынке США
Группа исследователей представила новую архитектуру для алгоритмического трейдинга на основе обучения с подкреплением (RL), которая интегрирует комплексную оценку неопределённости рынка. Работа опубликована на arXiv и демонстрирует, как учёт стохастической волатильности и смены режимов может улучшить торговые стратегии.
Финансовые рынки отличаются высокой неопределённостью: цены колеблются из-за случайной волатильности, ограничений модели и резких смен режимов. Традиционные RL-агенты часто не успевают адаптироваться к внезапным изменениям, что приводит к неоптимальным решениям. Чтобы решить эту проблему, авторы предложили фреймворк, оценивающий три типа неопределённости: распределительную, эпистемическую и алеаторическую.
Для улучшения оценки неопределённости использовались методы SHAP-взвешенной реконструкции, MC Dropout и консенсусный механизм на основе LSTM технических индикаторов. Это позволяет агенту не только понимать, насколько он уверен в прогнозе, но и учитывать рыночный шум и неполноту данных.
Эксперименты проводились на пяти крупных фондовых индексах США. Результаты показали, что RL-агенты, оснащённые оценкой неопределённости, значительно превосходят традиционные модели как по доходности, так и по управлению рисками. Улучшение наблюдалось на всех временных горизонтах и рыночных условиях.
По словам авторов, предложенный подход открывает путь к более надёжным торговым системам, способным работать в нестабильной среде. В будущем планируется расширить метод на другие классы активов и альтернативные архитектуры RL для повышения адаптивности.
