LLM генерируют события биржевого стакана, но не понимают его состояние — исследование
На сайте arXiv опубликовано исследование, авторы которого проверили, насколько большие языковые модели (LLM) понимают динамику биржевого стакана — таблицы лимитных заявок на покупку и продажу. Работа получила номер 2608.23706.
Учёные обучили LLM на синтетических данных биржевого стакана. Модель продемонстрировала почти идеальные результаты в генерации валидных последовательностей событий. Однако, как показали тесты, внутренняя модель мира, которую строит LLM, не отражает фактическое состояние стакана.
Этот недостаток приводит к смещённым оценкам и ложной предсказуемости при использовании LLM для прогнозирования будущих событий биржевого стакана. Иными словами, модель может формально правильно воспроизводить последовательности, но не понимать, что именно происходит на рынке.
Для проверки авторы применили новые тесты внутренней модели мира LLM. Они расширили предыдущие работы, которые рассматривали детерминированные сценарии, до стохастической динамики, характерной для биржевого стакана.
Результаты важны для разработчиков алгоритмической торговли и симуляторов рынка. LLM всё чаще предлагают использовать для анализа финансовых данных и генерации торговых сигналов, но это исследование показывает, что высокое качество генерации последовательностей не гарантирует понимания рыночной ситуации.
Авторы не делают окончательных выводов о практической непригодности LLM, но подчёркивают, что нужны дополнительные методики, чтобы проверить, насколько модель действительно усвоила структуру рынка, а не просто выучила синтаксис событий.
