Исследователи представили MacroLens — масштабный бенчмарк для финансового ИИ с учетом макроэкономики

Группа исследователей представила MacroLens — открытый мультизадачный бенчмарк для оценки систем искусственного интеллекта в финансовой сфере. Он объединяет данные по 4416 акциям малой и микрокапитализации США за 2021–2026 годы. Особенность бенчмарка в том, что он учитывает макроэкономические сценарии и временные задержки публикации отчётности.

Бенчмарк включает 46,8 млн бухгалтерских фактов в формате XBRL, 53 макроэкономических показателя, 295 860 документов SEC (финансовая отчётность) и 215 882 новостных статьи. Все данные синхронизированы по времени, причём тексты «закрыты» на дату публикации, чтобы избежать заглядывания в будущее. Также учтена задержка корпоративной отчётности от одного до 90 дней.

MacroLens охватывает семь задач: контекстуальное прогнозирование цен, оценка публичных и частных компаний, генерация отчётности на основе данных, прогноз доходности с учётом макросценариев и оценка недвижимости. Отдельный сценарийный слой включает 1130 макроэкономических событий 49 типов, которые автоматически выделены и представлены в виде текста на естественном языке.

Для оценки возможностей бенчмарка авторы протестировали 19 методов из шести семейств: от простых эвристик и моделей временных рядов до больших языковых моделей (LLM) с нулевым обучением. Также проведена пятиступенчатая абляция признаков для двух современных LLM и градиентного бустинга.

Разработчики отмечают, что MacroLens закрывает пробел на рынке публичных бенчмарков: ни один из существующих не учитывает все четыре сигнала (цены, фундаментальные показатели, макроэкономику и текст) с корректной временной привязкой. Бенчмарк доступен на Hugging Face для исследовательских целей.

По мнению авторов, MacroLens может стать стандартной площадкой для тестирования алгоритмов, работающих с многомерными финансовыми данными в условиях реальных задержек и макроэкономического контекста.