Causal Foundation Models: новый подход к оценке эффектов лечения без дообучения

В машинном обучении набирает популярность парадигма фундаментальных моделей: сеть один раз обучается на больших данных и затем применяется к новым задачам без тонкой настройки. Исследователи предложили перенести этот принцип в причинный вывод, создав класс моделей под названием Causal Foundation Models (CFM).

Причинный вывод занимается оценкой эффекта лечения или вмешательства на основе данных. Традиционно для каждой новой задачи требуется индивидуальный конвейер: сначала выдвигается предположение о механизме, затем подбирается подходящий оценщик, и только потом модель обучается. Это трудоемкий процесс, который сложно автоматизировать.

CFM призваны упростить эту процедуру. Это предобученные нейросети, которые способны оценивать такие величины, как средний эффект лечения, напрямую на новых наборах данных. Они используют in-context learning — то есть применяют знания, полученные при обучении, без необходимости обновлять веса модели под конкретную задачу.

По сути, CFM предлагают универсальный инструмент: вместо того чтобы строить пайплайн с нуля, исследователь подает данные в сеть и получает оценку причинного эффекта. Это напоминает то, как языковые модели решают новые задачи без дообучения, ориентируясь на контекст.

В статье дается практическое введение в эту область. Авторы суммируют базовые концепции причинного вывода и машинного обучения, а затем переходят к описанию CFM. В качестве иллюстраций приводятся примеры кода и Jupyter notebook, что делает материал доступным для воспроизведения.

Развитие CFM может существенно ускорить прикладные исследования в медицине, экономике и социальных науках, где оценка причинных эффектов играет ключевую роль. Однако, как подчеркивается в работе, область находится на ранней стадии, и предстоит решить еще много методологических вопросов.