LLM не способны к каузальному анализу: доказательство и новый метод A-CBO
Группа исследователей представила математическое доказательство того, что современные большие языковые модели (LLM) принципиально неспособны к каузальному выводу — задаче выявления причинно-следственных связей из данных. Результаты опубликованы в препринте на arXiv.
Авторы доказали так называемую теорему о ядерном препятствии: методы тонкой настройки, прямого предпочтения и обучения в контексте дают предсказатели, которые не могут различить разные каузальные графы, порождающие одинаковые наблюдательные данные. Для этого потребовались бы неограниченно растущие внутренние представления модели, что нарушает условия работы этих методов.
Проблема носит фундаментальный характер и не зависит от конкретной модели или набора данных. Даже лучшие fine-tuned LLM показывают плато на простых графах и деградируют при усложнении структуры.
В качестве решения предложен метод Agentic Causal Bayesian Optimization (A-CBO). Он использует замороженную языковую модель как интервенционный оракул, который отвечает на целенаправленные запросы о последствиях вмешательств. Внешний байесовский цикл концентрирует апостериорное распределение по возможным графам за логарифмически малое число раундов.
Поскольку принятие решений происходит вне пространства, на которое распространяется ядерное препятствие, A-CBO сходится к правильной структуре, не требуя переобучения модели. На тесте Corr2Cause метод показал результаты, сопоставимые с fine-tuning, без какого-либо обучения.
На новом бенчмарке Extended Corr2Cause, включающем до 24 переменных и 18 тысяч тестовых примеров, A-CBO значительно превзошёл как тонкую настройку, так и методы оптимизации предпочтений. Преимущество сохраняется при росте сложности, что делает подход перспективным для научного анализа данных.
