MARICL: ИИ-агенты находят причины ошибок моделей и улучшают прогнозы в науке

Группа исследователей опубликовала работу, описывающую новый подход к интерпретации и улучшению моделей машинного обучения. Разработанный фреймворк Multi-Agent Residual In-Context Learning (MARICL) использует большие языковые модели для анализа остатков — разницы между предсказаниями базовой модели и реальными значениями.

В отличие от традиционных методов, которые лишь отвечают на вопрос «какие признаки важны?», MARICL пытается понять, как именно признаки взаимодействуют и чего не хватает модели. Идея состоит в том, чтобы не заставлять LLM предсказывать целевую переменную напрямую, а поручить ей более узкую задачу — объяснить, почему базовая модель ошибается на примерах с большими остатками.

Фреймворк реализован как многолетняя система: несколько LLM-агентов анализируют ошибки, выдвигают гипотезы о пропущенной структуре данных и формируют явные корректирующие выражения. Эти выражения затем уточняются в многошаговом процессе, напоминающем градиентную оптимизацию, но в текстовом пространстве.

Эксперименты проводились на девяти наборах данных из разных областей: научных, биомедицинских, социально-экономических и синтетических. MARICL улучшил предсказания базовой модели на всех без исключения датасетах. Наиболее впечатляющий результат был получен на данных о клеточно-свободном синтезе белка (Cell-Free Protein).

Чтобы проверить, отражают ли коррекции реальные механизмы или просто шум конкретной выборки, исследователи применили правила, выученные на одном экспериментальном батче, к другим батчам без какого-либо дообучения. Внутри одного протокола с теми же реагентами замороженные формулы улучшили прогнозы более чем в 92% случаев. При смене протокола коррекции систематически переставали работать — граница успеха проходила по биохимическим условиям, а не по номеру батча.

Авторы интерпретируют это как прямое доказательство механического обобщения: модель выучила не случайные совпадения, а реальные взаимодействия реагентов. Такой подход может открыть путь к более интерпретируемым научным моделям, где объяснения не просто описывают, какие входы важны, но и предлагают проверяемые гипотезы о скрытых закономерностях.

Работа опубликована на сервере препринтов arXiv и представляет интерес для специалистов по машинному обучению, биоинформатике и всех, кто стремится сочетать предсказательную силу моделей с их пониманием.