MechSim: LLM научились рассуждать о механизмах научных симуляторов
Научные симуляторы всё чаще интегрируются в системы на основе больших языковых моделей (LLM) для принятия решений в критически важных областях. Однако существующие подходы используют LLM в основном как черный ящик: модели генерируют, калибруют или запускают симуляторы, но не могут объяснить, почему симулятор ведёт себя тем или иным образом. Это ограничивает прозрачность, аудируемость и обоснованность решений.
В новой работе на arXiv представлен фреймворк MechSim (Mechanism-grounded neuro-symbolic reasoning). В отличие от предыдущих нейро-символических методов, которые работают со статическими символическими структурами, MechSim позволяет агентам LLM рассуждать о механизмах, допущениях и выполнении симулятора.
Ядро фреймворка — общая структурированная схема, которая фиксирует допущения, переменные, зависимости между механизмами и трассы выполнения. Поверх этой схемы LLM работает как ограниченный механизм рассуждения, который генерирует структурированные объяснения, связывающие результаты симуляции с её базовыми механизмами.
MechSim оценивали в нескольких высокорисковых предметных областях. Результаты показали улучшение качества объяснений на уровне механизмов, более глубокий анализ симулятора и более надёжные решения, принимаемые системой.
По словам авторов, такой подход приближает нас к созданию по-настоящему объяснимого ИИ в науке: вместо того чтобы просто доверять результатам симуляции, исследователь может понять, какие предположения и внутренние процессы привели к конкретному сценарию. Это особенно важно при моделировании климата, эпидемиологии, финансовых рисков и других областях, где цена ошибки высока.
Разработка открывает путь к более прозрачному и проверяемому использованию LLM в научном моделировании. Дальнейшие исследования могут быть направлены на интеграцию MechSim с различными типами симуляторов и улучшение механизма генерации объяснений.
