CAX-Agent: новый ИИ-агент повышает надежность автоматизации инженерных симуляций

Крупные языковые модели (LLM) всё чаще применяются для автоматизации инженерных симуляций, однако сталкиваются с проблемами надёжности: без структурированного управления и обработки ошибок результаты часто нестабильны. Новая разработка CAX-Agent решает эту задачу с помощью лёгкой агентной обвязки, специально созданной для автоматизации MAPDL — языка параметрического программирования конечно-элементного анализа Ansys.

Архитектура CAX-Agent организована в три уровня: сервис LLM, агентная обвязка и вычислительное ядро. Ключевая особенность — «лестница восстановления», которая последовательно применяет детерминированные правила, модельно-управляемую регенерацию, обогащение контекста и, в крайнем случае, вмешательство человека.

Для оценки эффективности исследователи провели эксперимент на 50 стандартных структурных бенчмарках. Каждая из трёх стратегий восстановления (без восстановления, только правила, только модель) была протестирована трижды, что дало 450 единичных запусков. Два независимых оценщика в слепом режиме оценивали завершённость задач, продемонстрировав высокую согласованность (квадратичный взвешенный коэффициент Cohen's kappa = 0.84).

Стратегия на основе модели (model_only) показала наилучшие результаты: уровень успешного завершения 0.9267, оценка задачи 3.59 из 4, общая оценка 9.16 из 10 и доля задач без необходимости вмешательства 0.84. Это значительно превзошло стратегию только с правилами (0.7733, 3.17/4, 7.03/10) и отсутствие восстановления (0.6933, 2.74/4, 5.60/10) — различия с большим размером эффекта (Cliff's delta 0.81–0.87).

Авторы отмечают, что в бенчмарке использовались намеренно простые геометрии, чтобы изолировать влияние политики восстановления. Полученные результаты обнадёживают, но требуют дальнейшей проверки на более сложных реалистичных задачах. Тем не менее, CAX-Agent демонстрирует практичный подход к повышению надёжности LLM в инженерных приложениях.