Мультиагентный ИИ SPARC достиг 83% точности в задачах с электросхемами

Понимание электрических схем требует сложных математических рассуждений, с которыми современные мультимодальные большие языковые модели (LLM) справляются не всегда. Новая система SPARC, описанная в препринте на arXiv, предлагает кардинально иной подход: вместо прямого ответа она синтезирует и исполняет программы-симуляции, основанные на законах физики.

SPARC состоит из нескольких LLM-агентов, каждый из которых отвечает за свой этап: генерацию кода симуляции, его выполнение с заданными параметрами и анализ полученных численных результатов. Такой конвейер позволяет системе «проверять» гипотезы и устранять логические ошибки ещё до выдачи ответа.

Авторы протестировали SPARC на наборе задач по электротехнике, требующих расчёта токов, напряжений и сопротивлений. Система показала точность 83%, тогда как лучшие существующие мультимодальные LLM (например, GPT-4V) на том же датасете достигали лишь 52% — абсолютное улучшение составило 31 процентный пункт (58% относительного прироста).

Ключевое преимущество SPARC, по словам исследователей, — возможность систематической диагностики ошибок. Если агент ошибается на этапе синтеза программы, это легко обнаружить по некорректным промежуточным результатам. В обычных LLM ошибка часто «зарыта» в неявном логическом выводе.

Работа является очередным шагом к созданию надёжных AI-систем для инженерных дисциплин, где критичны точность и объяснимость. SPARC демонстрирует, что сочетание LLM с внешними исполнителями (симуляторами) может быть эффективнее, чем попытки «научить» нейросеть решать задачи исключительно на уровне текста.

Метод имеет потенциал для применения не только в электротехнике, но и в других областях, где возможна формализация в виде вычислительных моделей — например, в механике или гидродинамике. Пока SPARC работает только с двумерными схемами, но архитектура допускает расширение на более сложные трёхмерные системы.