QASM-Eval: датасет для обучения ИИ написанию кода для квантовых компьютеров

Квантовые вычисления до сих пор находятся в эпохе NISQ (Noisy Intermediate-Scale Quantum), где шум сильно ограничивает производительность. Для преодоления этих ограничений разработчикам приходится работать на аппаратном уровне — использовать измерения в середине схемы, классическую обратную связь, точное управление временем и импульсные сигналы. Язык OpenQASM-3 специально создан для таких задач, предоставляя низкоуровневый интерфейс программирования.

Несмотря на быстрый прогресс больших языковых моделей (LLM) в генерации кода, до сих пор не существовало датасета, ориентированного именно на аппаратные возможности OpenQASM-3. Теперь группа исследователей представила QASM-Eval — первый такой набор данных. В него вошли 100 задач в экспертном тестовом наборе и 4000 задач для обучения, покрывающие классическую логику, планирование времени, управление импульсами и сложные рабочие процессы.

Валидация сгенерированных программ происходит автоматически через специальный расширенный верификатор, который проверяет синтаксис, квантовые состояния и временную диаграмму программы. Это позволяет объективно оценивать корректность кода, сгенерированного ИИ.

Эксперименты показали, что лучшие современные LLM (включая GPT-4 и другие) испытывают серьёзные затруднения при написании кода на OpenQASM-3. Однако после тонкой настройки на QASM-Eval их результаты значительно улучшились, что подтверждает практическую ценность нового датасета.

Авторы отмечают, что QASM-Eval не фокусируется на проектировании квантовых алгоритмов или квантовом мышлении — его задача обучить модели справляться с аппаратными особенностями, необходимыми для реальной работы на современных квантовых процессорах. Датасет и код доступны в открытом репозитории на GitHub.