HPC-LLM: 8B-модель для HPC догоняет 14B-конкурентов при меньших ресурсах

Современные научные исследования всё больше опираются на инфраструктуры высокопроизводительных вычислений (HPC), однако многие учёные сталкиваются с операционными трудностями при работе с кластерами, планировщиками задач, GPU и параллельными фреймворками. Универсальные языковые модели предоставляют помощь в кодировании, но часто не обладают специфическими знаниями для надёжной поддержки HPC.

Для решения этой проблемы группа исследователей разработала HPC-LLM — ассистент с улучшенным поиском (RAG) и доменной адаптацией, предназначенный для типовых HPC-задач: планирование Slurm, выполнение MPI, использование GPU, управление файловыми системами и диагностика кластеров. Система объединяет автоматическую загрузку документации, плотный поиск, лёгкую адаптацию с помощью QLoRA и локальный инференс в модульном конвейере.

Для обучения модели был собран HPC-ориентированный корпус из открытой документации университетов, примеров эксплуатации и синтетических инструкций, сгенерированных на основе HPC-контента. Итоговый набор содержит от 9 000 до 24 000 примеров по планированию заданий, GPU-вычислениям, распределённому обучению, системам хранения и администрированию кластеров.

Исследователи дообучили модель Llama 3.1 8B с помощью QLoRA и протестировали её в условиях дополненного поиска на инфраструктуре JetStream2. Результаты показали, что адаптированная 8B-модель достигает производительности, сопоставимой с существенно более крупными универсальными моделями, при заметно меньших требованиях к памяти GPU и задержке инференса.

В частности, адаптированная модель приблизилась по качеству к Qwen 2.5 14B, используя при этом значительно меньше вычислительных ресурсов. Это открывает возможности для развёртывания эффективных HPC-ассистентов даже на оборудовании с ограниченными ресурсами.

Разработка HPC-LLM демонстрирует, что целенаправленная доменная адаптация и RAG-подход позволяют сравнительно небольшим языковым моделям достигать высоких результатов в специализированных областях, таких как высокопроизводительные вычисления. Это может существенно упростить работу учёных и инженеров с HPC-системами.