IBM Spyre и LinuxONE: новая архитектура RAG для безопасного ИИ-инференса в корпоративных системах
В новой работе на arXiv описана архитектура retrieval-augmented generation (RAG), которая целиком разворачивается на IBM LinuxONE с использованием PCIe-ускорителя Spyre. Предложенное решение решает классическую проблему корпоративного ИИ: данные и вычислительные мощности часто разделены, а перенос чувствительной информации между системами создает задержки и риски для безопасности.
Авторы предлагают шесть подсистем, охватывающих весь конвейер: от приема запроса до выдачи ответа. Генеративный инференс выполняет ускоритель Spyre, легкие задачи классификации берет на себя встроенный ускоритель Telum II, а оркестрацию контейнеров обеспечивает Red Hat OpenShift. Ключевая особенность — все компоненты работают в пределах одной системы LinuxONE.
Благодаря этому чувствительные данные не покидают аппаратный периметр. Технология Secure Execution от LinuxONE расширяет принципы confidential computing на ИИ-нагрузки, что критически важно для регулируемых отраслей — финансов, здравоохранения и государственного сектора.
Производительность также заявлена как значимая: ранний анализ показывает сквозную задержку RAG менее двух секунд и до 20-кратного сокращения времени по сравнению с инференсом вне платформы. При этом сохраняются сильные механизмы шифрования и аудита, необходимые для соответствия строгим отраслевым требованиям.
Авторы детально разбирают конструктивные решения каждой подсистемы, а также стек компиляции и обслуживания Spyre. Отдельно рассматривается сравнение с облачными GPU-решениями и локальными альтернативами.
Практическая значимость работы в том, что она предлагает способ развертывания генеративных моделей без компромиссов между безопасностью и скоростью. Для предприятий, которые не могут передавать данные во внешние облака, такая архитектура может стать альтернативой существующим подходам.
