OpenCV 5.0 вышел: переписанный движок DNN, поддержка LLM и 80%+ ONNX

OpenCV 5.0 вышел: переписанный движок DNN, поддержка LLM и 80%+ ONNX

В начале июня состоялся релиз OpenCV 5.0 — популярной библиотеки компьютерного зрения с открытым исходным кодом. Новая версия получила ряд значительных обновлений, направленных на повышение производительности и совместимости с современными моделями машинного обучения.

Ключевое изменение — переписанный движок глубоких нейронных сетей (DNN). Разработчики заявили, что это решение устраняет одну из главных проблем предыдущих версий. Теперь покрытие формата ONNX превышает 80%, что позволяет запускать больше моделей без конвертации. Кроме того, добавлена поддержка динамических форм, слияние слоёв и встроенная поддержка больших языковых моделей (LLM) и визуально-языковых моделей (VLM).

Ядро библиотеки стало быстрее и современнее. Улучшен API, который решает многолетние проблемы совместимости. Появился новый уровень аппаратной абстракции (HAL), обеспечивающий прозрачное аппаратное ускорение на различных платформах.

Значительно расширен инструментарий для 3D-зрения. Оптимизация проведена для SSE/AVX, Arm KleidiCV, Qualcomm FastCV и RISC-V Vector RVV. В планах разработчиков — добавление нативной поддержки GPU в движке DNN.

В сравнении с Microsoft ONNX Runtime новая версия OpenCV демонстрирует высокие результаты производительности. Также исправлены ранее обнаруженные ошибки. Релиз доступен для загрузки на официальном сайте проекта.