YOLOv5最新6.1在OpenCV DNN、OpenVINO、ONNXRUNTIME上推理对比

https://mp.weixin.qq.com/s/uRsYixCpIwY_7bKAIvnZOg

微信公众号：OpenCV学堂

关注获取更多计算机视觉与深度学习知识

引言

我把YOLOv5最新版本的模型分别用OpenCV DNN（Python、C++）部署、OpenVINO（Python、C++）部署、ONNXRUNTIME-GPU（Python、C++）部署，然后还测试了CPU/GPU不同平台上的运行速度比较。

软件版本与硬件规格

测试用的硬件与软件信息：

GPU 1050TiCPU i7八代OS：Win10 64位OpenVINO2021.4ONNXRUNTIME：1.4OpenCV4.5.4Python3.6.5YOLOv5 6.1

使用的YOLOv5模型中的yolov5s.pt模型，转换为ONNX模型之后输入格式为：

NCHW = 1x3x640x640

最终输出层名称:output，格式：

NHW = 1x25200x85

YOLOv5推理速度比较

基于同一段视频文件，Python/C++代码测试结果比较如下：

说明：OpenCV DNN与OpenVINO是基于CPU测试的，ONNXRUNTIME是基于GPU版本测试的，ONNXRUNTIME的CPU版本我没有测试过。
贴几张运行时候的截图：

代码实现与说明

ONNX代码实现部分主要是参考了YOLOv5官方给出几个链接：

https://github.com/microsoft/onnxruntime/issues/10323https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.htmlhttps://github.com/microsoft/onnxruntime-inference-examples/blob/main/c_cxx/imagenet/main.cc

有一个特别坑的地方需要特别的注意：

ONNX C++的环境必须是全局变量，声明如下：

Ort::Env env = Ort::Env(ORT_LOGGING_LEVEL_ERROR, "YOLOv5");

只有所有的推理图象执行完成才可以调用release进行释放，否则就会一直卡死，程序崩溃！ONNX其它的部分的代码实现基本实现了跟DNN/OpenVINO推理后处理代码的完全复用！相关代码建议参考之前的两篇推文：

OpenCV4.5.x DNN + YOLOv5 C++推理

OpenCV4.5.4 直接支持YOLOv5 6.1版本模型推理

特别说明：怎么没有TensorRT/？主要是因为我电脑安装了CUDA10.1版本+TensorRT7.0的不兼容，我又不想再折腾重新安装CUDA10.0，所以暂无！等我新笔记本到货立刻补上这一缺失！