Qt音视频开发31-Onvif抓拍图片

一、前言

抓拍是个很重要的功能，比如在报警视频联动中需要一张实时的图片，很多SDK不提供抓拍功能，而通过预览抓图，得到的图片已不具有实时性，那如何得到实时的图片呢？现在的IPC基本上都支持ONVIF协议，ONVIF协议除了提供RTSP的URL外，其实也给出了抓拍的URL，从Media的GetSnapshotUri获取。

以前不知道onvif也可以做抓拍功能，直到近期重新用Onvif Device Test Tool工具测试的时候，发现还有抓图的接口，于是抓跑分析出要收发的数据，然后加入到自己封装的onvif操作类中，这个抓图有个应用场景就是报警以后，直接通过onvif抓图，而不需要打开实时视频流，基本上不占用什么资源。

还有一种应用场景是作为图像智能检测服务，采集监控摄像机的在线运行状况，抓拍监控图像定时上传至云服务平台，人工或者智能分析图片，检测监控图像的情况，比如是否位置不正确，是否黑画面，光照度够不够等，发现问题后及时派遣维修人员上门维修，同时监控信息丢失后，也能立即通知维修人员去查看现场等，这就需要用到onvif抓图，如何检测设备是否在运行呢，方法比较多，其实可以用onvif协议读取日期时间，正常的话都会返回一个时间，当然也可以定时搜索一遍所有设备，然后与之前存储的设备比较，连续多少次少了哪一个就认为掉线。

抓拍图片流程：

1. 发送GetSnapshotUri获取到对应token的抓图路径。
2. 通过get方式请求这个路径，注意这里建议带上用户信息。
3. 返回的数据就是图片的数据，接收完成以后用QImage的loadFromData载入即可。

onvif主要的功能：

1. 搜索设备，获取设备的信息比如厂家、型号等。
2. 获取设备的多个配置文件信息profile。
3. 获取对应配置文件的视频流地址rtsp，以及分辨率等参数。
4. 云台控制，上下左右移动，焦距放大缩小，相对和绝对移动。
5. 获取预置位信息，触发预置位。
6. 订阅事件，接收设备的各种消息尤其是报警事件比如IO口的报警。
7. 抓图，获取设备当前的图片。
8. 获取、创建、删除用户信息。
9. 获取和设备网络配置信息比如IP地址等。
10. 获取和设置NTP时间同步以及设置设备时间。
11. 获取和设置视频参数和图片参数（亮度、色彩、饱和度）。
12. 重启设备。

onvif的处理流程：

1. 绑定组播IP（239.255.255.250）和端口（3702），发送固定的xml格式的数据搜索设备。
2. 接收到的xml格式的数据解析，得到设备的Onvif地址。
3. 对Onvif地址发送对应的数据，收到数据取出对应的节点数据。
4. 请求Onvif地址获取Media地址和Ptz地址，Media地址用来获取详细的配置文件，Ptz地址用来云台控制。
5. ptz控制是对Ptz地址发送对应的数据即可。
6. 设置了用户认证的需要组织用户token信息一块发送，每次都需要作鉴权处理。
7. 接收到的数据不是标准的xml数据，没法按照正常的节点解析来处理，只能用QXmlQuery来做。
8. 每个厂家设备返回的数据未必完全一致，基本上都不一致，需要进行模糊查找节点值。
9. 特意采用底层协议解析，因为soap太臃肿函数名称太另类，特意做的轻量级的。
10. 两个必备工具，Onvif Device Manager 和 Onvif Device Test Tool。

二、功能特点

1. 广播搜索设备，支持IPC和NVR，依次返回，可选择不同的网卡IP。
2. 依次获取Onvif地址、Media地址、Profile文件、Rtsp地址。
3. 可对指定的Profile获取视频流Rtsp地址，比如主码流子码流地址。
4. 可对每个设备设置Onvif用户信息，用于认证获取详细信息。
5. 可实时预览摄像机图像。
6. 支持云台控制，可上下左右调节云台，支持绝对移动和相对移动，可放到和缩小图像远近。
7. 支持Qt4和Qt5任意Qt版本，亲测Qt4.7.0到Qt5.14.2。
8. 支持任意编译器，亲测mingw、msvc、gcc、clang。
9. 支持任意操作系统，亲测xp、win7、win10、android、linux、嵌入式linux、树莓派全志H3等。
10. 支持任意Onvif摄像机和NVR，亲测海康、大华、宇视、华为、海思芯片内核等，可定制开发。
11. 支持对指定IP地址及onvif地址进行单播搜索，比如跨网段情况下非常有用。
12. 支持指定过滤条件过滤搜索设备。
13. 支持搜索间隔设置，保证所有设备搜索回来，在大量设备现场很有用。
14. 可对图片参数（亮度、色彩度、饱和度）进行设置。
15. 支持NTP校时和时间同步设置。
16. 纯Qt编写，超级小巧轻量，总共约2000行代码，不依赖任何第三方的库和组件，跨平台。
17. 封装好了通用的数据发送和接收解析的函数，可以非常方便的自行拓展其他Onvif处理。
18. 工具上提供了收发数据文本框，显示收发的数据，方便查看和分析。
19. 支持所有Onvif设备，代码工整，接口友好，直接引入pri即可使用。

三、效果图

四、相关站点

1. 国内站点：https://gitee.com/feiyangqingyun/QWidgetDemo
2. 国际站点：https://github.com/feiyangqingyun/QWidgetDemo
3. 个人主页：https://blog.csdn.net/feiyangqingyun
4. 知乎主页：https://www.zhihu.com/people/feiyangqingyun/
5. 体验地址：https://blog.csdn.net/feiyangqingyun/article/details/97565652

五、核心代码

#include "onvifsnap.h"
#include "onvifhelper.h"
#include "onvifrequest.h"
#include "onvifquery.h"

OnvifSnap::OnvifSnap(QObject *parent) : QObject(parent)
{
    device = 0;
}

void OnvifSnap::setDevice(OnvifDevice *device)
{
    this->device = device;
}

QString OnvifSnap::getSnapshotUri(const QString &profileToken)
{
    if (device->mediaUrl.isEmpty()) {
        return QString();
    }

    QString file = OnvifHelper::getFile(":/send/getSnapshotUri.xml");
    file = file.arg(device->request->getUserToken()).arg(profileToken);
    QByteArray dataSend = file.toUtf8();
    QNetworkReply *reply = device->request->post(device->mediaUrl, dataSend);
    emit sendData(dataSend, device->mediaUrl);

    QByteArray dataReceive;
    bool ok = device->checkData(reply, dataReceive, "请求截图");
    if (ok) {
        OnvifQuery query;
        query.setData(dataReceive);
        device->snapUrl = query.getSnapUrl();
        if (!device->snapUrl.isEmpty()) {
            //重新加上用户认证,取图片也需要认证的
            emit receiveInfo(QString("抓图地址-> %1").arg(device->snapUrl));
            QString userInfo = QString("http://%1:%2@").arg(device->userName).arg(device->userPwd);
            device->snapUrl = device->snapUrl.replace("http://", userInfo);
        }
    }

    return device->snapUrl;
}

QImage OnvifSnap::snapImage(const QString &profileToken)
{
    //这里还可以考虑过滤,比如已经存在了 snapUrl 则不需要去获取地址
    getSnapshotUri(profileToken);

    QImage image;
    if (!device->snapUrl.isEmpty()) {
        //请求图片数据回复 1080P 大概需要 600ms
        //默认采用的是同步阻塞获取,并不会卡主界面
        QNetworkReply *reply = device->request->get(device->snapUrl);
        QByteArray dataReceive;
        bool ok = device->checkData(reply, dataReceive, "收到截图", false);
        if (ok) {
            //下面这行代码非常耗时 1080P 图片大概需要 80ms 如果需要频繁的截图建议放入线程处理
            image.loadFromData(dataReceive);
        }
    }

    return image;
}