视频分析的需求
人工智能的发展和在行业中的作用就不用多说了,已经到了势在必行的一个程度了,尤其是对于流媒体音视频行业来说,这基本上是人工智能重中之重的领域,视频人工智能,也就是视频视觉分析的应用方式大体上可以分为两种:
- 中心计算:所有视频图像数据都以图片或者视频编码流的形式传输到中心服务,再由中心服务进行视频数据的分析,这种模式比较考验中心服务的网络能力和中心硬件的算力;
- 边缘计算:将大部分的计算工作都在边缘设备中完成,比如人脸、车牌、物体、行为等的分析和比对,这种做法相比于中心计算的优势是不不但降低了对带宽占用的要求,而且分析的实时性更高,但边缘计算设型的智能设备的生产和制造门槛会相对较高;
本次我们重点介绍的就是边缘计算型的视频智能分析,边缘计算型云终端根据设备算力和设备芯片架构在研发成本上会有很大差异,如果选择成本比较高、算力比较强的芯片,例如TX2这种的,对边缘计算算法的要求可能就要求没那么高,但是如果选择采用海思常规芯片,不但在训练模型上会被限制,而且在算力上有较大局限,这样对算法的要求会非常非常高。
EasyNVR为什么要加入AI功能
毕竟术业有专攻,EasyDarwin/EasyNVR团队在视频传输(拉流、分发、推流)领域的积淀非常雄厚,因此,我们收到了很多专注于视频分析公司关于视频分析接入的需求,经过多次的需求沟通和实践论证,终于,我们成功在EasyNVR智能云终端中加入了AI视频分析的功能,但是,这里说的我们加入,实际上是我们为更多的AI人工智能公司打开了一个口子,让做智能分析的公司专注做分析的事情,不用关注流转的问题,我们会将整个视频监控设备从内网,到公网,到客户端的传输流程都整合的非常稳定、可靠。
EasyNVR怎么接入AI智能分析算法
1、EasyNVR需要对每一路接入的通道视频进行AI+的智能分析,在不破坏原有EasyNVR由Source(拉流)到Sink(推流)的过程,我们需要在中间加入Filter(视频处理)的过程,即EasyNVR内部的 Source->Filter->Sink,而这个Filter过程是可选的,配置了这个过程就调用,不配置就不调用,配置了,但是没有Load到就不调用,Load到了就调用;
2、需要在每一个通道中配置Filter的名称以及自定义的参数,通过Filter的名称作为Function进行执行,Function会传入(avFrame,userData,userPtr,callback),再由Callback输出(userPtr,userData,avFrame),这样就形成了整个的AI+用户自定义流程;
3、用户回调出来的avFrame是进行下一步推流或者存储的原材料,userData是用户自定义的数据格式,EasyNVR可以通过接口或者SEI数据等形式,回传到流媒体服务器;
我们为AI视频分析的厂家提供了一套完整的视频分析接入的示例:https://github.com/EasyNVR/EasyAIFilter
关于EasyNVR
EasyNVR能够通过简单的网络摄像机通道配置,将传统监控行业里面的高清网络摄像机IP Camera、NVR等具有RTSP协议输出的设备接入到EasyNVR,EasyNVR能够将这些视频源的音视频数据进行拉取,转换为RTMP/HLS,进行全平台终端H5直播(Web、Android、iOS),并且EasyNVR能够将视频源的直播数据对接到第三方CDN网络,实现互联网级别的直播分发;
点击链接加入群【EasyNVR解决方案】:383501345
获取更多信息
EasyDarwin开源流媒体服务器:www.EasyDarwin.org
EasyDSS商用流媒体解决方案:www.EasyDSS.com
EasyNVR无插件直播方案:www.EasyNVR.com
Copyright © EasyDarwin Team 2012-2018