随着互联网深入,视频互通互联的需求越来越多,近些年国家要进一步发展5G网络,手机等设备硬件也越来越好,对视频互通性,及时性,便捷性提出了新的需求。 互联网视频有各自的协议和架构,互通都很麻烦,由google发起开源webrtc越来越来越成为视频应用的基础协议和标准,但老产品应用还大量存在,都需要融合接入,客户有这块需求,这方面作者做了一方面的研究和开发,整理记录一下.
选型确认:目前主流的rtmp,flash,hls,可以在web实现,但延时大,互动效果差, Webrtc的web接入成了首先,但由于IOS这块进展慢,各种限制,在实施中要处理几个难点,android-vp8<>ios-h264<>pc-vp8互通,这里难点是编码转换,目前ios的webrtc是h264编码,其它是vp8,融合平台要实现全通和自动转换编码。
2,rtsp,rtmp,sip,webrtc,转协议,网络监控头,usb摄像头,H5视频端接入
a、视频设备的种类多,各种老设备,老协议也需要兼容接入。
b、各种编码的格式,延时度,统一格式,响应转发。
c、早期企业的视频会议,直播设备,这里针对性兼容sip,rtsp,rtmp。
选型确认:做为互动协议肯定只能以webrtc为主,编码以h264,vp8两种,支持rtmp(可以兼容各大直播平台),sip分发,。难点是协议处理转换,大工程。
3,SFU,MCU,MESH选型:
a、这理要处理协议和端,不能用mesh和sfu.唯一方案mcu.
b、上面方案各有优势,可以参考我原来的帖子,先MCU可以省很多流量,但对cpu性能要求更高。
选型确认:mcu做为唯一方案还是有自我优势,在协议视频融合,省流量。都是不错的选择。难点是视频融合处理,和部局动态调整。不过让我们的技术人员去搞定,我只管用就好。
c、教学过程中兼容电子白板,文字,消息,视频录制,视频点播。
技术架构:
客户PC,IOS,Android全平台实施后效果良好,
演示地址:https://w.ovmeet.com:9301/login.html
演示效果: