需求
问题:有没有flash播放RTSP的播放器?H5能不能支持RTSP播放?
答案:没见过,以后估计也不会有;
问题:可以自己做浏览器插件播放RTSP吗?
答案:可以的,chrome做ppapi插件,IE用ocx插件;
但是,兼容性太差了,开发成本过高。在PC web兼容性上面,目前最好的方案是flash或者H5,但是H5在IE比较低版本上面会存在不支持的问题,还是需要前端兼容切换成flash模式;在手机 web/微信兼容上面,毫无疑问,H5是唯一选择;
方案
那么问题来了,如何能够实现需求中的两点:
- PC上输出兼容性较强的flash需要的rtmp或者hls流或者http-flv流;
- 手机上输出H5标准的HLS(m3u8+ts)流;
其实目前市面上大部分的CDN方案已经提示了我们如何解决上述的问题了,那就是采用rtmp推流到rtmp流媒体服务器,同步输出:rtmp/hls/http-flv多种码流,再通过前端的兼容适配,就能完美地达到想要的方案,总结来说,需要通过几个步骤:
- RTSP拉流;
- 音视频转码(H.264 + AAC);
- RTMP推流;
- RTMP流媒体服务器;
- 前端兼容取流播放;
实现方法
1. RTSP拉流
目前市面上能非常兼容地拉取各个厂家的RTSP流的方案总结来说有两种:
- live555
- ffmpeg
两种都能比较不错地请求获取到各个厂家的摄像机码流,但从可操作的灵活角度上来说,live555更胜一筹,比如:我们遇到雄迈的某款摄像机需要在RTSP拉流的过程中,向摄像机定期发送OPTIONS保活报文,而我们遇到的某款海康的NVR在RTP over tcp取流的过程中,一旦发送RTSP的任何报文,就会出现服务器端主动reset,种种此类,如果基于ffmpeg的拉流确实是可以兼容大部分的摄像机IPC、NVR,但是遇到特殊种类的就比较难进行改造和兼容了;
没有绝对,根据需求,也许您就只需要接入某两款特定类型的摄像机呢,怎么适合现场需求怎么来;
2. 音视频转码(H.264 + AAC)
由于目前RTMP、HLS的协议标准,包括前端的支持上,还停留在H.264+AAC的组合上,所以,我们需要将各种视频格式:H.265、MJPEG、MPEG4,各种音频格式:G.711A/U、G.726,都统一转码成H.264和AAC,说到转码,那肯定是ffmpeg first;
目前市面上的大部分摄像机都是默认或者设定为输出H.264视频流,但音频流转码就肯定是需要兼容的,目前来说安防标准中大部分的音频格式都还是G.711和G.726居多,那就可以用faac、EasyAACEncoder(Based on faac)进行音频转码了!
3. RTMP推流
RTMP推流毋庸置疑,目前最流行的还是librtmp了,当然直接用ffmpeg也直接集成了rtmp推流的功能,而且在时间戳调优方面,帮助我们省了很多事情;
关于时间戳调优上,我们在开发EasyRTMP上花费了很多时间,由于各个IPC厂家出来的时间戳不一定是非常标准的(这里就要赞一下海康,批评一下雄迈了,请问雄迈的开发,你们搞出来的时间戳都是什么玩意儿?),所以就需要RTMP推流端对时间戳进行一次均匀化,不然就会出现HLS经常会快放、慢放、卡顿缓冲加载的现象,这一点上EasyRTMP参考的ffmpeg的-re命令的方案,对时间戳进行了优化,保证均匀播放;
4. RTMP流媒体服务器
这里说到的RTMP服务器有几个输出条件:
- rtmp
- hls
- http-flv(可选)
这种类型的开源流媒体服务器目前可以推荐的有国产的srs、著名的nginx-rtmp、当然还有我们开发的商业化的EasyDSS(EasyDSS是EasyDarwin团队开发的一款商用流媒体服务器,详情见:www.easydss.com),除了nginx-rtmp不能输出http-flv功能(当然也不会影响整体需求的实现),都能非常好地满足用户的需求;
5. 前端兼容取流播放
前端兼容当然就是一套非常闪亮而且先进的前端框架,能响应式地接受各种不同平台终端的请求,为PC web、手机 web、微信分配从rtmp流媒体服务器获取rtmp、hls、http-flv等直播流;