视频格式:
视频通常指涉各种动态影像的储存格式, 视频格式有MP4、Ts、FLv、AVI、Ogg、M3u8、3gP、MKV、WebM、RMVB等。
其实就两个概念:视频文件格式(容器格式),视频编解码器(视频编码格式)。当然,还有另外一种,叫做音频编解码器。视频一开始会由两个端采集,一个是视频输入口,是一个音频输入口。然后,采集的数据会 分别进行相关处理,简而言之就是,将视频/音频流,通过一定的手段转换为比特流。最终,将这里比特流以一定顺序放到一个盒子里进行存放,从而生成我们最终所看到的,比如,mp4/mp3/flv 等等音视频格式。
1.1视频文件格式
视频文件格式实际上,我们常常称作为容器格式,也就是,我们一般生活中最经常谈到的格式,flv,mp4,ogg 格式等。**它就可以理解为将比特流按照一定顺序放进特定的盒子里。
1.2视频编码方式
将物理流转换为比特流,并且进行压缩。同样,它的压缩编码格式会决定它的视频文件格式。
编码方式有:mpeg-1, mpeg-2, mpeg-4, mpeg-7,h264,h265。
视频的分辨率和文件扩展名没关系,只和编码格式有关系,答案是不一定
视频协议:
rtsp/rtr/rtcp协议族
本协议族是最早的视频传输协议,其中的RTSP协议用于视频点播的回话控制。而RTP协议用于具体的视频数据流的传输,RTCP协议用于视频数据方式和丢包或者码率之类的。RTSP是建立在TCP上,RTP、RTCP建立在UDP之上, 建立长连接。
http协议
hls hds mss dash协议
硬解码和软解码:使用GPU硬解码,CPU软解码
哪些封装格式可以承载直播:ts,flv,m3u8(假直播)
视频播放过程:播放器识别文件格式--解码器解码–播放
HLS点播与直播的区别:HLS直播为伪直播,是播放的一个一个的小的点播切片。本质和点播是一样。只是直播会一直更新M3U8文件。
视频编解码音频部分: AAC 与AC3
因为“AAC”是一个大家族,他们是共分为9种规格,以适应不同场合的需要:
a) MPEG-2 AAC LC 低复杂度规格 (Low Complexity)
b) MPEG-2 AAC Main 主规格
c) MPEG-2 AAC SSR 可变取样率规格 (Scaleable Sample Rate)
d) MPEG-4 AAC LC 低复杂度规格(Low Complexity),现在的手机比较常见的MP4文件中的音频部份就包括了该规格音频文件
e) MPEG-4 AAC Main 主规格
f) MPEG-4 AAC SSR 可变取样率规格 (Scaleable Sample Rate)
g) MPEG-4 AAC LTP 长时期预测规格(Long Term Predicition)
h) MPEG-4 AAC LD 低延迟规格(Low Delay)
i) MPEG-4 AAC HE 高效率规格(High Efficiency)