音视频开发

一、音视频基本概念

　　1.音频编码格式的格式

　　　1.1.WAV编码

　　　　 实现：在PCM数据格式前面添加44个字节

　　　　 特点：音质非常好，大量软件都支持

　　　　 适用场景：多媒体开发的中间文件、保存音乐和音效的素材

　　　1.2.MP3编码: 主要应用于高码率，听感很接近WAV格式

　　　　　特点：在128Kbit/s以上表现很好，压缩比比较高，大量软件和硬件都支持，兼容性好

　　　1.3.AAC编码: 主要应用于低码率

　　　　　特点：在128Kbit/s以下表现很好，多用于视频中的音频编码

　　　　　适用场景：在128Kbit/s以下的音频编码，多用于视频中的音频编码

　　　1.4.Ogg编码

　　　　　特点：比MP3编码率有更好的音质，兼容性不好，流媒体特性不支持

　　　　　适用场景：语音聊天的音频消息场景

　　2.图像数值表示

　　　2.1. RGB表达方式

　　　　　R: Read

　　　　　G: Green

　　　　　B: Blue

　　　　　

　　　　  

　　　　 

　　　 2.2.YUV的表达式

　　　　　Y: 明亮度

　　　　　UV:代表色度

             

　　　　　SP:代表正常格式，P:是一种Plane模式，即平面模式

　　　　　

　　　　2.3.视频编码

　　　　　　主流采用H264、wmv , 他们都是属于MPEG4下

　　　　2.4.编码概念

　　　　     2.4.1 IPB帧

　　　　　　I : 视频的关键帧

　　　　　　P ：参考前一个帧

　　　　　　B ：参看前一个和后一个帧

　　　　　　I帧去掉的是视频帧在空间纬度上冗余的信息，P、B帧是去掉视频帧在时间纬度上冗余的信息

　　　　2.5.PTS和DTS的介绍

　　　　　　PTS:用于解码阶段音视频同步

　　　　　　DTS:用于视频解码

　　　　2.6.GOP的概念：两个I帧之间形成一个图片，就是GOP

二、Android音视频渲染

　　1.音频的渲染

　　　a.MediaPlayer