mp4v2 和mp4的一些基础知识
由于项目需要做mp4文件的合成(264+aac)和mp4文件的解析;
MP4文件本身就是一个容器,对于视频来说就是把不同的内容放按照mp4的规则存放而已;
如果完全自己写代码实现,可能需要完全理解mp4的规则;才能做好mp4文件的解析;
测试过程中,考虑到简单易用性同时对生成mp4文件的兼容性考虑,采用开源项目mp4v2作为mp4文件的muxer和demuxer工具;
1.mp4v2 源代码下载.
http://www.codeforge.cn/article/259182
最新版本是mp4v2-2.0.0
2.mp4v2 Linux编译
./configure –prefix=/home/installtest/ –disable-debug –disable-shared make make install
3.mp4v2一些基本sample的使用
其实在sample下面这些基本的命令代码基本以及包含常用mp4v2的api使用方法.
-rwxr-xr-x 1 ll ll 405K Nov 4 15:49 mp4art
-rwxr-xr-x 1 ll ll 598K Nov 4 15:49 mp4chaps
-rwxr-xr-x 1 ll ll 162K Nov 4 15:49 mp4extract
-rwxr-xr-x 1 ll ll 241K Nov 4 15:49 mp4file
-rwxr-xr-x 1 ll ll 511K Nov 4 15:49 mp4info
-rwxr-xr-x 1 ll ll 164K Nov 4 15:49 mp4subtitle
-rwxr-xr-x 1 ll ll 279K Nov 4 15:49 mp4tags
-rwxr-xr-x 1 ll ll 860K Nov 4 15:49 mp4track
-rwxr-xr-x 1 ll ll 98K Nov 4 15:49 mp4trackdump
4.mp4文件一些基础知识
./mp4info 20161024091151_180.MP4 ./mp4info version 2.0.0 20161024091151_180.MP4 : Track Type Info 1 audio MPEG-4 AAC LC, 180.096 secs, 16 kbps, 8000 Hz 2 video H264 Baseline@4.2, 180.000 secs, 8381 kbps, 1920x1080 @ 30.000000 fps ./mp4track 20161024091151_180.MP4 --list track[0] id=1 type = audio enabled = true inMovie = false inPreview = false layer = 0 alternateGroup = 0 volume = 1.0000 width = 0.00000000 height = 0.00000000 language = Undetermined handlerName = userDataName = <absent> track[1] id=2 type = video enabled = true inMovie = false inPreview = false layer = 0 alternateGroup = 0 volume = 0.0000 width = 1920.00000000 height = 1080.00000000 language = Undetermined handlerName = userDataName = <absent>
解析mp4的一些基本内容;比如长宽 和trackid 音视频的编码算法等等基本知识;
比如解析track 2 是一个视频通道,这个id从面mp4track 内容里面获取的.
./mp4trackdump 20161024091151_180.MP4 -t 2 ./mp4trackdump version 2.0.0 mp4file 20161024091151_180.MP4, track 2, samples 5400, timescale 90000 sampleId 1, size 203970 duration 3000 time 0 00:00:00.000 S sampleId 2, size 47935 duration 3000 time 3000 00:00:00.033 sampleId 3, size 62824 duration 3000 time 6000 00:00:00.066 sampleId 4, size 70342 duration 3000 time 9000 00:00:00.100 sampleId 5, size 20730 duration 3000 time 12000 00:00:00.133 sampleId 6, size 13241 duration 3000 time 15000 00:00:00.166 sampleId 7, size 6947 duration 3000 time 18000 00:00:00.200
这儿有一些关键信息:
sampleId 就是mp4 里面frame的索引;每个sampleId 对应一帧264的视频
size 就是frame的大小
duration 这个是给播放器使用的,播放器需要显示这一帧的时间就是 3000 / 90000 (timescale) 秒;这个视频是30帧的,就是1/30秒;后面的rtsp发流的时间撮也是根据这个时间来处理的;
后面的时间就是转化为秒为单位的时间;
比如解析track 1 音频通道
./mp4trackdump 20161024091151_180.MP4 -t 1 ./mp4trackdump version 2.0.0 mp4file 20161024091151_180.MP4, track 1, samples 1403, timescale 8000 sampleId 1, size 249 duration 1024 time 0 00:00:00.000 S sampleId 2, size 286 duration 1024 time 1024 00:00:00.128 S sampleId 3, size 326 duration 1024 time 2048 00:00:00.256 S sampleId 4, size 320 duration 1024 time 3072 00:00:00.384 S sampleId 5, size 317 duration 1024 time 4096 00:00:00.512 S sampleId 6, size 316 duration 1024 time 5120 00:00:00.640 S sampleId 7, size 306 duration 1024 time 6144 00:00:00.768 S sampleId 8, size 301 duration 1024 time 7168 00:00:00.896 S sampleId 9, size 281 duration 1024 time 8192 00:00:01.024 S sampleId 10, size 288 duration 1024 time 9216 00:00:01.152 S
sampleId 就是mp4 里面aac frame的索引;每个sampleId 对应一阵aac的视频
size 就是frame的大小
duration 音频和视频一样,1024 就是在1024/8000 S时间内音频采样数据通过aac压缩算后得到的,其它音频算法压缩算法也基本一样;
后面的时间就是转化为秒为单位的时间;
mp4v2的api就是隐藏了复杂的mp4结构解析流程,返回给用户直接是一帧帧数据的方式;
你只需要通过对应的接口~以帧的方式读取处理即可;
简单高效,基本和其它的文件操作没啥区别;