[时间:2016-07] [状态:Open]
AVI(Audio Video Interleaved的缩写)是一种RIFF(Resource Interchange File Format的缩写)文件格式,多用于音视频捕捉、编辑、回放等应用程序中。通常情况下,一个AVI文件可以包含多个不同类型的媒体流(典型的情况下有一个音频流和一个视频流),不过含有单一音频流或单一视频流的AVI文件也是合法的。AVI可以算是Windows操作系统上最基本的、也是最常用的一种媒体文件格式。
之前整理的关于RIFF格式简介,建议阅读本文前先了解下。
0. 学习多媒体容器格式的目的
主要是为了回答以下问题:
- 该容器中数据是如何组织的?
- 该容器包含哪些编码格式的数据?这些数据是如何存储的?
- 该容器包含哪些元数据信息?包含哪些节目信息?
- 对于支持多节目的容器格式,如何找到对应的音频流、视频流、字幕流?
- 如何确定该容器的节目播放时长?
- 如何从该容器中提取音频、视频、字幕数据,并交给解码器解码,有时间戳否?
- 该容器是否支持seek?有哪些辅助信息?
- 是否支持直接流化?
- 哪里可以找到该容器格式最标准的文档资料?
- 有哪些可用的工具,方便分析容器格式异常或者错误?
1. AVI整体结构
整个AVI文件是一个类型码为为"AVI "的RIFF块,其主要有三个subchunk构成:信息块("hdrl" LIST块,用于描述AVI的流数据格式)、数据块("movi" LIST块,用于保存音视频序列数据)、索引块(可选的,"idxl"子块)。
AVI文件的展开结构大致如下:
RIFF (‘AVI ’
LIST (‘hdrl’
‘avih’(主AVI信息头数据)
LIST (‘strl’
‘strh’ (流的头信息数据)
‘strf’ (流的格式信息数据)
[‘strd’ (可选的额外的头信息数据) ]
[‘strn’ (可选的流的名字) ]
...
)
...
)
LIST (‘movi’
{ SubChunk | LIST (‘rec ’
SubChunk1
SubChunk2
...
)
...
}
...
)
[‘idx1’ (可选的AVI索引块数据) ]
)
AVI信息块("hdrl" LIST块)
通常AVI信息块包含一个"avih"子块,其包括MainAVIHeader和至少一个"strl" chunk(描述的strem info)。
MainAVIHeader的定义如下:
typedef struct {
DWORD dwMicroSecPerFrame;
DWORD dwMaxBytesPerSec;
DWORD dwReserved1;
DWORD dwFlags;
DWORD dwTotalFrames;
DWORD dwInitialFrames;
DWORD dwStreams;
DWORD dwSuggestedBufferSize;
DWORD dwWidth;
DWORD dwHeight;
DWORD dwReserved[4];
} MainAVIHeader;
这里面的dwStreams给出了AVI文件中的流数目,dwFlags说明了AVI解析的特殊标志,比如是否有索引块,是否是交织的音视频数据,
"strl" chunk中包含至少包含一个'strh'块和一个'strf'块,而'strd'块(保存编解码器需要的一些配置信息)和'strn'块(保存流的名字)是可选的。
- 'strh'块,用于说明这个流的头信息,可以使用一个AVISTREAMHEADER数据结构来描述:
typedef struct _avistreamheader {
FOURCC fcc; // 必须为‘strh’
DWORD cb; // 本数据结构的大小,不包括最初的8个字节(fcc和cb两个域)
FOURCC fccType; // 流的类型:'auds'(音频流)、'vids'(视频流)、
// 'mids'(MIDI流)、'txts'(文字流)
FOURCC fccHandler; // 指定流的处理者,对于音视频来说就是解码器
DWORD dwFlags; // 标记:是否允许这个流输出?调色板是否变化?
WORD wPriority; // 流的优先级(当有多个相同类型的流时优先级最高的为默认流)
WORD wLanguage;
DWORD dwInitialFrames; // 为交互格式指定初始帧数
DWORD dwScale; // 这个流使用的时间尺度
DWORD dwRate;
DWORD dwStart; // 流的开始时间
DWORD dwLength; // 流的长度(单位与dwScale和dwRate的定义有关)
DWORD dwSuggestedBufferSize; // 读取这个流数据建议使用的缓存大小
DWORD dwQuality; // 流数据的质量指标(0 ~ 10,000)
DWORD dwSampleSize; // Sample的大小
struct {
short int left;
short int top;
short int right;
short int bottom;
} rcFrame; // 指定这个流(视频流或文字流)在视频主窗口中的显示位置
// 视频主窗口由AVIMAINHEADER结构中的dwWidth和dwHeight决定
} AVISTREAMHEADER;
- ‘strf’块,用于说明流的具体格式。如果是视频流,则使用一个BITMAPINFO数据结构来描述;如果是音频流,则使用一个WAVEFORMATEX数据结构来描述。
当AVI文件中的所有流都使用一个‘strl’子列表说明了以后(注意:‘strl’子列表出现的顺序与媒体流的编号是对应的,比如第一个‘strl’子列表说明的是第一个流(Stream 0),第二个‘strl’子列表说明的是第二个流(Stream 1),以此类推),‘hdrl’列表的任务也就完成了,随后跟着的就是AVI文件必需的第二个列表——‘movi’列表,用于保存真正的媒体流数据(视频图像帧数据或音频采样数据等)。
数据块("movi" LIST块)
那么,怎么来组织这些数据呢?可以将数据块直接嵌在'movi'列表里面,也可以将几个数据块分组成一个'rec '列表后再编排进‘movi’列表。(注意:在读取AVI文件内容时,建议将一个'rec '列表中的所有数据块一次性读出。)
但是,当AVI文件中包含有多个流的时候,数据块与数据块之间如何来区别呢?于是数据块使用了一个四字符码来表示其类型,这个四字符码由2个字节的类型码和2个字节的流编号组成。标准的类型码定义如下:'db'(非压缩视频帧)、'dc'(压缩视频帧)、'pc'(改用新的调色板)、'wb'(音缩视频)。比如第一个流(Stream 0)是音频,则表征音频数据块的四字符码为'00wb';第二个流(Stream 1)是视频,则表征视频数据块的四字符码为'00db'或'00dc'。对于视频数据来说,在AVI数据序列中间还可以定义一个新的调色板,每个改变的调色板数据块用'xxpc'来表征,新的调色板使用一个数据结构AVIPALCHANGE来定义。(注意:如果一个流的调色办中途可能改变,则应在这个流格式的描述中,也就是AVISTREAMHEADER结构的dwFlags中包含一个AVISF_VIDEO_PALCHANGES标记。)另外,文字流数据块可以使用随意的类型码表征。
索引块("idxl"子块)
紧跟在'hdrl'列表和'movi'列表之后的,就是AVI文件可选的索引块。这个索引块为AVI文件中每一个媒体数据块进行索引,并且记录它们在文件中的偏移(可能相对于'movi'列表,也可能相对于AVI文件开头)。索引块使用一个四字符码'idx1'来表示,索引信息使用一个数据结构来AVIOLDINDEX定义。
typedef struct _avioldindex {
FOURCC fcc; // 必须为‘idx1’
DWORD cb; // 本数据结构的大小,不包括最初的8个字节(fcc和cb两个域)
struct _avioldindex_entry {
DWORD dwChunkId; // 表征本数据块的四字符码
DWORD dwFlags; // 说明本数据块是不是关键帧、是不是‘rec ’列表等信息
DWORD dwOffset; // 本数据块在文件中的偏移量
DWORD dwSize; // 本数据块的大小
} aIndex[]; // 这是一个数组!为每个媒体数据块都定义一个索引信息
} AVIOLDINDEX;
注意:如果一个AVI文件包含有索引块,则应在主AVI信息头的描述中,也就是AVIMAINHEADER结构的dwFlags中包含一个AVIF_HASINDEX标记。
2. AVI文件如何播放?
读完上一节中的描述,貌似没有看到时间戳信息在哪里,音视频改如何播放呢?那只能通过实际读取的帧数和AVISTREAMHEADER中的帧率信息计算出来。同样,由于索引块中明显没有时间-位置映射,如果要实现seek,只能通过附加的手段实现了。
至于如何计算节目时长,没有相应字段,那就通过帧率和总帧数计算。
其他扩展部分建议阅读下:OpenDML specification, v. 1.02