[时间：2016-07] [状态：Open]
TS流是MPEG-2标准中定义一种用于直播的码流结构，具有很好的容错能力。所有跟TS相关的标准可以从ISO/IEC_13818-1中找到。
通常TS流的后缀是.ts、.mpg或者.mpeg，多数播放器直接支持这种格式的播放。
0. 学习多媒体容器格式的目的
主要是为了回答以下问题：
- 该容器中数据是如何组织的？
- 该容器包含哪些编码格式的数据？这些数据是如何存储的？
- 该容器包含哪些元数据信息？包含哪些节目信息？
- 对于支持多节目的容器格式，如何找到对应的音频流、视频流、字幕流？
- 如何确定该容器的节目播放时长？
- 如何从该容器中提取音频、视频、字幕数据，并交给解码器解码，有时间戳否？
- 该容器是否支持seek？有哪些辅助信息？
- 是否支持直接流化？
- 哪里可以找到该容器格式最标准的文档资料？
- 有哪些可用的工具，方便分析容器格式异常或者错误？
1. TS流生成和解析的过程
TS流的形成过程：
1、 将原始音视频数据压缩之后，压缩结果组成一个基本码流（ES）。
2、 对ES（基本码流）进行打包形成PES。
3、 在PES包中加入时间戳信息(PTS/DTS)。
4、 将PES包内容分配到一系列固定长度的传输包（TS Packet）中。
5、 在传输包中加入定时信息(PCR)。
6、 在传输包中加入节目专用信息(PSI) 。
7、 连续输出传输包形成具有恒定比特率的MPEG-TS流。
TS流的解析过程，可以说是生成的逆过程：
- 从复用的MPEG-TS流中解析出TS包；
- 从TS包中获取PAT及对应的PMT（PSI中的表格）；
- 从而获取特定节目的音视频PID；
- 通过PID筛选出特定音视频相关的TS包，并解析出PES；
- 从PES中读取到PTS/DTS，并从PES中解析出基本码流ES；
- 将ES交给解码器，获得压缩前的原始音视频数据。
2. TS码流整体结构
MPEG-2中规定TS传输包的长度是固定的，长度为188字节。标准规定每个TS包只能包含一个基本流的数据，不存在跨基本流的情况。
所有的TS包都分为包头和净荷部分。TS包中可以填入很多东西（填入的东西都是填入到净荷部分），有：视频、音频、数据（包括PSI、SI以及其它任何形式的数据）。TS只是传输层的协议，所以比较多的面向错误处理的误码纠正。
用c语言描述下MPEG-TS码流，如下：
MPEG_transport_stream() {
do {
transport_packet()
} while (nextbits() == sync_byte)
}
下图是对TS码流的一个分层结构：
TS包头
TS包的包头提供关于传输方面的信息：同步、有无差错、有无加扰、PCR（节目参考时钟）等标志。TS包的包头长度不固定，前32比特（4个字节）固定，后面可能跟有自适应字段（适配域）。32个比特（4个字节）是最小包头。包头的结构固定如下：
各字段含义如下：
- sync_byte（同步字节）：固定为0x47;该字节由解码器识别，使包头和有效负载可相互分离。
- transport_error_indicator（传输错误标志）：‘1’表示在相关的传输包中至少有一个不可纠正的错误位。当被置1后，在错误被纠正之前不能重置为0。
- payload_unit_start_indicator（负载起始标志）：为1时，表示当前TS包的有效载荷中包含PES或者PSI的起始位置；在前4个字节之后会有一个调整字节，其的数值为后面调整字段的长度length。因此有效载荷开始的位置应再偏移1+[length]个字节。
- transport_priority（传输优先级标志）：‘1’表明当前TS包的优先级比其他具有相同PID， 但此位没有被置‘1’的TS包高。
- PID：指示存储与分组有效负载中数据的类型。PID值0x0000—0x000F保留。其中0x0000为PAT保留；0x0001为CAT保留；0x1fff为分组保留，即空包。标准中定义的PID分配见下表：
| PID值 | 描述 |
|---|---|
| 0 | PAT(Program Association Table) |
| 1 | CAT(Conditional Access Table) |
| 3-0xF | Reserved |
| 0x10-0x1FFE | 自定义PID，可用于PMT的pid、network的pid或者其他目标 |
| 0x1FFF | 空包 |
| - | 注意PCR的PID可以选择0、1或者0x10-0x1FFE的任意值。 |
- transport_scrambling_control（加扰控制标志）：表示TS流分组有效负载的加密模式。空包为‘00’，如果传输包包头中包括调整字段，不应被加密。其他取值含义是用户自定义的。
- adaptation_field_control（适配域控制标志）：表示包头是否有调整字段或有效负载。‘00’为ISO/IEC未来使用保留；‘01’仅含有效载荷，无调整字段；‘10’ 无有效载荷，仅含调整字段；‘11’ 调整字段后为有效载荷，调整字段中的前一个字节表示调整字段的长度length，有效载荷开始的位置应再偏移[length]个字节。空包应为‘10’。
- continuity_counter（连续性计数器）：随着每一个具有相同PID的TS流分组而增加，当它达到最大值后又回复到0。范围为0~15。
关于adaption_filed字段建议参考标准文档的ch2.4.3.4 Adaptation field一节。
TS包负载部分
TS包中净荷所传输的信息包括两种类型：
- 视频、音频的PES包以及辅助数据；
- 节目专用信息PSI。
当然，TS包也可以是空包。空包用来填充TS流，可能在重新进行多路复用时被插入或删除。
在系统复用时，视频、音频的ES流需进行打包形成视频、音频的 PES流，辅助数据（如图文电视信息）不需要打成PES包。
3. 节目专用信息PSI(Program Specific Information）
在TS流中传输的主要有四类表格，其中包含了解复用和显示节目相关的信息。
节目信息的结构性的描述如下；
- 节目关联表Program Association Table (PAT) 0x0000
- 节目映射表Program Map Tables (PMT)
- 条件接收表Conditional Access Table (CAT) 0x0001
- 网络信息表Network Information Table(NIT) 0x0010
- 传输流描述表Transport Stream Description Table(TSDT) 0x02
其中PMT中定义了与特定节目相关的PID信息，比如音频包pid、视频包pid以及pcr的pid；CAT表格用于流加扰情况下配置参数；NIT是可选的，标准中未详细定义；TSDT也是可选的。
这些表格信息保存到TS中，需要先切分成section，然后放到TS包中。
这里仅详细说明PAT和PMT表的构成，其他表格建议参考标准文档。
PAT表
TS流中会定期出现PAT表。PAT表提供了节目号和对应PMT表格的PID的对应关系。
其具体结构如下图：
第一个字段table_id，8位，用于标识PSI section负载数据的类型。其取值含义如下：
| Value | description |
|---|---|
| 0x00 | program_association_section |
| 0x01 | conditional_access_section (CA_section) |
| 0x02 | TS_program_map_section |
| 0x03 | TS_description_section |
| 0x04 | ISO_IEC_14496_scene_description_section |
| 0x05 | ISO_IEC_14496_object_descriptor_section |
| 0x06-0x37 | ITU-T Rec. H.222.0 / ISO/IEC 13818-1 reserved |
| 0x38-0x3F | Defined in ISO/IEC 13818-6 |
| 0x40-0xFE | User private |
| 0xFF | forbidden |
PAT中定义的节目号（program_number）与PMT_PID的映射。当节目号为0时，存储的是network_PID。
详细定义建议参考2.4.4.3 Program association Table一节。
PMT表
PMT在传送流中用于指示组成某一套节目的视频、音频和数据在传送流中的位置，即对应的TS包的PID值，以及每路节目的节目时钟参考（PCR）字段的位置。
其结构定义如下：
其中的stream_type标识了对应pid的类型，比如音频、视频或者其他类型（具体建议参考2.4.4.9 Semantic definition of fields in Transport Stream program map section一节）。
4. PES包
PES包使用固定的24位起始码0x000001和一个8为的stream-id，用于说明当前包的类型。PES包中可以包含DTS/PTS等时间戳信息。整体结构如下图：
PES包非定长，音频的PES包小于等于64K，视频的一般为一帧一个PES包。一帧图象的PES包通常要由许多个TS包来传输。MPEG-2中规定，一个PES包必须由整数个TS包来传输。如果承载一个PES包的最后一个TS包没能装满，则用填充字节来填满；当下一个新的PES包形成时，需用新的TS包来开始传输。
PES包的结构如下：
PES_packet() {
packet_start_code_prefix : 24
stream_id : 8
PES_packet_length: 16
optional_pes_header
pes_packet_data
}
- packet_start_code_prefix：24位起始码，固定必须是'0000 0000 0000 0000 0000 0001' (0x000001)。用于标识包的开始。
- stream_id：在PS流中该字段标识其存储的基本流的类型和索引号，在TS流中该字段仅标识其存储的基本流的类型。
- PES_packet_length：16位，用于存储PES包的长度。
- optional_pes_header需要视stream_id类型而定，其长度不固定（这里包含DTS/PTS时间戳信息）。
- pes_packet_data其长度是PES_packet_length定义的长度值。
最后两个字段的解析，建议参考标准文件的2.4.3.7 Semantic definition of fields in PES packet一节。
5. 其他问题
TS流是我接触的第一个封装格式，也是经过很长时间才完全整明白具体的解码流程。
本文不涉及太多的细节问题。很明显TS流中不包含快速seek的机制，只能通过协议层实现seek。
分析TS流建议使用TsAnalyse等现有的工具，在广电普遍使用的TS流，有较多的现成工具。新出来的HLS协议也是基于TS流实现的。