FFmpeg数据结构：AVPacket解析

本文主要从以下几个方面对AVPacket做解析：

AVPacket在FFmpeg中的作用
字段说明
AVPacket中的内存管理
AVPacket相关函数的说明
结合AVPacket队列说明下AVPacket在传递过程中数据缓存的管理

查了一些资料，发现FFmpeg的版本更新还是挺快，而且有很多API也有改动，本文使用的FFmpeg的最新版本3.1。

AVPacket简介

AVPacket是FFmpeg中很重要的一个数据结构，它保存了解复用之后，解码之前的数据（仍然是压缩后的数据）和关于这些数据的一些附加信息，如显示时间戳（pts）、解码时间戳（dts）、数据时长，所在媒体流的索引等。

对于视频（Video）来说，AVPacket通常包含一个压缩的Frame，而音频（Audio）则有可能包含多个压缩的Frame。并且，一个Packet有可能是空的，不包含任何压缩数据，只含有side data（side data，容器提供的关于Packet的一些附加信息。例如，在编码结束的时候更新一些流的参数）。

AVPacket的大小是公共的ABI（public ABI）一部分，这样的结构体在FFmpeg很少，由此也可见AVPacket的重要性。它可以被分配在栈空间上（可以使用语句AVPacket packet; 在栈空间定义一个Packet ），并且除非libavcodec 和 libavformat有很大的改动，不然不会在AVPacket中添加新的字段。

官方文档：AVPacket is one of the few structs in FFmpeg,whose size is a part of public ABI.Thus it may be allocated on stack and no new fields can be added to it without libavcodec and libavformat major bump.

AVPacket 字段说明

AVPacket的声明在avcodec.h中，其声明如下：

typedef struct AVPacket {
    /**
     * A reference to the reference-counted buffer where the packet data is
     * stored.
     * May be NULL, then the packet data is not reference-counted.
     */
    AVBufferRef *buf;
    /**
     * Presentation timestamp in AVStream->time_base units; the time at which
     * the decompressed packet will be presented to the user.
     * Can be AV_NOPTS_VALUE if it is not stored in the file.
     * pts MUST be larger or equal to dts as presentation cannot happen before
     * decompression, unless one wants to view hex dumps. Some formats misuse
     * the terms dts and pts/cts to mean something different. Such timestamps
     * must be converted to true pts/dts before they are stored in AVPacket.
     */
    int64_t pts;
    /**
     * Decompression timestamp in AVStream->time_base units; the time at which
     * the packet is decompressed.
     * Can be AV_NOPTS_VALUE if it is not stored in the file.
     */
    int64_t dts;
    uint8_t *data;
    int   size;
    int   stream_index;
    /**
     * A combination of AV_PKT_FLAG values
     */
    int   flags;
    /**
     * Additional packet data that can be provided by the container.
     * Packet can contain several types of side information.
     */
    AVPacketSideData *side_data;
    int side_data_elems;
    /**
     * Duration of this packet in AVStream->time_base units, 0 if unknown.
     * Equals next_pts - this_pts in presentation order.
     */
    int64_t duration;
    int64_t pos;                            ///< byte position in stream, -1 if unknown
#if FF_API_CONVERGENCE_DURATION
    /**
     * @deprecated Same as the duration field, but as int64_t. This was required
     * for Matroska subtitles, whose duration values could overflow when the
     * duration field was still an int.
     */
    attribute_deprecated
    int64_t convergence_duration;
#endif
} AVPacket;

AVPacket中的字段可用分为两部分：数据的缓存及管理，关于数据的属性说明。

关于数据的属性有以下字段：
- pts 显示时间戳
- dts 解码时间戳
- stream_index Packet所在stream的index
- flats 标志，其中最低为1表示该数据是一个关键帧
- duration 数据的时长，以所属媒体流的时间基准为单位
- pos 数据在媒体流中的位置，未知则值为-1
- convergence_duration 该字段已被deprecated，不再使用
数据缓存，AVPacket本身只是个容器，不直接的包含数据，而是通过数据缓存的指针引用数据。AVPacket中包含有两种数据
- data 指向保存压缩数据的指针，这就是AVPacket实际的数据。
- side_data 容器提供的一些附加数据
- buf 是AVBufferRef类型的指针，用来管理data指针引用的数据缓存的，其使用在后面介绍。

AVPacket中的内存管理

AVPacket实际上可用看作一个容器，它本身并不包含压缩的媒体数据，而是通过data指针引用数据的缓存空间。所以将一个Packet作为参数传递的时候，妖就要根据具体的需要，对data引用的这部分数据缓存空间进行特殊的处理。当从一个Packet去创建另一个Packet的时候，有两种情况：

两个Packet的data引用的是同一数据缓存空间，这时候要注意数据缓存空间的释放问题
两个Packet的data引用不同的数据缓存空间，每个Packet都有数据缓存空间的copy。

第二种情况，数据空间的管理比较简单，但是数据实际上有多个copy造成内存空间的浪费。所以要根据具体的需要，来选择到底是两个Packet共享一个数据缓存空间，还是每个Packet拥有自己独自的缓存空间。
对于多个Packet共享同一个缓存空间，FFmpeg使用的引用计数的机制（reference-count）。当有新的Packet引用共享的缓存空间时，就将引用计数+1；当释放了引用共享空间的Packet，就将引用计数-1；引用计数为0时，就释放掉引用的缓存空间。
AVPacket中的AVBufferRef *buf;就是用来管理这个引用计数的，AVBufferRef的声明如下：

typedef struct AVBufferRef {
    AVBuffer *buffer;
    /**
     * The data buffer. It is considered writable if and only if
     * this is the only reference to the buffer, in which case
     * av_buffer_is_writable() returns 1.
     */
    uint8_t *data;
    /**
     * Size of data in bytes.
     */
    int      size;
} AVBufferRef;

在AVPacket中使用AVBufferRef有两个函数：av_packet_ref和av_packet_unref。

av_packet_ref
```
int av_packet_ref(AVPacket *dst, const AVPacket *src)
```
创建一个src->data的新的引用计数。如果src已经设置了引用计数发（src->buffer不为空），则直接将其引用计数+1；如果src没有设置引用计数（src->buffer为空），则为dst创建一个新的引用计数buf，并复制src->data到buf->buffer中。最后，复制src的其他字段到dst中。
av_packet_unref
```
void av_packet_unref(AVPacket *pkt)
```
将缓存空间的引用计数-1，并将Packet中的其他字段设为初始值。如果引用计数为0，自动的释放缓存空间。
所以，有两个Packet共享同一个数据缓存空间的时候可用这么做
```
av_read_frame(pFormatCtx, &packet)  // 读取Packet
av_packet_ref(&dst,&packet) // dst packet共享同一个数据缓存空间
...
av_packet_unref(&dst); 
```
下一小节简单的介绍下AVPacket相关的函数，并介绍如何在传递Packet的时候，复制一个独立的数据缓存空间的copy，每个Packet都拥有自己独立的数据缓存空间。

AVPacket 相关函数介绍
操作AVPacket的函数大约有30个，主要可以分为：AVPacket的创建初始化、AVPacket中的data数据管理（clone，free，copy等）、AVPacket中的side_data数据管理。
AVPacket的创建有很多种，而由于Packet中的数据是通过data引用的，从一个Packet来创建另一个Packet有多种方法。
av_read_frame 这个是比较常见的了，从媒体流中读取帧填充到填充到Packet的数据缓存空间。如果Packet->buf为空，则Packet的数据缓存空间会在下次调用av_read_frame的时候失效。这也就是为何在FFmpeg3：播放音频中，从流中读取到Packet的时，在将该Packet插入队列时，要调用av_dup_avpacket重新复制一份缓存数据。（av_dup_avpacket函数已废弃，后面会介绍）
av_packet_alloc 创建一个AVPacket，将其字段设为默认值（data为空，没有数据缓存空间）。
av_packet_free 释放使用av_packet_alloc创建的AVPacket，如果该Packet有引用计数（packet->buf不为空），则先调用av_packet_unref(&packet)。
av_packet_clone 其功能是 av_packet_alloc + av_packet_ref
av_init_packet 初始化packet的值为默认值，该函数不会影响data引用的数据缓存空间和size，需要单独处理。
av_new_packet av_init_packet的增强版，不但会初始化字段，还为data分配了存储空间。
av_copy_packet 复制一个新的packet，包括数据缓存。
av_packet_from_data 初始化一个引用计数的packet，并指定了其数据缓存。
av_grow_packet和 av_shrink_packet 增大或者减小Packet->data指向的数据缓存。

就罗列这么多吧，剩下的没提到的基本都是和side_data相关的一些函数，和data的比较类似。
最后介绍下已经废弃的两个函数 av_dup_packet和av_free_packet。
av_dup_packet 是复制src->data引用的数据缓存，赋值给dst。也就是创建两个独立packet，这个功能现在可用使用函数av_packet_ref来代替。
av_free_packet 释放packet，包括其data引用的数据缓存，现在可以使用av_packet_unref代替。

AVPacket队列

在FFmpeg3：播放音频中，使用了AVPacket队列来缓存从流中读取的帧数据。这就涉及到多次的AVPacket的传递，从流中读取Packet插入队列；从队列中取出Packet进行解码；以及一些中间变量。由于Dranger教程中使用的已经废弃的API，在参照官方文档进行修改的时候就出现了内存读写的异常。下面就播放音频的教程中的AVPacket队列实现，分析下在AVPacket作为参数传递的过程中，应该如何更好的管理其data引用的缓存空间。

从流中读取AVPacket插入队列
```
AVPacket packet;
while (av_read_frame(pFormatCtx, &packet) >= 0)
{
    if (packet.stream_index == audioStream)
        packet_queue_put(&audioq, &packet);
    else
        //av_free_packet(&packet);
        av_packet_unref(&packet);
}  
```
如果是音频流则将读到Packet调用packet_queue_put插入到队列，如果不是音频流则调用av_packet_unref释放已读取到的AVPacket数据。
下面代码是packet_queue_put中将Packet放入到一个新建的队列节点的代码片段
```
AVPacketList *pktl;
//if (av_dup_packet(pkt) < 0)
    //return -1;
pktl = (AVPacketList*)av_malloc(sizeof(AVPacketList));
if (!pktl)
    return -1;
if (av_packet_ref(&pktl->pkt, pkt) < 0)
    return -1;
//pktl->pkt = *pkt;
pktl->next = nullptr;  
```
注意，在调用packet_queue_put时传递的是指针，也就是形参pkt和实参packet中的data引用的是同一个数据缓存。但是在循环调用av_read_frame的时候，会将packet中的data释放掉，以便于读取下一个帧数据。
所以就需要对data引用的数据缓存进行处理，保证在读取下一个帧数据的时候，其data引用的数据空间没有被释放。有两种方法，复制一份data引用的数据缓存或者给data引用的缓存空间加一个引用计数。
注释掉的部分是使用已废弃的APIav_dup_packet，该函数将pkt中data引用的数据缓存复制一份给队列节点中的AVPacket。
添加引用计数的方法则是调用av_apcket_ref将data引用的数据缓存的引用计数+1，这样其就不会被释放掉。
从队列中取出AVPacket
```
        //*pkt = pktl->pkt;
        if (av_packet_ref(pkt, &pktl->pkt) < 0)
        {
            ret = 0;
            break;
        }  
```
注释掉的代码仍然是两个packet引用了同一个缓存空间，这样在一个使用完成释放掉缓存的时候，会造成另一个访问错误。所以扔给调用av_packet_ref将其引用计数+1，这样在释放其中一个packet的时候其引用的数据缓存就不会被释放掉，知道两个packet都被释放。

FFmpeg数据结构：AVPacket解析

AVPacket简介

AVPacket 字段说明

AVPacket中的内存管理

AVPacket 相关函数介绍

AVPacket队列