Muxer 视音频复用器
数据结构
AVCodecContext
AVFormateContext
AVFormatContext是API中直接接触到的结构体,位于avformat.h中,是音视频数据,也就是音视频文件(通常接触到的mp3/mp4等文件)的一种抽象和封装,该文件中包含了多路流,包括音频流、视频流、字幕流等。该结构体的使用,贯穿了ffmpeg使用的整个流程。
包含了媒体流的格式信息,比较重要的有:
AVInputFormat或者AVOutputFormat:只能同时存在一个。
AVStream
AVPacket
title、author、copyright、duration、start_time、bit_rate等。
(参考文档【5】)
AVStream
AVStream在FFmpeg使用过程中关于编解码至关重要的结构体之一,是对流(Stream)的封装和抽象,描述了视频、音频等流的编码格式等基本流信息。此外也是音频、视频、字幕数据流的重要载体。
对于一个典型的mp4格式的媒体源(H264)来说,需要经过解封装(解复用),解码然后输出的过程。而解封装从容器中分离出来的流,在FFmpeg中对应的对象就是AVStream。解复用解出来几条AVStream,就会在AVFormateContext中的nb_streams+1(总流数+1),并且将AVStream保存在streams数组中。(参考文档【4】)
PTS:Presentation Time Stamp。PTS主要用于度量解码后的视频帧什么时候被显示出来
DTS:Decode Time Stamp。DTS主要是标识读入内存中的bit流在什么时候开始送入解码器中进行解码
time_base:时间基。它也是用来度量时间的。
如果把1秒分为25等份,你可以理解就是一把尺,那么每一格表示的就是1/25秒。此时的time_base={1,25}
如果你是把1秒分成90000份,每一个刻度就是1/90000秒,此时的time_base={1,90000}。
参考文档:
【1】最简单的基于FFmpeg的封装格式处理:视音频复用器(muxer) 2014-10-09 雷霄骅
【2】新版本ffmpeg源码简单分析:avformat_alloc_output_context2() 2018-12-13 对着天说晚安
【3】avformat_new_stream,传入AVCodec导致的内存泄露(av_mallocz) 2018-04-21 指缝间的风袁
【4】FFmpeg:AVStream结构体分析 2018-05-28 SuperDali
【5】FFmpeg:AVFormatContext结构体分析 2018-05-27 SuperDali
【6】音视频开发第一篇——音视频基础概念。 2018-04-26 SuperDali
【7】FFmpeg源代码简单分析:avio_open2() 2015-03-04 雷霄骅
【8】深入理解pts,dts,time_base 2017-12-11 bixinwei
【9】RTSP再学习 -- 利用FFmpeg 将 rtsp 获取H264裸流并保存到文件中 2017-10-12 聚优致成
【10】ffmpeg中的时间戳与时间基 2018-09-25 李超
尾巴:
26岁雷霄骅先生于16年步入天堂。他留下的ffmpeg教程详细清晰,给我的学习带来很大帮助。虽然人已经不在,但留下的知识至今依旧散发出它的光芒。在此感谢雷霄骅先生分享他的知识。愿“过劳死”远离天下的工程师们。