(原)ffmpeg过滤器开发和理解

最近学习了ffmpeg关于filter过滤器的开发，关于中间的几个相关概念，我们先放在简单介绍一下：

AVFilterGraph:几乎完全等同与directShow中的fitlerGraph,代表一串连接起来的filter们.

AVFilter:代表一个filter.

AVFilterPad:代表一个filter的输入或输出口,等同于DShow中的Pin.只有输出pad的filter叫source,只有输入pad的tilter叫sink.

AVFilterLink:代表两个连接的fitler之间的粘合物.

 

然后分别看下各自的结构定义

1，过滤器结构体定义：

 1 struct AVFilter{
 2 const char * name；//过滤器名称。
 3  
 4 const char * description；//过滤器说明。
 5  
 6 const AVFilterPad * inputs；//输入列表，由零元素终止。
 7  
 8 const AVFilterPad * outputs；//输出列表，由零元素终止。
 9  
10 const AVClass * priv_class；//私有数据类，用于声明过滤器私有AVOptions。
11  
12 int flags； //AVFILTER_FLAG_ *的组合。
13  
14 int(* init )(AVFilterContext *ctx)；//过滤初始化函数。
15  
16 //应该通过想要将AVOptions的字典传递给在init中分配的嵌套上下文的过滤器来设置而不是init。
17 int(* init_dict )(AVFilterContext *ctx, AVDictionary **options)；
18  
19 //过滤器在其输入和输出上支持的查询格式
20 void(* uninit )(AVFilterContext *ctx)；
21  
22 //要为过滤器分配的私有数据的大小
23 int priv_size；
24  
25 //avfilter的附加标志仅供内部使用。
26 int flags_internal；
27  
28 // 由过滤器注册系统使用。
29 struct AVFilter * next；
30  
31 // 使过滤器实例处理一个命令。
32 int(* process_command )(AVFilterContext *, const char *cmd, const char *arg, char *res, int res_len, int flags)；
33  
34 //过滤初始化函数，替代init（）回调。
35 int(* init_opaque )(AVFilterContext *ctx, void *opaque)；
36  
37 //过滤器**函数。
38 int(* activate )(AVFilterContext *ctx);
39 }

2，过滤器输入输出pad结构体AVFilterPad介绍

 1 struct AVFilterPad {
 2 //过滤器pad名称
 3 const char *name;
 4 //pad元素的媒体类型，音频或者视频
 5 enum AVMediaType type;
 6  
 7 //获取视频缓存帧数据的回调函数，只能用于input video pad，如果这个用户没有定义，就会指派一个默认的回调函数 ff_default_get_video_buffer().
 8 AVFrame *(*get_video_buffer)(AVFilterLink *link, int w, int h);
 9  
10 //获取音频缓存帧数据的回调函数，只能用于input audio pad，如果这个用户没有定义，就会指派一个默认的回调函数 ff_default_get_audio_buffer().
11 AVFrame *(*get_audio_buffer)(AVFilterLink *link, int nb_samples);
12  
13 //过滤器回调函数，这个是当一个过滤器收到一个音频或者视频帧数据，然后调用这个回调函数进行处理
14 int (*filter_frame)(AVFilterLink *link, AVFrame *frame);
15  
16 //仅用于output pad的poll回调函数,这将返回立即可用的示例的数量。如果下一个request_frame()保证返回一个帧，那么它应该返回一个正值
17 int (*poll_frame)(AVFilterLink *link);
18  
19 //仅用于output pad,帧请求回调函数,
20 int (*request_frame)(AVFilterLink *link);
21  
22  
23 //link配置回调函数，对于input pad，它主要是做一些link的属性检查，已经更新一些过滤器内部状态，例如自己定义的结构体状态初始化等，可以在这个函数里面做一些必要的操作，而对于ouput pad，他应该会设置width/height信息
24 int (*config_props)(AVFilterLink *link);
25  
26 int needs_fifo;
27  
28 int needs_writable;
29 }

3，过滤器实例上下文结构体AVFilterContext介绍

 1 struct AVFilterContext{
 2 const AVClass * av_class；//需要av_log（）和过滤常用选项
 3 const AVFilter * filter；// AVFilter的一个实例
 4 char * name； //此过滤器实例的名称
 5 AVFilterPad * input_pads；//数组输入板
 6 AVFilterLink ** inputs；//指向输入链接的指针数组
 7 unsigned nb_inputs；//输入板数
 8 AVFilterPad * output_pads；//输出板阵列
 9 unsigned nb_outputs；//输出板数量
10 void * priv； //过滤器使用的私人数据
11 struct AVFilterGraph * graph；//filtergraph this filter belongs to
12 int thread_type；//允许/使用的多线程类型。
13 AVFilterInternal * internal；//libavfilter内部使用的不透明结构。
14 struct AVFilterCommand * command_queue；
15 char * enable_str；//启用表达式字符串
16 void * enable；// 解析的表达式（AVExpr *）
17 double * var_values；//启用表达式的变量值
18 int is_disabled；//从最后的表达式评估启用状态
19  
20 //对于将创建硬件框架的过滤器，设置过滤器应在其中创建的设备。
21 AVBufferRef * hw_device_ctx；
22 int nb_threads；//此过滤器实例允许的最大线程数。
23 unsigned ready；//过滤器的就绪状态
24 }

对于他们的关系，我们借用一下别人画的这个图：

 

 

 

 

 

 

结合这个图，我们来分析一下，过滤器直接的数据传递是怎么样的，什么样的过滤器需要在AVFilterPad结构体里面定义filter_frame函数来做过滤器应该做的事情，什么时候更加适合考虑把过滤器处理数据的事情放到AVFilter的activate函数里面。

 

先说一下我个人的理解:针对只有一个输入流的过滤器，直接对过滤器中的唯一的一个帧原始数据进行处理的，例如scale这种的过滤器，我们更加合适把过滤器的事情放到pad里面的filter_frame函数中来处理，而对于将多个输入流的数据进行处理的过滤器，例如overlay(它必须有两个输入数据，main,overlay两层)，他更加适合将数据放到处理过程放入到avfilter的activate函数里面，通过它来调用ff_framesync_activate函数，从而调用FFFrameSync中的on_event处理。