(原)ffmpeg过滤器开发和理解

最近学习了ffmpeg关于filter过滤器的开发，关于中间的几个相关概念，我们先放在简单介绍一下：

AVFilterGraph:几乎完全等同与directShow中的fitlerGraph,代表一串连接起来的filter们.

AVFilter:代表一个filter.

AVFilterPad:代表一个filter的输入或输出口,等同于DShow中的Pin.只有输出pad的filter叫source,只有输入pad的tilter叫sink.

AVFilterLink:代表两个连接的fitler之间的粘合物.

 

然后分别看下各自的结构定义

1，过滤器结构体定义：

struct AVFilter{
const char * name；//过滤器名称。
 
const char * description；//过滤器说明。
 
const AVFilterPad * inputs；//输入列表，由零元素终止。
 
const AVFilterPad * outputs；//输出列表，由零元素终止。
 
const AVClass * priv_class；//私有数据类，用于声明过滤器私有AVOptions。
 
int flags； //AVFILTER_FLAG_ *的组合。
 
int(* init )(AVFilterContext *ctx)；//过滤初始化函数。
 
//应该通过想要将AVOptions的字典传递给在init中分配的嵌套上下文的过滤器来设置而不是init。
int(* init_dict )(AVFilterContext *ctx, AVDictionary **options)；
 
//过滤器在其输入和输出上支持的查询格式
void(* uninit )(AVFilterContext *ctx)；
 
//要为过滤器分配的私有数据的大小
int priv_size；
 
//avfilter的附加标志仅供内部使用。
int flags_internal；
 
// 由过滤器注册系统使用。
struct AVFilter * next；
 
// 使过滤器实例处理一个命令。
int(* process_command )(AVFilterContext *, const char *cmd, const char *arg, char *res, int res_len, int flags)；
 
//过滤初始化函数，替代init（）回调。
int(* init_opaque )(AVFilterContext *ctx, void *opaque)；
 
//过滤器激活函数。
int(* activate )(AVFilterContext *ctx);
}

2，过滤器输入输出pad结构体AVFilterPad介绍

struct AVFilterPad {
//过滤器pad名称
const char *name;
//pad元素的媒体类型，音频或者视频
enum AVMediaType type;
 
//获取视频缓存帧数据的回调函数，只能用于input video pad，如果这个用户没有定义，就会指派一个默认的回调函数 ff_default_get_video_buffer().
AVFrame *(*get_video_buffer)(AVFilterLink *link, int w, int h);
 
//获取音频缓存帧数据的回调函数，只能用于input audio pad，如果这个用户没有定义，就会指派一个默认的回调函数 ff_default_get_audio_buffer().
AVFrame *(*get_audio_buffer)(AVFilterLink *link, int nb_samples);
 
//过滤器回调函数，这个是当一个过滤器收到一个音频或者视频帧数据，然后调用这个回调函数进行处理
int (*filter_frame)(AVFilterLink *link, AVFrame *frame);
 
//仅用于output pad的poll回调函数,这将返回立即可用的示例的数量。如果下一个request_frame()保证返回一个帧，那么它应该返回一个正值
int (*poll_frame)(AVFilterLink *link);
 
//仅用于output pad,帧请求回调函数,
int (*request_frame)(AVFilterLink *link);
 
 
//link配置回调函数，对于input pad，它主要是做一些link的属性检查，已经更新一些过滤器内部状态，例如自己定义的结构体状态初始化等，可以在这个函数里面做一些必要的操作，而对于ouput pad，他应该会设置width/height信息
int (*config_props)(AVFilterLink *link);
 
int needs_fifo;
 
int needs_writable;
}

3，过滤器实例上下文结构体AVFilterContext介绍

struct AVFilterContext{
const AVClass * av_class；//需要av_log（）和过滤常用选项
const AVFilter * filter；// AVFilter的一个实例
char * name； //此过滤器实例的名称
AVFilterPad * input_pads；//数组输入板
AVFilterLink ** inputs；//指向输入链接的指针数组
unsigned nb_inputs；//输入板数
AVFilterPad * output_pads；//输出板阵列
unsigned nb_outputs；//输出板数量
void * priv； //过滤器使用的私人数据
struct AVFilterGraph * graph；//filtergraph this filter belongs to
int thread_type；//允许/使用的多线程类型。
AVFilterInternal * internal；//libavfilter内部使用的不透明结构。
struct AVFilterCommand * command_queue；
char * enable_str；//启用表达式字符串
void * enable；// 解析的表达式（AVExpr *）
double * var_values；//启用表达式的变量值
int is_disabled；//从最后的表达式评估启用状态
 
//对于将创建硬件框架的过滤器，设置过滤器应在其中创建的设备。
AVBufferRef * hw_device_ctx；
int nb_threads；//此过滤器实例允许的最大线程数。
unsigned ready；//过滤器的就绪状态
}

对于他们的关系，我们借用一下别人画的这个图：

 

 

 

 

 

 

结合这个图，我们来分析一下，过滤器直接的数据传递是怎么样的，什么样的过滤器需要在AVFilterPad结构体里面定义filter_frame函数来做过滤器应该做的事情，什么时候更加适合考虑把过滤器处理数据的事情放到AVFilter的activate函数里面。

 

先说一下我个人的理解:针对只有一个输入流的过滤器，直接对过滤器中的唯一的一个帧原始数据进行处理的，例如scale这种的过滤器，我们更加合适把过滤器的事情放到pad里面的filter_frame函数中来处理，而对于将多个输入流的数据进行处理的过滤器，例如overlay(它必须有两个输入数据，main,overlay两层)，他更加适合将数据放到处理过程放入到avfilter的activate函数里面，通过它来调用ff_framesync_activate函数，从而调用FFFrameSync中的on_event处理。

 

 

 引用请注明出处：https://www.cnblogs.com/lihaiping/p/avfilter.html