二、Filter 原理
2.1 Filter 概述
Filter(过滤器)是 DirectShow 中最基本的概念。DirectShow 是通过 Filter Graph 来管理 Filter 的。Filter Graph 是 Filter 的 "容器",而 Filter 是 Filter Graph 中的最小功能模块。
Filter 一般由一个或多个 Pin 组成,Filter 通过 Pin 相互连接,构成一条顺序的链路。Pin 是由 Filter 创建的 COM 对象。在上面曾经提到,Filter 根据实现功能的不同大致可分为 3 类:Source Filters、Transform Filters 和 Rendering Filters。另一种实用的判别方法是根据 Filter 包含的输入 Pin 或者输出 Pin 的数量来判断。
如下图所示,可以根据 Filter 所包含的输入 Pin 和输出 Pin 的熟练来判断 Filter 的类型:
- 只有输出 Pin,没有输入 pin,为 Source Filter。
- 既有输出 Pin,又有输入 pin,为 Transform Filter。
- 没有输出 Pin,只有输入 pin,为 Rendering Filter。
Filter 是一种 COM 组件。为了实现在 Filter Graph 中的统一操作,每个 Filter 上都至少实现了 IBaseFilter 接口。实现 Filter 的文件一般是一个 DLL,扩展名可以是 .dll,但更多是 .ax。跟普通的 COM 组件一样,Filter 的创建是通过 API 函数 CoCreateInstance 来完成的,代码如下:
STDAPI CoCreateInstance(
REFCLSID rclsid, // class identifier (CLSID) of the object
LPUNKNOWN pUnkOuter, // Pointer to controlling IUnknown
DWORD dwClsContext, // Context for running executable code
REFIID riid, // Reference to the identifier of the interface
LPVOID * ppv // the interface pointer requested in riid
);
- 参数 rclsid 指定要创建的 Filter 的 CLSID;
- 因为绝大多数情况下创建的 Filter 不是被 “聚合”(Aggregation)的,所以 pUnkOuter 指定为 NULL;
- dwClsContext 可以指定为 CLSCTX_INPROC_SERVER,以创建进程内组件对象;
- riid 在创建 Filter 成功后获得的接口的 ID,一般为 IID_IBaseFilter,也可以是其他特殊的接口;
- ppv 用于获得接口对象的指针。
Filter 必须加入到 Filter Graph 且接入到工作链路中才能发挥作用。如果想绕过 Filter Graph 而直接使用 Filter 实现的模块功能,微软公司提供了另一种解决方案,就是将 Filter 功能移植成 DirectX 媒体对象(DMO)。
2.2 Filter 的注册
如果需要编写自己的 Filter,才需要了解Filter 的注册。所以这里由于篇幅原因不详说,如果有这方面需求的话可以去看《DirectShow开发指南》2.2 小节,以及DirectShow Filter的开发实践
2.3 Filter 的媒体类型
媒体类型实际上是 DirectShow 定义的一个数据结构 AM_MEDIA_TYPE,代码如下:
typedef struct _AMMediaType
{
GUID majortype;
GUID subtype;
BOOL bFixedSizeSamples;
BOOL bTemporalCompression;
ULONG lSampleSize;
GUID formattype;
IUnknown *pUnk;
ULONG cbFormat;
BYTE *pbFormat;
}AM_MEDIA_TYPE;
从代码中可以看出,媒体类型主要用 3 部分来描述:majortype(主类型)、subtype(辅助说明类型)和 formattype(格式细节类型)。这 3 部分各自用一个 GUID 来标识。它们的作用分别是:
- majortype 定性地描述媒体类型,如制定这是一个视频(MEDIATYPE_Video)、音频(MEDIATYPE_Audio)或者字节流(MEDIATYPE_Stream)等;
- subtype 辅助说明 majortype,指明具体是哪种格式,例如,若 majortype 是视频, subtype 可以进一步指明这是 UYVY(MEDIASUBTYPE_UYVY)、RGB24(MEDIASUBTYPE_RGB24)还是RGB32(MEDIASUBTYPE_RGB32)等,若 majortype 是音频,subtype 可以进一步指明这是 PCM 格式(MEDIASUBTYPE_PCM)还是 AC3 格式(MEDIASUBTYPE_DOLBY_AC3)等;
- formattype 指定了一种进一步描述格式细节的数据结构类型,格式细节描述的内容主要包括视频图像的大小、帧率,或者音频的采样频率、量化精度等参数,这个描述格式细节的数据块指针保存在 pbFormat 成员中。
AM_MEDIA_TYPE 结构中的其他成员,如 bFixedSizeSamples、bTemporalCompression 和 lSampleSize,它们都是可选参数,也就是说,Filter 并不一定定义这些参数,在 Filter 中引用这些参数的值也并不总是 “可信” 的。这一点对于 Filter 开发人员来说尤为重要。
常见的媒体类型这里不再列出,有兴趣了解可以在 DirectShow MSDN 查看,或者搜索相关博客,例如:媒体结构(AM_MEDIA_TYPE structure)摘自MSDN
当使用一个 AM_MEDIA_TYPE 数据结构描述媒体类型时,如果 majortype、subtype 和 formattype 都指定了一个特定的 GUID 值,那么称这种媒体类型为 “完全指定的媒体类型”;这 3 个部分只要有一个指定为 GUID_NULL,则称之为 “不完全指定的媒体类型”。GUID_NULL 具有 “通配符” 的作用。
为了方便使用,DirectShow 提供了另一个 C++ 类——CMediaType 来操作媒体类型。CMediaType 类是从 AM_MEDIA_TYPE 数据结构中 “公共”(public)派生而来的,这样既保留了直接访问数据成员的灵活性,又增加了一些有用的类成员接口,如媒体类型赋值、媒体类型比较、格式数据块内存的自动管理等。
2.4 Filter的连接
Filter 的连接实际上也就是 Filter上Pin 的连接。连接的方向一般总是由上一级 Filter(Upstream Filter)的输出 Pin 指向下一级 Filter(Downstream Filter)的输入 Pin。
Pin 的连接实际上是连接双方使用的媒体类型的一个 “协商” 过程。这个过程很重要,也有点复杂。具体怎么连接,这里由于篇幅原因不详说,感兴趣可以去看《DirectShow开发指南》2.4 小节,或者去 《DirectShow开发指南》学习笔记_4 了解。
2.5 智能连接
Filter 通过 Pin 这样的连接,就能 “串联” 起来,从而构建一个完整的 Filter Graph。Filter Graph 的构建方法大概有以下几种:
IFilterGraph::AddFilter
:该参数提供一个 Filter 对象,将其加入到 Filter Graph 中;IFilterGraph::ConnectDirect
:该参数提供输出 Pin、输入 Pin 以及媒体类型,进行直接的连接;IGraphBuilder::AddSourceFilter
:该参数提供源文件名,自动将一个 Source Filter 加入到 Filter Graph 中;IGraphBuilder::Connect
:该参数提供输出 pin 和输入 pin 进行连接,如果连接失败,自动尝试在中间插入必要的格式转换 Filter;IGraphBuilder::Render
:该参数提供输出 pin,自动加入必要的 Filter 完成剩下部分 Filter Graph 的构建(直到连接到 Rendering Filter);IGraphBuilder::RenderFile
:该参数提供源文件名,自动加入必要的 Filter 完成这个文件的回放 Filter Graph 构建。
IFilterGraph::AddFilter
用到的情况较多。后 4 种构建方法都有 “自动” 的功能。在 DirectShow 中,这种 “自动” 机制也称为智能连接(Intelligent Connect)。智能连接的具体实现过程,这里由于篇幅原因不详说,感兴趣可以去看《DirectShow开发指南》2.5 小节,或者去 《DirectShow开发指南》学习笔记_5 了解。