关键帧提取,提取视频中具有表征意义的视频帧作为关键帧,来简洁的表述该视频的内容.主要应用于视频的压缩存储,视频结构化索引等领域.
由于关键帧的选择与人的视觉感受有关,存在一定的主观性,目前,大多数关键帧提取主要是局限某个领域的视频,像体育视频,新闻,电影等.
这样可以利用视频本身的特点来完善关键帧提取算法的准确度.
我主要关注于监控视频的关键帧的提取,下面将介绍的方法,主要针对监控视频的.
基本思路:
1).利用背景建模,目标检测技术,检测前景目标,即运动信息.
2).针对每帧图像中的前景目标,提取相应的特征,作业衡量运动信息的特征.
3).计算出每帧图像的运动信息特征.
4).根据运动信息,按照一定策略选择关键帧.
关键在于,用什么特征,描述每帧图像的运动信息,根据运动信息,采用何种策略选择关键帧.
参考文献 A Novel Video Key-Frame-Extraction Algorithm Based on Perceived Motion Energy Model IEEE Trans. Circuits Syst. Video Technol 2003
文中提取运动信息特征:在视频压缩域里,利用编码信息提取的.(不是很懂)
选择关键帧的策略:
1).平滑和分割运动信息特征
2).然后每段里面,选取运动信息最大的帧为关键帧.
3).如果关键帧的数目有限制,则统计每段里面的运动信息,进行排序,选择运动信息大作为关键帧候选段.
文中提出一种三角模型,一个三角代表一个分段,然后选取这个三角顶点对应的帧为关键帧.
不足之处:
1).运动信息最终的三角模型,与平滑和分割窗口的大小有关,文中设置的Filter_Win = 20,Split_Win = 200.
对于某些视频,这两个值大小的设定,对最终的检测结果影响较大.
2).由于只选择三角顶点对应的帧为关键帧,因而只能代表前景目标全部出现视频中,但不能表现出前景目标对应运动方向,运动轨迹的特征.
以车辆和人为例,无法判断车辆和人运动的大致轨迹.
PS:这点也与具体应用有关,如果应用中不需要关注前景目标的运动轨迹信息,则可以忽略.
扩展:
由于文中提得的运动信息提取方法,是从压缩域的压缩编码中获取,自己不是很懂.
因而,我主要改变运动信息的获取方法,利用运动目标检测来获取运动信息.
其次,运动信息的特征只是简单的前景目标的像素点数目.
关键帧选取策略,与上文类似.