http://blog.csdn.net/charwing/article/details/27180421
Selective Search for Object Recognition
是J.R.R. Uijlings发表在2012 IJCV上的一篇文章。主要介绍了选择性搜索(Selective Search)的方法。选择性搜索综合了蛮力搜索(exhaustive search)和分割(segmentation)的方法。选择性搜索意在找出可能的目标位置来进行物体的识别。与传统的单一策略相比,选择性搜索提供了多种策略,并且与蛮力搜索相比,大幅度降低搜索空间,让我们可以用到更好的识别算法。
现实中,很多图像是包含多类别,多层次的信息的,如上图。所以我们要用到多层分割的方法,并且要用多种分割策略。
(一)选择性搜索(selectivesearch)
1. 分层分组:区域包含的信息比像素多,所以我们的特征是基于区域的。为了得到一些小的初始化的区域,用的是[13]中区域划分的方法。
[13]具体看http://blog.sciencenet.cn/blog-261330-722530.html
然后我们的分层分组算法如下:
我们首先用[13]得到一些初始化的区域R={r1,….rn}
计算出每个相邻区域的相似性s(ri,rj)
1. 找出相似性最大的区域max(S)={ri,rj}
2. 合并rt=ri∪rj
3. 从S集合中,移走所有与ri,rj相关的数据
4. 计算新集合rt与所有与它相邻区域的相似性s(rt,r*)
5. R=R∪rt
直到S集合为空,重复1~5。
2. 各种分割策略
关于s(ri,rj)的计算,我们有多种方法,但要注意的是这些相似性特征应该是可以传递的。如当我们合并ri和rj成rt时,rt的特征可以由ri和rj直接计算,而不需要根据他们每个像素点的值进行重新计算。
(1) 多种颜色模型(color model):文章共比较了8种颜色模型
(2) 相似性准则的补充(complementary similarity measure)
共介绍了四种准则,每一种都是可以快速计算的。
Scolor(ri,rj)用于计算ri,rj的相似性。对每个区域,我们都可以得到一个一维的颜色分布直方图。直方图一共有25个区间,区域i的颜色分布直方图为
如果有3个颜色通道,则n=75。还要用L1 norm来进行归一化。
当i和j合并成t,区域t的颜色分布直方图可以用下面式子进行计算:
t 的size用下面式子计算:
Stexture(ri,rj)我们可以用到SIFT(局部特征描述子)
SIFT介绍见:http://www.cnblogs.com/saintbird/archive/2008/08/20/1271943.html
如果有3个颜色通道,n=240=8*3*10,同理得到区域i的纹理直方图要用L1norm归一化。
同理,纹理的传递性也可以用(2)式解决。
size(im)表示整个图片的像素数目。
Sfill (ri,rj)鼓励有相交或者有包含关系的区域先合并。
BBij指包含i,j区域的最小外包区域。
3. 初始化区域
用[13]得到的初始化区域可以根据阈值k得到不同的结果。
(二)用选择性搜索进行识别(object recognition using selective search)
1. 训练数据的产生
在训练数据上,标注出目标区域,如上图中绿色高亮区域的奶牛,将这些标注区域作为正样本。使用selective search产生目标假设区域(也就是若干个分割区域)。将分割区域的外接矩形和目标标注区域的重叠度在20%~50%之间的区域标注为负样本。我们规定负样本之间不能有超过70%的重叠。
有了正样本和负样本之后,我们用的特征提取方法是:
color-SIFT descriptors[32]+a finer spatialpyramid division[18]
然后进行SVM训练。
2. 迭代训练
采用迭代训练方式,在每次训练完成之后,挑选出false positives样本,并将其加入到训练样本中,其实这便是增加了困难样本数。使用其进行模型训练,直到收敛(精度不在产生变化)。
(三)评价(evaluation)
文章给出了一些判断标准。
ABO(Average Best Overlap)
G应该是物体所在的目标区域。L是selective search算法算出的候选区域。找出Selective Search算法中与该类目标区域覆盖最多的区域。覆盖率由(8)式计算。然后再除以该类的数目。
MABO(Mean Average Best Overlap)就是计算每一类的ABO值,再求均值。
之后的实验都是基于这两个评判标准的,详细结果看论文。
本文提到的Reference:
[13] P. F. Felzenszwalb and D. P.Huttenlocher. Efficient Graph-Based Image Segmentation. IJCV, 59:167–181, 2004.
[18] S. Lazebnik, C. Schmid, and J. Ponce.Beyond bags of features: Spatial pyramid matching for recognizing natural scenecategories. In CVPR, 2006.
[32] K. E. A. van de Sande, T. Gevers, andC. G. M. Snoek. Evaluating color descriptors for object and scenerecognition.TPAMI, 32:1582–1596, 2010.