在3D点云目标识别中,除了传统的利用二维图像来辅助识别,然后映射到3D的方式;学术界在十几年前就开始研究3D点云的特征描述子。
本文主要详解意大利博洛尼亚大学教授提出的SHOT(Signature of Histogram of Orientation)http://www.vision.deis.unibo.it/SHOT。
1、3D特征描述子
图1.1 3D描述子编码通用规则
描述子的构建一般分为两个过程特征编码(Signature)和直方图统计(Histogram),特征编码是关键,直方图是表述特征的分布情况,增强特征的鲁棒性(概率的角度)。
Signature:类似于2D图像的特征描述子,对特征点附近的信息进行编码,图像是圆形或矩形Patch中的灰度、梯度变化信息。相似的,点云特征描述子就是对点领域附近的几何信息和颜色、纹理信息进行编码;几何信息主要有K-近邻点(或者support)的法线方向、夹角、曲率等;
Histogram:有了K-邻域内(支撑区域)点的一系列特征描述子,采用对每个子区域进行特征统计的思路,可以构建出整个支撑区域的直方图特征。
2、局部坐标系(Local Reference Frame)
有了K-近邻点后,怎么去提取特征点的几何信息呢??文献中一般是采用局部坐标系(Local Reference Frame)来作为几何信息的参考原点。
图1.2 Local Reference Frame
局部坐标系的Z轴确定方式:对K-近邻点拟合平面,平面法向量作为局部坐标系的Z轴,Z轴的方向由法向量n和K-近邻法向量均值的方向相同。法向量计算理论参考
SHOT在计算Z轴的时候,加了距离权重,
局部坐标系的X轴确定方式:计算法向量n与每个近邻的点乘,找夹角最大的的P(即cos最小),然后计算P到过特征点F点平面的投影P′。特征点F与投影P′组成的方向为X轴方向。
局部坐标系的Y轴确定方式:x轴和Z轴叉乘得到。
需要注意,局部坐标系中的重心一般和特征点不是同一个点。
3、SHOT直方图编码
图1.3 SHOT特征
借鉴2D图像的SIFT特征,邻域内法向量整体的直方图特征鲁棒性较低,采用局部直方图形式进行编码。SHOT将整个邻域划分为32小块,纬度2分,半径2分,经度8分。
计算每个近邻点相对于法向量的夹角(特征值),对每个小块内的特征值构建直方图(11级),累积直方图采用插值的形式(这里理解起来相对困难,编码也很复杂,看了PCL的源码,费心),角度差值,纬度方向插值、经度方向插值和半径方向插值。
起始就是定义一个规则,判断当前特征值落在哪个区间里面,每个曲面的特征值按照下图方式计算。最后得到的特征向量为32x11 = 352维。
图1.4 插值方式
4、SHOT描述在纹理上的扩展
由于最初提出的SHOT描述子是不针对纹理和颜色信息的,单纯的几何信息编码影响识别的准确率,因此后来SHOT加入了颜色信息。SHOT中的颜色编码主要是LAB空间(CIELAB计算)中的颜色;直方图31级,因此颜色描述子长度32x31 = 992;添加颜色信息的SHOT描述子共1344维。
一般颜色域都是RGB或者HSV(色度、饱和度、亮度),lab空间是开发出来近似人眼视觉系统的,色域比RGB大得多。感觉Lab只有在做为颜色标定或者参考时才用的上,没想到这里用了,应该是为表达颜色更准确。
RGB需要先转换到XYZ,然后XYZ转LAB。颜色空间转换代码
图1.5 LAB转XYZ(逆变换见这里)