• 3D特征描述子SHOT详解


    在3D点云目标识别中,除了传统的利用二维图像来辅助识别,然后映射到3D的方式;学术界在十几年前就开始研究3D点云的特征描述子。

    本文主要详解意大利博洛尼亚大学教授提出的SHOT(Signature of Histogram of  Orientation)http://www.vision.deis.unibo.it/SHOT

    1、3D特征描述子

    图1.1 3D描述子编码通用规则

      描述子的构建一般分为两个过程特征编码(Signature)和直方图统计(Histogram),特征编码是关键,直方图是表述特征的分布情况,增强特征的鲁棒性(概率的角度)。

      Signature:类似于2D图像的特征描述子,对特征点附近的信息进行编码,图像是圆形或矩形Patch中的灰度、梯度变化信息。相似的,点云特征描述子就是对点领域附近的几何信息和颜色、纹理信息进行编码;几何信息主要有K-近邻点(或者support)的法线方向、夹角、曲率等;

      Histogram:有了K-邻域内(支撑区域)点的一系列特征描述子,采用对每个子区域进行特征统计的思路,可以构建出整个支撑区域的直方图特征。

    2、局部坐标系(Local Reference Frame)

      有了K-近邻点后,怎么去提取特征点的几何信息呢??文献中一般是采用局部坐标系(Local Reference Frame)来作为几何信息的参考原点。

      

      图1.2 Local Reference Frame

      局部坐标系的Z轴确定方式:对K-近邻点拟合平面,平面法向量作为局部坐标系的Z轴,Z轴的方向由法向量n和K-近邻法向量均值的方向相同。法向量计算理论参考

      SHOT在计算Z轴的时候,加了距离权重,

      局部坐标系的X轴确定方式:计算法向量n与每个近邻的点乘,找夹角最大的的P(即cos最小),然后计算P到过特征点F点平面的投影P′。特征点F与投影P′组成的方向为X轴方向。

      局部坐标系的Y轴确定方式:x轴和Z轴叉乘得到。

      需要注意,局部坐标系中的重心一般和特征点不是同一个点。

    3、SHOT直方图编码

    图1.3 SHOT特征

      借鉴2D图像的SIFT特征,邻域内法向量整体的直方图特征鲁棒性较低,采用局部直方图形式进行编码。SHOT将整个邻域划分为32小块,纬度2分,半径2分,经度8分。

      计算每个近邻点相对于法向量的夹角(特征值),对每个小块内的特征值构建直方图(11级),累积直方图采用插值的形式(这里理解起来相对困难,编码也很复杂,看了PCL的源码,费心),角度差值,纬度方向插值、经度方向插值和半径方向插值。

      起始就是定义一个规则,判断当前特征值落在哪个区间里面,每个曲面的特征值按照下图方式计算。最后得到的特征向量为32x11 = 352维。

    图1.4 插值方式

    4、SHOT描述在纹理上的扩展

      由于最初提出的SHOT描述子是不针对纹理和颜色信息的,单纯的几何信息编码影响识别的准确率,因此后来SHOT加入了颜色信息。SHOT中的颜色编码主要是LAB空间(CIELAB计算)中的颜色;直方图31级,因此颜色描述子长度32x31 = 992;添加颜色信息的SHOT描述子共1344维。

      一般颜色域都是RGB或者HSV(色度、饱和度、亮度),lab空间是开发出来近似人眼视觉系统的,色域比RGB大得多。感觉Lab只有在做为颜色标定或者参考时才用的上,没想到这里用了,应该是为表达颜色更准确。

      RGB需要先转换到XYZ,然后XYZ转LAB。颜色空间转换代码

    图1.5 LAB转XYZ(逆变换见这里

  • 相关阅读:
    SpreadJS 复制行
    RookeyFrame 模块 线上创建的模块 迁移到 线下来
    RookeyFrame 附件 上传附件
    RookeyFrame 字典 新增和绑定
    RookeyFrame Bug 表单管理 -> 查看表单 ->编辑字段页面 JS报错
    Catalan数
    美元汇率
    5倍经验日
    二分查找的边界问题
    线段覆盖5
  • 原文地址:https://www.cnblogs.com/BellaVita/p/10019409.html
Copyright © 2020-2023  润新知