0 引言
问题背景:大量的工程实践表明,点云匹配关系的求解是一个非常复杂而困难的问题。其核心点在于找到一种映射方法,该方法将某个点映射到一个有限m维的特征向量,
A = {a1,a2,a3,…,am}. 基于某种距离度量的方法,比如欧式距离法,计算A与任意某B的距离值距离值为distance = |A-B|.若A与B的距离值与两点在几何及
拓扑上的相似性呈正相关,该相关系数越接近1(或者-1,效果相似),则该映射方法和距离函数的组合描述效果越好。现在需要找到一种合适的映射方法,对这种方法
的要求如下:
1、这种方法能够实现点云与CAD模型的准确匹配,误差在1mm以内为宜;
2、点云与CAD模型的尺度在200mm3 以内,小尺度点云;
3、点云与CAD模型文件的完整度高,数据可匹配性好,基本不存在遮挡等情况;
1 问题解决流程
(1)制作数据集,CAD转obj,点云转obj,读入之后统一转为pcd标准格式进行处理;
(2)测试各个算法的性能,把算法的参数写成可调的参数文件,找到一个合理的调试区间;
(3)给出算法的评价标准,运行测试,得出测试结果,排序;
2 算法流程
(1)uniform-sampling,通常采用点云下采样技术降低点云密度
(2)点云特征描述子提取,通常采用PCL中的传统描述子(如FPFH等),或者深度学习描述子
(3)基于(2)中解出的描述子求解点云的匹配关系,通常采用kdtree + knn即可
(4)RANSAC排除错误匹配得到粗配准的结果
3 深度学习描述子
(1)3DMatch
https://github.com/andyzeng/3dmatch-toolbox
摘要:在有噪声、低分辨率以及数据不完整的情况下,依靠真实世界的深度图求解局部几何特征是一项有挑战性的工作。这些困难限制了当前最先进的基于基于特性的直方图的方法的性能。作者提出了3DMatch,该模型以大数据驱动,通过学习局部体积描述子,建立部分3D数据之间的匹配关系(correspondences). 为了积累模型训练数据,提出了一种无监督的特征学习方法,该方法利用了已知的RGB-D重建场景中的数百万计的匹配关系。 试验表明,我们的描述子不仅能够在新场景中匹配局部几何特征,也能推广到不同的任务和不同的尺度下。(如亚马逊抓取任务中的实施物体模型配对,网格匹配等)解雇显示3DMatch稳定地表现出相对其他当前最先进方法的优势。
1、维数:512
2、结构
3、训练集:62个RGB-D场景重建数据集中的800万对点集,训练集具体的制作方式不明。
(2)3DFeat-Net
https://github.com/yewzijian/3DFeatNet
摘要:作者在本文中提出了一种新的网络,将其命名为3DFeat-Net,该网络能够在弱监督条件下,同时学习三维特征检测器和描述符,并将其应用于点云配准任务中。与许多现有的研究不同,该方法不需要对匹配点集群进行手工注释。取而代之的是,该方法利用对齐和注意力机制从GPS/INS标记的3D点云中学习特征对应,而不需要显式地指定它们。实验中,创建了训练数据集和基准户外雷达数据集,结果表明3DFeat-Net 在重力对齐数据上表现出了当前最佳的性能。
1、256维
2、结构
3、训练集/测试集:21875/ 828
(3)Deep Neural Network Auto-Encoder
https://github.com/gilbaz/LORAX
摘要:提出了一种解决大规模点云与相近扫描点云配准问题的算法,该算法在对两个点云的初始坐标系位置信息完全不知情的情况下,提供了一种定位方案。该算法命名为LORAX,首先提取一批超级点(super-points),然后用一个低维的描述子描述其几何结构。这些描述子被用来推断(infer)粗匹配关系,作为精匹配的前置步骤。采用重叠球覆盖点云选取超级点,并滤除其中低质量或非凸的点。描述子采用当前最先进的无监督机器学习方法,利用了基于自动编码器的深度神经网络技术。这种新的网络结构提供了一种对手工设计描述子求解粗匹配关系的强大替代方法。利用超级点而非关键点使得几何数据能够被更好地挖掘出来,用于寻找正确的转换关系。编码局部3D几何结构采用一种深度神经网络自编码器,而非其他计算机视觉应用中沿用的传统描述子,使得结果更加出色。该算法在一些富有挑战性的数据集上进行了测试,在同以前的算法对比时,在应对密度变化、噪声和缺失数据时,展现出了一定的优势。
1、结构
(4)CPD(Coherent Point Drift,,相干点漂移)
摘要:CPD方法利用了点检测算法/数据特性(data nature)中的先验信息,这些信息可通过限制可能的匹配结果极大提高配准的效果。论文探索了利用先验知识对点云进行聚类的方法,这些先验知识来自于对点云的预分割。我们扩展了现有的概率框架以适应两个高斯混合模型和导出闭合形式解决方案,用于EM算法的最大化步骤。这使得算法能够改善配准精度的同时,其性能几乎没有任何损失。算法应用于医学图像处理任务(尤其是心脏建模任务)中,取得了很好的效果。
4 端到端的点云学习框架介绍
目前,想找到一款可以直接对点云进行处理的模型框架执行配准任务显得有点困难,至少从我在github上搜索 “registration point cloud”主题来看,这一企图落了空。我觉得必须拓宽研究思路,以“端到端”为基本标准,搜索一切可以找到的框架,并将其中的点云描述子部分分割出来为我所用。
(1)pointnet
pointnet是斯坦福大学提出来的一个框架,该框架最大的特点是直接对点云进行处理。下面的链接对该框架进行了比较详细的介绍。
https://www.cnblogs.com/Libo-Master/p/9759130.html
(2)pointcnn
pointcnn是山东大学提出来的一个框架,该框架提出了一种数学变换 x变换,可以将