一:pipeLIne
(1):基于模型的pose估计综述:
对于一个3D模型,可以投影到平面,得到不同的位姿,而pose识别是利用所见的2.5D图像,来估计模型,并同时识别出位姿。
3D模型投影时注意的几点:
1. 投影模型在投影前必须进行点云补全,设定一个阈值T,利用贪婪算法进行模型补全,以免透视穿透现象;
2. 投影模型必须从原始位姿进行数值变换进行投影,不能进行迭代计算,以避免累积误差;
3. 投影模型必须投影到离散平面,即进行XYZ值整数化;
(2):超像素特征的提取:
对于每一个投影,都可以设定一个像素数阈值Tn,进行超像素分割,得到一系列的点集;
对每一个点进行提取类似于 SIFT特征描述的 超像素特征,得到特征向量;
旋转不变性: 这个不需要,位姿估计若产生旋转,则位姿也发生变化;
(3):特征匹配的过程:
对于每一个分割,进行特征初步筛选,选取场景内候选目标;
对每一个目标进行超像素分割,选取特征;
进行KD树匹配;
二:特征选取:
选取细节:
深度图 灰度化 :
对于RGB变化剧烈的 物体表面,提取结合的特征是比较适合的,但必定会掩饰一些位姿信息;适用于表面变化不大而纹理变化剧烈的问题;
对于表面形状变化剧烈的物体,提取表面特征是比较合适的,直觉上可以达到ESF特征同等的效果;
基于SIFT特征描述的介绍,超像素的每一块提取类似于SIFT特征点描述子的特征;以保持不变性;
特征综合:
对每一个分割,生成一个超像素级别的矩阵;
对矩阵的每一个元素,生成一个像素级别的特征;
利用矩阵距离进行相似度匹配;
转入图匹配的过程;