本文摘自:图像对齐:从SIFT到深度学习
传统的图像对齐方法
传统的基于特征的图像对齐方法包括三个步骤:
- 关键点检测和特征描述
- 特征匹配
- 图像变换
简而言之,选择两个图像中的兴趣点,将参考图像中的每个兴趣点与浮动图像中的对应点相关联,并对浮动图像进行变换,以使两个图像对齐。
关键点检测和描述
关键点定义图像中的重要特征对象(拐角,边缘等)。每个关键点由一个描述符表示。描述符是特征向量,包含关键点的基本特征。描述符必须对图像转换(定位,比例,亮度等)具有鲁棒性。有很多算法可以检测关键点并描述特征。
-
SIFT(尺度不变特征变换)是用于检测关键点的原始算法,但是要付费使用。 SIFT特征描述符对于统一缩放,方向和亮度转换是不变的,对于仿射失真则是部分不变的。
-
SURF(快速鲁棒功能)是受SIFT影响的检测器和描述符。它比SIFT快几倍。我们也有专利。
-
ORB FAST Brief(定向的FAST和旋转的Brief)是基于FAST关键点检测器和Brief描述符的组合的快速二进制描述符。它对旋转不变,对噪声也很强。由OpenCV Labs开发,它是SIFT的高效免费替代品。
-
AKAZE(Accelerated-KAZE)是KAZE的加速版本。它为非线性尺度空间提供了一种快速的多尺度特征检测和描述方法。它对于缩放和旋转都是不变的,并且是免费的。
关键点匹配
在两个图像中找到关键点之后,需要关联或"匹配"相应的关键点。其中一种方法是BFMatcher.knnMatch()。它测量每对关键点描述符之间的距离,并与距离每个关键点最近的k个关键点进行匹配。然后应用比率过滤器以仅保留正确的匹配项。
图像转换
匹配至少4组关键点后,将一个图像相对于另一个图像进行转换。这称为图像变形。空间中同一平面上的两个图像通过单应性关联。单应性是具有八个自由参数的几何变换,并由3x3矩阵表示。它们表示应用于整个图像的失真(与局部变换相反)。因此,要获得变换后的浮动图像,需计算单应矩阵并将其应用于浮动图像。为了确保最佳变换,使用RANSAC算法来检测离群值并将其移除以确定最终的单应性。它直接内置在OpenCV findHomography方法中。作为RANSAC的替代方法,还有其他的估计方法,例如LMEDS(最小中值方法)。
基于深度学习的图像对齐方法
待完善...