OpenCV-Python：Harris角点检测与Shi-Tomasi角点检测

一、Harris角点检测

原理：

角点特性：向任何方向移动变换都很大。

Chris_Harris 和 Mike_Stephens 早在 1988 年的文章《A CombinedCorner and Edge Detector》中就已经提出了焦点检测的方法，被称为Harris 角点检测。将窗口向各个方向移动（u，v）然后计算所有差异的总合：表达式如下：

角点检测中要使E（u，v）的值最大。这就是说必须使方程的第二项的取值最大。对上面的等式进行泰勒级数展开，然后再通过几步数学换算（参考其他标准教材），我们得到下面的等式：

其中

这里 Ix 和 Iy 是图像在 x 和 y 方向的导数（可以使用cv2.Sobel()计算得到）

根据一个用来判定窗口内是否包含角点的等式进行打分

其中

• λ1 和 λ 2 是矩阵M的特征值所以根据这些特征中我们可以判断一个区域是否是一个角点、边界或是平面
• 当λ1 和 λ 2都小时，|R| 也小，这个区域就是一个平坦区域
• 当 λ 1 ≫ λ 2 或者 λ 1 ≪ λ 2时，R小于0，这个区域是边缘
• 当 λ 1 和 λ 2 都很大，并且 λ 1 ～λ 2 中的时，R 也很大，（λ 1 和 λ 2 中最小值都大于阈值），说明这个区域是角点

用下图来表示我们的结论：

所以Harris 角点检测的结果是一个由角点分数构成的灰度图像。选取适当的阈值对结果进行二值化，我们就检测到了图像中的角点。

OpenCV中的角点检测

使用 cv2.cornerHarris()，参数如下：

　　img：数据类型为float32的输入图像（灰度图）

　　blockSize：角点检测中要考虑的领域大小

　　ksize：Sobel求导中使用的窗口大小

　　k：Harris角点检测方程中的自由参数，取值参数为[0.04，0.06]

import cv2
import numpy as np

img = cv2.imread('blox.jpg')

# 1. Harris角点检测基于灰度图
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# 2. Harris角点检测
dst = cv2.cornerHarris(gray, 2, 3, 0.04)
# 腐蚀一下，便于标记
dst = cv2.dilate(dst, None)

# 角点标记为红色
img[dst > 0.01 * dst.max()] = [0, 0, 255]
cv2.imwrite('blox-RedPoint.png', img)
cv2.imshow('dst', img)
cv2.waitKey(0)

二、Shi-Tomasi角点检测 & 适合于跟踪的图像特征

Shi-Tomasi 角点检测是在Harris角点检测上进行了修改。我们知道Harris角点检测的打分公式为：

但 Shi-Tomasi 使用的打分函数为：

如果打分查过阈值，我们就认为它是一个角点，我们可以把它绘制到 λ 1 ～λ 2 空间中，就会得到下图：

 从这幅图中，我们可以看出只有当λ 1 和 λ 2 都大于最小值时，才被认为是角点（绿色区域）

OpenCV使用cv2.goodFeatureToTrack()。这个函数可以帮我们使用Shi-Tomasi方法获取图像中的N个最好的角点。

　　image ： 输入灰度图

　　maxCorners：想要检测的角点数目

　　qualityLevel：设置角点的最低质量，0 到 1之间。低于这个数的所有角点都会被忽略

　　minDistance：两个角点之间的最短欧式距离

根据这些信息，函数就能在图像上找到角点。所有低于质量水平的角点都会被忽略。然后再把合格角点按角点质量进行降序排列。函数会采用角点质量最高的那个角点（排序后的第一个），然后将它附近（最小距离之内）的角点都删掉。按着这样的方式最后返回 N 个最佳角点。

import numpy as np
import cv2
from matplotlib import pyplot as plt

img = cv2.imread('blox.jpg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# Shi-Tomasi角点检测
corners = cv2.goodFeaturesToTrack(gray, 20, 0.01, 10)
corners = np.int0(corners)   # 20 个角点坐标

for i in corners:
    # 压缩至一维：[[62, 64]] -> [62, 64]
    x, y = i.ravel()
    cv2.circle(img, (x, y), 4, (0, 0, 255), -1)
    
cv2.imwrite('Shi-Tomasi-corner.jpg', img)
cv2.imshow('dst', img)
cv2.waitKey(0)

这个函数很适合在目标跟踪中使用

三、Harris和Shi-Tomasi的比较

import numpy as np
import cv2
from matplotlib import pyplot as plt

img = cv2.imread('blox.jpg')
imgShi, imgHarris = np.copy(img), np.copy(img)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# 1. Shi-Tomasi角点检测
# 优点：速度相比Harris有所提升，可以直接得到角点坐标
corners = cv2.goodFeaturesToTrack(gray, 20, 0.01, 10)
corners = np.int0(corners)

for i in corners:
    # 压缩至一维：[[62, 64]] -> [62, 64]
    x, y = i.ravel()
    cv2.circle(imgShi, (x, y), 4, (0, 0, 255), -1)
    
# 2. Harris角点检测
dst = cv2.cornerHarris(gray, 2, 3, 0.04)
# 腐蚀一下，便于标记
dst = cv2.dilate(dst, None)
# 角点标记为红色
imgHarris[dst > 0.01 * dst.max()] = [0, 0, 255]

cv2.imwrite('compare.png', np.hstack((imgHarris, imgShi)))
cv2.imshow('compare', np.hstack((imgHarris, imgShi)))
cv2.waitKey(0)

左图为Harris角点检测结果，右图为Shi-Tomasi结果。可以看出，Shi-Tomasi角点检测的质量更高，数量也相对较少。一般情况下，Shi-Tomasi相比Harris速度有所提升，并且可以直接得到角点坐标。