使用OpenCV对图片进行特征点检测和匹配（C++）

背景

最近从不同网站下载了非常多的动漫壁纸，其中有一些内容相同，但是大小、背景颜色、色调、主人公的位置不同（例子如下）。正因为如此，基础的均方误差、直方图检测等方法很难识别出这些相似的图片。

思路

OpenCV中有很多用来对特征点进行检测和计算的函数，这些函数能够利用像素点及其周围的灰度检测其是否是图像中的特征点，并计算出它的信息，比如ORB、SIFT、SURF、AKANA。同时OpenCV还有一些利用特征点的信息对特征点进行匹配的算法，比如BF、FLANN。我们可以先把参与匹配的每个图片的特征点和信息计算出来，然后对图片两两进行特征点匹配，如果两幅图片匹配上的特征点数量超过一个定值，即认为这两个图片相似。这种方法因为是直接对图像的特征进行考虑，因此对于大小、色调、主人公的位置不同的相似图片也能很好的匹配。

对于特征点检测，这些算法分为两类，一类输出的特征点信息是二进制串，包括ORB、AKANA等，一类输出的特征点信息是浮点数，包括SIFT、SURF，但是SIFT和SURF这两个算法是有专利的，商用要付钱，所以OpenCV把它们放进了Contrib扩展包里面，如果你用的是python版的OpenCV，必须下载3.4.2.16版本的opencv-contrib-python才能用OpenCV里的SIFT和SURF函数。我用的是C++版本的OpenCV，你需要下载OpenCV的源码和OpenCV-contrib扩展包然后自己编译，很麻烦，所以我选择的是ORB。对于特征点匹配，FLANN不论效率还是效果都比BF好很多（当然也有可能是我BF没用对），但是网上很多教程（包括OpenCV自己的文档）都是ORB配BF，SIFT配FLANN，StackOverflow也有人问ORB怎么搭配FLANN使用，有的回答直接说特征点信息是整数的算法不能搭配FLANN，但幸好这个问题下的另一个人给出了FLANN搭配ORB时的参数，（https://stackoverflow.com/questions/43830849/opencv-use-flann-with-orb-descriptors-to-match-features）这也说明了这个问题还是被很多人忽视的，毕竟当今世界是深度学习的天下，很少人去关注这些传统算法了。

这个程序效率比较低，需要进行一些优化。首先我们用于求特征点和匹配的图片应该是原图的灰度图经过缩小后的版本，同时注意这个操作不要用cv::resize完成，不然会慢很多，直接在imread的时候指定第二个参数为cv::IMREAD_REDUCE_COLOR_4可以在读入图片的同时缩小。当然，瓶颈还是在那个两两匹配的二重循环里，为了减少FLANN的操作，我先预处理出图像各个通道的平均值，用这个值来大致表示这个图像的色调，在二重循环中，如果两个图片的平均值相差太大（我设置的是60），就认为它们不相似，不进行特征点匹配，当然这样会导致多出不少漏网之鱼，不过实践证明这样做大部分相似的图片还是不会被筛掉的，而且速度也提高了很多。

代码

#include <io.h>
#include <ctime>
#include <vector>
#include <opencv2/opencv.hpp>

bool judge(cv::Scalar &a, cv::Scalar &b, int num) {
    return std::abs(a[0] - b[0]) < num && std::abs(a[1] - b[1]) < num && std::abs(a[2] - b[2]) < num; 8 }

int main() {

    clock_t start = clock(); //计时开始
    std::vector <cv::String> filelist;
    typedef std::tuple <cv::String, cv::String, int> data;
    std::vector <std::vector <cv::KeyPoint>> kplist;
    std::vector <cv::Mat> deslist;
    std::vector <cv::Scalar> averagebgr;
    std::vector <data> same;

    _finddata_t fd;
    intptr_t pf = _findfirst("D:/image/*.??g", &fd); filelist.push_back(cv::String("D:/宋奕欣/") + fd.name);
    while (!_findnext(pf, &fd)) filelist.push_back(cv::String("D:/image/") + fd.name);
    _findclose(pf); //列举出图片，这里用的是io.h里的_findfirst和_findnext，通配符.??g筛选出.jpg和.png的文件

    cv::Ptr <cv::ORB> orb = cv::ORB::create();
    for (auto i : filelist) {
        cv::Mat imgo = cv::imread(i, cv::IMREAD_REDUCED_COLOR_4);
        averagebgr.push_back(cv::mean(imgo)); //求各通道平均值
        cv::Mat img; cv::cvtColor(imgo, img, cv::COLOR_BGR2GRAY);
        std::vector<cv::KeyPoint> kp; cv::Mat des; //kp是特征点，des是特征点的信息
        orb->detectAndCompute(img, cv::Mat(), kp, des);
        kplist.push_back(kp);
        deslist.push_back(des);
    }

    std::cout << "Successfully found keypoints." << std::endl;


    cv::FlannBasedMatcher flann(cv::makePtr<cv::flann::LshIndexParams>(12, 20, 2)); //这个cv::makePtr<cv::flann::LshIndexParams>(12, 20, 2)就是使FLANN能搭配ORB的参数，默认构造函数指定的是随机KD树算法，只能用于SIFT和SURF
    for (int i = 0; i < filelist.size(); i++)
        for (int j = i + 1; j < filelist.size(); j++) {

            if (!judge(averagebgr[i], averagebgr[j], 60)) continue;

            std::vector<cv::KeyPoint> kpl, kps; cv::Mat desl, dess;
            kpl = kplist[i]; desl = deslist[i];
            kps = kplist[j]; dess = deslist[j];

            std::vector <std::vector <cv::DMatch> > matches; flann.knnMatch(dess, desl, matches, 2);
            std::vector <cv::DMatch> good;
            for (auto k : matches) {
                if (k.size() > 1 && k[0].distance < 0.5 * k[1].distance) good.push_back(k[0]); //knnMatch的k=2时，每个Dmatch会返回distance最小的两组匹配，当最小的这两组的distance相差足够大时，较小的那一组才可能是合法匹配
            }

            if (good.size() > 10) same.push_back(std::make_tuple(filelist[i], filelist[j], good.size()));    

            // cv::Mat img; cv::drawMatches(imgs, kps, imgl, kpl, good, img, cv::Scalar(0, 255, 0));
            // cv::imshow("img", img); cv::waitKey();
        }

    std::sort(same.begin(), same.end(), [](data x, data y) {
        return std::get<2>(x) > std::get<2>(y);
    }); //把匹配的图片按匹配的特征点数排序
    for (data i : same) {
        std::cout << std::get<0>(i) << ' ' << std::get<1>(i) << ' ' << std::get<2>(i) << std::endl;
    }

    std::cout << (double)(clock() - start) / CLOCKS_PER_SEC << std::endl;
    system("pause");
    return 0;
}