22、【opencv入门】模板匹配

一、模板匹配概念

　　模板匹配是一项在一副图像中寻找与另一幅模板图像最匹配（相似）部分的技术。模板匹配不是基于直方图的，而是通过在输入图像上滑动图像块（模板）同时对比相似度，来对模板和输入图像进行匹配的一种方法。

应用：

　　（1）目标查找定位

　　（2）运动物体跟踪

1、模板匹配 --- matchTemplate()

CV_EXPORTS_W void matchTemplate(InputArray image, InputArray temp1, OutputArray result, int method);

　　image：待搜索图像（大图）

　　temp1：搜索模板，需和原图一样数据类型且尺寸大小不能大于源图像

　　reuslt：比较结果的映射图像，其必须为单通道的，32位浮点型图像，如果原图（待搜索图像）尺寸为W*H，二temp1的尺寸为w*h，则result的尺寸一定是（W-w+1）*（H-h+1）

　　method：指定的匹配方法，有如下六种：

    CV_TM_SQDIFF --- 平方差匹配法（最好匹配0）
    CV_TM_SQDIFF_NORMED --- 归一化平方差匹配法（最好匹配0）
    CV_TM_CCORR --- 相关匹配法（最坏匹配0）
    CV_TM_CCORR_NORMED ---归一化相关匹配法（最坏匹配0）
    CV_TM_CCOEFF --- 系数匹配法（最好匹配1）
    CV_TM_CCOEFF_NORMED --- 归一化系数匹配法（最好匹配1）

2、矩阵归一化 --- normalize()

C++: void normalize(InputArray src,OutputArray dst, double alpha=1, 
　　　　　　　　　　　　double beta=0, int norm_type=NORM_L2, int dtype=-1, InputArray mask=noArray() )

　　src：输入源图像，Mat类型

　　dst：输出结果图像，需要和原图一样的尺寸和类型

　　alpha：归一化后的最小值，默认为1

　　beta：归一化后的最大值，默认为0

　　norm_type：归一化类型，可选：NORM_INF, NORM_L1, NORM_L2（默认）等

　　dtype：默认值为-1，此参数为负值时，输出矩阵和src有同样的类型

　　mask：可选的掩码操作

normallize()函数的作用是进行矩阵归一化。

3、寻找最值 --- minMaxLoc()

CV_EXPORTS_W void minMaxLoc(InputArray src, CV_OUT double* minVal, CV_OUT double* maxVal = 0, 
　　　　　　　　　　　　　　　　　　CV_OUT Point* minLoc=0, CV_OUT Point* maxLoc=0, 
　　　　　　　　　　　　　　　　　　InputArray mask=noArray());

　　src：输入源图像，单通道图像

　　minVal：返回最小值的指针，若无需返回，则置为0

　　maxVal：返回最大值的指针，若无需返回，则置为0

　　minLoc：返回最小位置的指针，若无需返回，则置为0

　　maxLoc：返回最大位置的指针，若无需返回，则置为0

　　mask：可选的掩码操作

minMaxLoc()函数的作用是在数组中找到全局最小值和最大值

二、单模板匹配

【示例】

//模板匹配
#include "opencv2/opencv.hpp"
#include <iostream>

using namespace std;
using namespace cv;

int main()
{
    Mat temp=imread("mu.jpg");
    Mat src=imread("1.jpg");
    Mat dst=src.clone();
    imshow("temp",temp);

    int width=src.cols-temp.cols+1;//result宽度
    int height=src.rows-temp.rows+1;//result高度

    Mat result(height,width,CV_32FC1);//创建结果映射图像
    //matchTemplate(srcImg, templateImg, resultImg, CV_TM_SQDIFF); //平方差匹配法(最好匹配0)
    //matchTemplate(srcImg, templateImg, resultImg, CV_TM_SQDIFF_NORMED); //归一化平方差匹配法(最好匹配0)
    //matchTemplate(srcImg, templateImg, resultImg, CV_TM_CCORR); //相关匹配法(最坏匹配0)
    //matchTemplate(srcImg, templateImg, resultImg, CV_TM_CCORR_NORMED); //归一化相关匹配法(最坏匹配0)
    //matchTemplate(srcImg, templateImg, resultImg, CV_TM_CCOEFF); //系数匹配法(最好匹配1)
    matchTemplate(src,temp,result,CV_TM_CCOEFF_NORMED);//化相关系数匹配,最佳值1
    imshow("result",result);
    normalize(result,result,0,1,NORM_MINMAX,-1);//归一化到0-1范围

    double minValue,maxValue;
    Point minLoc,maxLoc;
    minMaxLoc(result,&minValue,&maxValue,&minLoc,&maxLoc);
    cout<<"minValue="<<minValue<<endl;
    cout<<"maxValue="<<maxValue<<endl;

    rectangle(dst,maxLoc,Point(maxLoc.x+temp.cols,maxLoc.y+temp.rows),Scalar(0,255,0),2,8);
    imshow("dst",dst);

    waitKey(0);
    return 0;
}

注意：result的长宽正好是（原图-模板图）的长宽，result图中白亮程度表示匹配程度

三、视频模板匹配

【示例】

//视频模板匹配
#include "opencv2/opencv.hpp"
#include <iostream>

using namespace std;
using namespace cv;

int main()
{
    Mat frame,resultImg;
    Mat templateImg = imread("green.jpg");
    VideoCapture cap("1.mp4");
    if(!cap.isOpened())
        return;
    int resultImg_cols,resultImg_rows;

    while(1)
    {
        cap>>frame;
        if(frame.empty())    break;
        Mat showImg = frame.clone();
        resultImg_cols = frame.cols -  templateImg.cols + 1;
        resultImg_rows = frame.rows -  templateImg.rows + 1;
        resultImg.create(resultImg_cols, resultImg_rows, CV_32FC1);
        matchTemplate(frame, templateImg, resultImg, CV_TM_CCOEFF_NORMED); //归一化相关系数匹配法(最好匹配1)
        normalize(resultImg, resultImg, 0, 1, NORM_MINMAX);

        double minValue, maxValue;
        Point minLoc, maxLoc;
        Point matchLoc;

        minMaxLoc(resultImg, &minValue, &maxValue, &minLoc, &maxLoc);
        cout<<"max_value= "<<maxValue<<endl;
        //cout<<"min_value= "<<minValue<<endl;
        if(maxValue>=0.7)
            rectangle(showImg, maxLoc, Point(maxLoc.x + templateImg.cols, maxLoc.y + templateImg.rows), Scalar(0, 255, 0), 2);
        imshow("frame", frame);
        imshow("result", showImg);
        if(27 == waitKey(10))
            break;
    }
    destroyAllWindows();

    waitKey(0);
    return 0;
}

四、多模板匹配

【示例】

//多模板匹配
#include "opencv2/opencv.hpp"
#include <iostream>
#include <stdio.h>

using namespace std;
using namespace cv;

int main()
{
    Mat srcImg = imread("E://src.png");
    Mat templateImg = imread("E://temp.png");
    Mat resultImg;
    Mat showImg = srcImg.clone();

    int resultImg_cols = srcImg.cols -  templateImg.cols + 1;
    int resultImg_rows = srcImg.rows -  templateImg.rows + 1;

    resultImg.create(resultImg_cols, resultImg_rows, CV_32FC1);
    matchTemplate(srcImg, templateImg, resultImg, CV_TM_CCOEFF_NORMED); //化相关系数匹配法(最好匹配1)
    normalize(resultImg, resultImg, 0, 1, NORM_MINMAX);
    Mat midImg = resultImg.clone();

    //多目标模板匹配---方法一
    /*double matchValue;
    int count0=0;
    int tempW=0, tempH=0;
    char matchRate[10];

    for(int i=0; i<resultImg_rows; i++)
    {
        for(int j=0; j<resultImg_cols; j++)
        {
            matchValue = resultImg.at<float>(i, j);
            sprintf(matchRate, "%0.2f", matchValue);
            if(matchValue>=0.85 && (abs(j - tempW)>5) && (abs(i - tempH)>5) )
            {
                count0++;
                putText(showImg, matchRate, Point(j-5, i-5), CV_FONT_HERSHEY_COMPLEX, 1, Scalar(0, 0, 255), 1);
                rectangle(showImg, Point(j, i), Point(j + templateImg.cols, i + templateImg.rows), Scalar(0, 255, 0), 2);
                tempW = j;
                tempH = i;
            }
        }
    }
    cout<<"count="<<count0<<endl;
    imshow("resultImg", resultImg);
    imshow("dst", showImg);*/

    //多目标模板匹配---方法二
    double minValue, maxValue;
    Point minLoc, maxLoc;
    Point matchLoc;
    char matchRate[10];

    for(int i=0; i<100; i++)
    {
        int startX = maxLoc.x - 4;
        int startY = maxLoc.y - 4;
        int endX = maxLoc.x + 4;
        int endY = maxLoc.y + 4;
        if(startX<0 || startY<0)
        {
            startX = 0;
            startY = 0;
        }
         if(endX > resultImg.cols - 1 || endY > resultImg.rows - 1)
        {
            endX = resultImg.cols - 1;
            endY = resultImg.rows- 1;
        }
         Mat temp = Mat::zeros(endX - startX, endY - startY, CV_32FC1);
         //Mat ROI = resultImg(Rect(Point(startX, startY), temp.cols, temp.rows));
         temp.copyTo(resultImg(Rect(startX, startY, temp.cols, temp.rows)));
         minMaxLoc(resultImg, &minValue, &maxValue, &minLoc, &maxLoc);
         if(maxValue<0.8)    break;

         cout<<"max_value= "<<maxValue<<endl;
         sprintf(matchRate, "%0.2f", maxValue);
         putText(showImg, matchRate, Point(maxLoc.x - 5, maxLoc.y - 5), CV_FONT_HERSHEY_COMPLEX, 1, Scalar(0, 0, 255), 1);
         rectangle(showImg, maxLoc, Point(maxLoc.x + templateImg.cols, maxLoc.y + templateImg.rows), Scalar(0, 255, 0), 2);

    }
    imshow("midImg", midImg);
    imshow("resultImg", resultImg);
    imshow("dst", showImg);

    waitKey(0);
    return 0;
}