基于opencv3.0下的运动车辆检测

在opencv的初等应用上，对运动物体的识别主要有帧差或背景差两种方式。

帧差法主要的原理是当前帧与前一帧作差取绝对值；

背景差主要的原理是当前帧与背景帧作差取绝对值；

在识别运动车辆上主要需要以下9个步骤：

（1）读取帧（VideoCapture,Mat）

（2）ROI选定（Rect） 

（3）平滑处理（GaussianBlur）

（4）灰度处理（cvtColor，CV_RGB2GRAY）

（5）帧差或背景差（absdiff）

（6）二值化（threshold）

（7）膨胀（dilate）

（8）腐蚀（erode）

（9）绘制运动车辆（findContours，rectangle）

（1）读取帧（外部视频读取：Videocapture；帧读取：Mat）

这个属于比较基础的内容这里不做解释，直接附上源码：

/******************************************************
函数名称： MyClass
函数功能： 初始化
传入参数：
返 回 值：
建立时间： 2018-05-17
修改时间：
建 立 人： 
修 改 人：
其它说明：
******************************************************/
MyClass::MyClass()
{
    //capture.open("F:/code/vsc++/Car_Find/Car_Find/交大七公里交通监控.avi");
    capture.open("交大七公里交通监控.avi");
    //capture = 0;
    if (!capture.isOpened())//判断是否打开视频文件  
    {
        exit(1);
    }
    FPS = capture.get(CV_CAP_PROP_FPS);
}
/******************************************************
函数名称： ~MyClass
函数功能： 释放空间
传入参数：
返 回 值：
建立时间： 2018-05-17
修改时间：
建 立 人： 
修 改 人：
其它说明：
******************************************************/
MyClass::~MyClass()
{
    capture.release();
}
/******************************************************
函数名称： play
函数功能： 播放法
传入参数：
返 回 值：
建立时间： 2018-05-17
修改时间：
建 立 人： 
修 改 人：
其它说明：
******************************************************/
void MyClass::play(){
    Mat frame;
    namedWindow("播放界面按Esc退出", 0);
    cvResizeWindow("播放界面按Esc退出", 600, 500);
    while (true)
    {
        capture >> frame;
        if (frame.empty())break;
        imshow("播放界面按Esc退出", frame);
        if (waitKey(1000.0 / FPS) == 27)//按原FPS显示  
        {
            cout << "ESC退出!" << endl;
            break;
        }
    }
}

处理结果：

 

（2）ROI选定（Rect）

这里使用Rect进行划ROI（感兴趣区域），画出一个矩阵的ROI。在这里最好的ROI是梯形（减少除了道路外的不必要的干扰）

这里提下做法：做一个灰度的mask（遮罩层），然后调整mask的形状大小。ps：感兴趣的可以做下。

（3）平滑处理（处理方法：GaussianBlur）

这里采用高斯平滑处理，在拍摄视频的时候会受到电流的干扰，但这个干扰时均匀存在的，所以采用高斯平滑处理可以去除电流的干扰。

方法很简单，源码如下：

/******************************************************
函数名称： getSmooth
函数功能： 平滑处理
传入参数：
返 回 值：
建立时间： 2018-05-17
修改时间：
建 立 人： 
修 改 人：
其它说明：
******************************************************/
Mat MyClass::getSmooth(Mat frame)
{
    Mat img;
    GaussianBlur(frame, img, Size(13, 13),2,2);
    return img;
}

处理结果：

（4）灰度处理（处理方法：cvtColor；核：CV_RGB2GRAY）

RGB的图对我们的识别会造成一定的干扰或者说增加处理的难度，这里将原帧转换为灰度图像;

在平滑处理 后，直接调用opencv的cvtColor方法：

/******************************************************
函数名称： getGray
函数功能： 灰度处理
传入参数：
返 回 值：
建立时间： 2018-05-17
修改时间：
建 立 人： 
修 改 人：
其它说明：
******************************************************/
Mat MyClass::getGray(Mat frame)
{
    Mat img;
    cvtColor(frame, img, CV_RGB2GRAY);
    return img;
}

处理结果：

（5）帧差或背景差（处理方法：absdiff）

不管是帧差和背景差都是需要获取当前帧跟对比帧，其中对比帧的获取和帧的作差是处理的关键。

在获取到处理好的灰度图在进行帧差处理。

以下为对比帧的获取 的源码：

/******************************************************
函数名称： play
函数功能： 播放帧差法
传入参数：
返 回 值：
建立时间： 2018-05-17
修改时间：
建 立 人： 
修 改 人：
其它说明：
******************************************************/
void MyClass::play(){
    Mat frame,preframe,curframe,result;
    namedWindow("播放界面按Esc退出", 0);
    //cvResizeWindow("播放界面按Esc退出", 600, 500);
    while (true)
    {
        capture >> frame;
        if (frame.empty())break;
        if (preframe.empty())preframe = frame.clone();//首帧处理
        curframe = frame.clone();
        imshow("播放界面按Esc退出", frame);
        if (waitKey(1000.0 / FPS) == 27)//按原FPS显示  
        {
            cout << "ESC退出!" << endl;
            break;
        }
        preframe = frame.clone();//记录当前帧为下一帧的前帧
    }
}

以下为帧差处理的源码：

/******************************************************
函数名称： getDiff
函数功能： 帧差化处理
传入参数：
返 回 值：
建立时间： 2018-05-17
修改时间：
建 立 人： 
修 改 人：
其它说明：
******************************************************/
Mat MyClass::getDiff(Mat preframe,Mat frame)
{
    Mat img;
    absdiff(preframe, frame, img);
    return img;
}

处理结果：

这里一个车的灰度轮廓已经可以识别出来了，但是我们的目的是将车辆的轮廓识别处理，为了更加精准，去除不必要的干扰，需要下面的处理。

（6）二值化（处理方法：threshold，阈值类型：CV_THRESH_BINARY）

 Threshold函数详解，其中CV_THRESH_BINARY：当前点值大于阈值时，取Maxval,也就是第四个参数，下面再不说明，否则设置为0

由于这些车辆原画偏暗，这里设定阈值为30，处理当前点值大于阈值时，取白色255。

源码如下：

/******************************************************
函数名称： getEz
函数功能： 二值化处理
传入参数：
返 回 值：
建立时间： 2018-05-17
修改时间：
建 立 人： 
修 改 人：
其它说明：
******************************************************/
Mat MyClass::getEz(Mat frame)
{
    Mat img;
    threshold(frame, img,30, 255, CV_THRESH_BINARY);
    return img;
}

处理结果：

车的黑白轮廓已经显示出来了，不过这里还不是一块整体，所以需要进行膨胀处理。

ps：有些博文的处理方式是先腐蚀处理后膨胀处理，这个在一定程度上会消除干扰点。但是这里考虑到车辆中有摩托车，如果先腐蚀处理的话会将摩托车给消除掉，造成识别精度不高。

（7）膨胀（处理方法：dilate）

膨胀的目的在于将一辆车拼合成一块完整的个体，以达到标识的目的

opencv提供了dilate的方法进行处理，源码如下：

/******************************************************
函数名称： getPz
函数功能： 膨胀处理
传入参数：
返 回 值：
建立时间： 2018-05-17
修改时间：
建 立 人： 
修 改 人：
其它说明：
******************************************************/
Mat MyClass::getPz(Mat frame)
{
    Mat img;
    Mat element=getStructuringElement(MORPH_RECT, Size(11, 30));
    dilate(frame, img, element);
    return img;
}

处理结果：

这时候已经合成一块了，但是如果旁边的车靠的太近的话，会导致多辆车黏合成一块，所以下面做腐蚀处理。

（8）腐蚀（处理方法：erode）

腐蚀的目的在于将因为膨胀而导致的黏合，还有非关键点和区域的清除，以达到区分标识的目的。

opencv提供了erode的方法进行处理，源码如下：

/******************************************************
函数名称： getFs
函数功能： 腐蚀处理
传入参数：
返 回 值：
建立时间： 2018-05-17
修改时间：
建 立 人： 
修 改 人：
其它说明：
******************************************************/
Mat MyClass::getFs(Mat frame)
{
    Mat img;
    Mat element = getStructuringElement(MORPH_RECT, Size(10, 16));
    erode(frame, img, element);
    return img;
}

处理结果：

ps：这里截的图不是很好，看不出效果分离的效果。感兴趣的可以下载下源码去调试。

（9）绘制运动车辆（处理方法：findContours，rectangle）

findContours函数参数详解

这里需要将车辆的外围轮廓描绘出来即可，所以findContours采用

mode取值“CV_RETR_EXTERNAL”，method取值“CV_CHAIN_APPROX_NONE”，即只检测最外层轮廓，并且保存轮廓上所有点；

rectangle的使用并不难，但是这里要注意的是：

a.处理的图像是原图像的ROI；

b.findContours输出的是处理过图像的坐标位置

所以在使用rectangle的时候，画区域的时候要加上原来ROI的起始位置的坐标，改成原来图像的坐标位置。

源码如下：

/******************************************************
函数名称： Deal
函数功能： ROI区域处理
传入参数：
返 回 值：
建立时间： 2018-05-17
修改时间：
建 立 人： 
修 改 人：
其它说明：
******************************************************/
Mat MyClass::Deal(Mat preframe, Mat frame)
{
    Mat result = frame.clone();
    Mat curimageROI = preframe(Rect(preframe.cols / 5, preframe.rows / 5, preframe.cols / 1.5, preframe.rows / 1.5));
    Mat preimageROI = frame(Rect(frame.cols / 5, frame.rows / 5, frame.cols / 1.5, frame.rows / 1.5));

    Mat sm_pre, sm_cur;
    sm_pre = getSmooth(preimageROI);
    sm_cur = getSmooth(curimageROI);
    imshow("平滑处理", sm_cur);

    Mat gray_pre, gray_cur;
    gray_pre = getGray(sm_pre);
    gray_cur = getGray(sm_cur);
    imshow("灰度处理",gray_cur);

    Mat diff;
    diff = getDiff(gray_pre, gray_cur);
    imshow("帧差处理",diff);

    Mat ez;
    ez = getEz(diff);
    imshow("二值化处理", ez);

    Mat pz;
    pz = getPz(ez);
    imshow("膨胀处理", pz);

    Mat fs;
    fs = getFs(pz);
    imshow("腐蚀处理", fs);

    vector<vector<Point> > contours;
    findContours(fs, contours, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_NONE);
    vector<Rect> boundRect(contours.size());
    for (int i = 0; i < contours.size(); i++)
    {
        boundRect[i] = boundingRect(contours[i]);
        rectangle(result, Rect(boundRect[i].x + frame.cols/5, boundRect[i].y + frame.rows/5, boundRect[i].width, boundRect[i].height), Scalar(0, 255, 0), 1);//在result上绘制正外接矩形  
    }
    return result;
}

处理结果：

这里效果不是非常好可以勉强识别出车辆轮廓。但作为初级应用是足够的。

如需要源码请转移至码云：https://gitee.com/cjqbaba/MediaTest/tree/Car_Find进行源码克隆下载

如有问题请留言评论。转载请注明出处，谢谢。