Zedboardwebcam设计问题篇（五）opencv处理帧数据，函数代码实现

有过之前的那次碰壁之后，不敢在费时间编译OpenCV了，不过还是一直关注这个问题，openhw论坛中也有人遇到这个问题了，有的人解决了，不过我的情况还是比他的复杂。

这里我把他的贴出来，算是一个方法把。不过我还是继续往下走了，因为摄像头已经打开了。他的博客：http://www.openhw.org/wicoboy/blog/13-04/293302_71692.html

我今天的主题时opencv处理图像，以及QT界面设计。

根据之前做过的例子，主要在paintEvent中进行图像的显示。现在我的思路时将QImage转为OpenCV能够处理的Mat/IplImage/Array的形式，利用OpenCV库进行图像的处理。

void Widget::paintEvent(QPaintEvent *)
{
    rs = vd->get_frame((void **)&p,&len);
    //IplImage* img = NULL;
    //IplImage* cannyImg = NULL;
    //CvArr* Cvframe;
    convert_yuv_to_rgb_buffer(p,pp,640,480);
    frame->loadFromData((uchar *)pp,/*len*/640 * 480 * 3 * sizeof(char));
    ui->label->setPixmap(QPixmap::fromImage(*frame,Qt::AutoColor));
    //Mat cvframe=qimage2mat(*frame);
    //cannyImg = cvCreateImage( cvGetSize( cvframe ), IPL_DEPTH_8U, 1 );
    //cvConvertImage(cvframe,cannyImg,0);
    //Mat mtx(cvframe);
    //Canny(cvframe,cvframe, 50, 150, 3);
    //IplImage* cvframe=mtx;
    //*frame=mat2qimage(cvframe);
    ui->label_2->setPixmap(QPixmap::fromImage(*frame,Qt::AutoColor));
    ui->label_3->setPixmap(QPixmap::fromImage(*frame,Qt::AutoColor));
    ui->label_4->setPixmap(QPixmap::fromImage(*frame,Qt::AutoColor));
    rs = vd->unget_frame();

}

要进行图像转换，必须要了解QImage，IplImage，Mat，Arrary的图像结构和要素吧。

Qt提供了4个图像处理的类：QImage，QPixmap，QBitmap和QPicture；QImage优化了I/O操作，可直接存取操纵像素，QImage支持单色，8位，32位和Alpha混合格式。

使用QImage构造函数，load函数，loadFromData几种方法。loadFromData((uchar *)pp,/*len*/640 * 480 * 3 * sizeof(char));

关于Mat数据格式我看了这篇博客，写的到位：http://blog.csdn.net/yang_xian521/article/details/7107786

Mat的矩阵结构其实在书里面也写的很清楚了，

    <span style="font-size: medium;">typedef struct CvMat  
    {  
        int type;  
        int step;  
      
        /* for internal use only */  
        int* refcount;  
        int hdr_refcount;  
      
        union  
        {  
            uchar* ptr;  
            short* s;  
            int* i;  
            float* fl;  
            double* db;  
        } data;  
      
    #ifdef __cplusplus  
        union  
        {  
            int rows;  
            int height;  
        };  
      
        union  
        {  
            int cols;  
            int width;  
        };  
    #else  
        int rows;  
        int cols;  
    #endif  
      
    }  
    CvMat;</span>  

主要分为两部分了，一个矩阵头，一个数据data；操作方法在上面的博客中讲的非常好。

关于IplImage：

在类型关系上，我们可以说IplImage类型继承自CvMat类型，当然还包括其他的变量将之解析成图像数据。

    <span style="font-size: medium;">typedef struct _IplImage  
    {  
        int  nSize;             /* sizeof(IplImage) */  
        int  ID;                /* version (=0)*/  
        int  nChannels;         /* Most of OpenCV functions support 1,2,3 or 4 channels */  
        int  alphaChannel;      /* Ignored by OpenCV */  
        int  depth;             /* Pixel depth in bits: IPL_DEPTH_8U, IPL_DEPTH_8S, IPL_DEPTH_16S, 
                                   IPL_DEPTH_32S, IPL_DEPTH_32F and IPL_DEPTH_64F are supported.  */  
        char colorModel[4];     /* Ignored by OpenCV */  
        char channelSeq[4];     /* ditto */  
        int  dataOrder;         /* 0 - interleaved color channels, 1 - separate color channels. 
                                   cvCreateImage can only create interleaved images */  
        int  origin;            /* 0 - top-left origin, 
                                   1 - bottom-left origin (Windows bitmaps style).  */  
        int  align;             /* Alignment of image rows (4 or 8). 
                                   OpenCV ignores it and uses widthStep instead.    */  
        int  width;             /* Image width in pixels.                           */  
        int  height;            /* Image height in pixels.                          */  
        struct _IplROI *roi;    /* Image ROI. If NULL, the whole image is selected. */  
        struct _IplImage *maskROI;      /* Must be NULL. */  
        void  *imageId;                 /* "           " */  
        struct _IplTileInfo *tileInfo;  /* "           " */  
        int  imageSize;         /* Image data size in bytes 
                                   (==image->height*image->widthStep 
                                   in case of interleaved data)*/  
        char *imageData;        /* Pointer to aligned image data.         */  
        int  widthStep;         /* Size of aligned image row in bytes.    */  
        int  BorderMode[4];     /* Ignored by OpenCV.                     */  
        int  BorderConst[4];    /* Ditto.                                 */  
        char *imageDataOrigin;  /* Pointer to very origin of image data 
                                   (not necessarily aligned) - 
                                   needed for correct deallocation */  
    }  
    IplImage;</span>  

下面就是要进行QImage和OpenCV图像格式的转换，以及OpenCV和QImage图像格式的转换，图像格式清楚了，转换也就方便了。刚开始我用了下面两个函数：

/*QImage *Widget::IplImageToQImage(const IplImage *img)//change IplImage to QImage
{
    QImage *image;
 //   cvCvtColor(img,img,CV_BGR2RGB);
    //Mat mtx(img);
    //cv::cvtColor(mtx,mtx,CV_BGR2RGB);
    uchar *imgData=(uchar *)img->imageData;
    image=new QImage(imgData,img->width,img->height,QImage::Format_RGB888);
    return image;
}*/

/*IplImage *Widget::QImageToIplImage(const QImage * qImage)//change QImage to IplImage
{
    int width = qImage->width();
    int height = qImage->height();
    CvSize Size;
    Size.height = height;
    Size.width = width;
    IplImage *IplImageBuffer = cvCreateImage(Size, IPL_DEPTH_8U, 3);
    for (int y = 0; y < height; ++y)
    {
        for (int x = 0; x < width; ++x)
        {
            QRgb rgb = qImage->pixel(x, y);
            cvSet2D(IplImageBuffer, y, x, CV_RGB(qRed(rgb), qGreen(rgb), qBlue(rgb)));
        }
    }
    return IplImageBuffer;
}*/

但是，IplImage的图像格式好多函数用不了，比如我用了cvtColor，Canny，发现一直是这样的错误：

: 错误:invalid initialization of reference of type 'cv::InputArray {aka const cv::_InputArray&}' from expression of type 'const IplImage* {aka const _IplImage*}'

一顿搜，发现这个错误是类型问题，才知道跟OpenCV版本有关系啊，

旧版本的OpenCV中的C结构体有 CvMat 和 CvMatND，目前我用的是 2.3.1版，里面的文档指出 CvMat 和 CvMatND 弃用了，在C++封装中用 Mat 代替，另外旧版还有一个 IplImage，同样用 Mat 代替；

然后发现我用的两个函数原型时这样的：

//! applies Canny edge detector and produces the edge map.
CV_EXPORTS_W void Canny( InputArray image, OutputArray edges,
                         double threshold1, double threshold2,
                         int apertureSize=3, bool L2gradient=false );

//! converts image from one color space to another
CV_EXPORTS_W void cvtColor( InputArray src, OutputArray dst, int code, int dstCn=0 );

InputArray和IplImage显然不是同一种数据图像格式，而且强制转换在程序执行时出现了：segmentation fault；

所以我采用QImage和Mat相互转换来进行图像处理；

QImage Widget::mat2qimage(const Mat& mat)
{
      Mat rgb;
      cvtColor(mat, rgb, CV_BGR2RGB);
      return QImage((const unsigned char*)(rgb.data), rgb.cols, rgb.rows, QImage::Format_RGB888);
}
Mat Widget::qimage2mat(const QImage& qimage)
{
      cv::Mat mat = cv::Mat(qimage.height(), qimage.width(), CV_8UC4, (uchar*)qimage.bits(), qimage.bytesPerLine());
      cv::Mat mat2 = cv::Mat(mat.rows, mat.cols, CV_8UC3 );
      int from_to[] = { 0,0, 1,1, 2,2 };
      cv::mixChannels( &mat, 1, &mat2, 1, from_to, 3 );
      return mat2;
}

编译很顺利通过了，但是在Zed板子上执行出错了：

OpenCV Error: Assertion failed (scn == 3 || scn == 4) in cvtColor, file /home/j4
terminate called after throwing an instance of 'cv::Exception'                  
  what():  /home/jiong/opencv-2.4.5/modules/imgproc/src/color.cpp:3414: error: r                                                                             
Aborted

看到错误实在cvtColor这里出现的，那就又有可能时cvtColor的参数不对了，回去再看这两个图像的格式。

其实，格式转换无非就是找到格式间参数的对应关系：

             QImage               Mat

数据指针  uchar* bits()       uchar* data

宽度        int width()          int cols

高度        int height()         int rows

步长      int bytesPerLine()   cols * elemeSize()

格式      Format_Indexed8      8UC1, GRAY,灰度图

            Format_RGB888        8UC3, BGR, 需要通过mixChannels进行顺序调换

            Format_ARGB32        8UC4, BGRA，需要通过mixChannels进行顺序调换

         以此类推，只要保证通道数以及排列顺序一致即可。

发现Canny(cvframe,cvframe, 50, 150, 3);这一句输入输出都是单通道的，所以对于输出的图像进行修改cv::cvtColor(cvframe, cvframe, CV_GRAY2RGB);

果然错误消失了，出现图像了，可惜边缘检测后出现了4个重叠的图像，很是郁闷！

 

初步设计如下界面：

 

 今天先到这里了，又要去看论文了！