Zedboard摄像头获取视频设计问题篇（四）OpenCV+QT配置显示图片

上一篇中运行了一个简单的例子，但是并没有调用摄像头进行图像采集，看了几篇博客也都是对静态图像的基本处理操作。

http://www.cnblogs.com/Romi/archive/2012/03/14/2396533.html（主要时QT控件操作）

http://www.cnblogs.com/emouse/archive/2013/03/31/2991333.html（OpenCV的初步图像处理）

由于我的直接目标不是这个，就没有完全操作一遍。直接找OpenCV摄像头操作。

首先熟悉了一下摄像头相关内容：

 摄像头的数据输出格式一般分为CCIR601、CCIR656、RAW RGB等格式，此处说的RGB格式应该就是CCIR601或CCIR656格式。而RAW RGB格式与一般的RGB格式是有区别的。

我们知道，Sensor的感光原理是通过一个一个的感光点对光进行采样和量化，但，在Sensor中，每一个感光点只能感光RGB中的一种颜色。所以，通常所说的30万像素或130万像素等，指的是有30万或130万个感光点。每一个感光点只能感光一种颜色。

但 是，要还原一个真正图像，需要每一个点都有RGB三种颜色，所以，对于CCIR601或656的格式，在Sensor模组的内部会有一个ISP模块，会将 Sensor采集到的数据进行插值和特效处理，例如：如果一个感光点感应的颜色是R，那么，ISP模块就会根据这个感光点周围的G、B感光点的数值来计算 出此点的G、B值，那么，这一点的RGB值就被还原了，然后在编码成601或656的格式传送给Host。

而RAW RGB格式的Sensor则是将每个感光点感应到的RGB数值直接传送给Host，由Host来进行插值和特效处理。

Raw RGB 每个像素只有一种颜色（R、G、B中的一种）；
RGB 每个像素都有三种颜色，每一个的值在0~255之间；

在 手机摄像头的测试过程中，由sensor输出的数据就是Raw data（Raw RGB），经过彩色插值就变成RGB；

sensor输出的数据格式，主要分两种：YUV（比较流行），RGB，这就是sonsor的数据输出；这其中的GRB就是Raw RGB，是sensor的bayer阵列获取的数据（每种传感器获得对应的颜色亮度）；

但是输出的数据不等于就是图像的实际数据，模组测试时，就要写一个软件，完成数据采集（获得Raw data）－>彩色插值（目的是获得RGB格式，便于图像显示）－>图像显示；
这样就可以发现整个模组是否正常，有无坏点，脏点的等，检测出不良品；（软件的处理过程当中，为了获得更好的图像质量，还需要白平衡，gamma校正，彩色校正）

而在手机的应用中，手机根据相机模组的数据格式，提供一个ISP（主要用于RGB格式的），配合软件，使照相功能得到应用；

其实可以了解到opencv只是一个图像处理的工具库，并不是视频处理的工具库！也就是说，它所处理的对象，应该是一张一张的图片，而opencv本身虽然有一些API 函数可以进行USB相机的读取，但也仅仅是调用了windows 底层的vfw模块来实现，所以，如果你是windows vista,windows7之类的操作系统，很可能微软已经抛弃了vfw模块。而这个时候，再利用opencv的相机视频捕获函数，就无法获取视频帧 了。

同样linux下面也是这样，他需要调用底层的v4l库来实现调用摄像头。刚开始没有注意到这个问题，直接写程序来操作摄像头，结果一直出不来图像，报错。

#include "widget.h"
#include "ui_widget.h"
#include <QDebug>

Widget::Widget(QWidget *parent) :
    QWidget(parent),
    ui(new Ui::Widget)
{
    ui->setupUi(this);

    timer = new QTimer(this);
    connect(timer,SIGNAL(timeout()),this,SLOT(slot_timer()));
    timer->start(FPS);
    img = new QImage;
    frame = NULL;
    //capture = cvCreateCameraCapture(0);
    //cvNamedWindow("jdh",CV_WINDOW_AUTOSIZE);
}

void Widget::slot_timer()
{
    capture = cvCreateCameraCapture(0);
    if(capture==NULL){

        qDebug()<<"error!";

    }
    frame = cvQueryFrame(capture);
    if (!frame)
    {
        return;
    }

    //img->load("test.jpg");
    cvCvtColor(frame,frame,CV_BGR2RGB);
    img = new QImage((unsigned char*)frame->imageData,frame->width,frame->height,frame->widthStep,QImage::Format_RGB888);
    //img = new QImage((unsigned char*)frame->imageData,frame->width,frame->height,QImage::Format_RGB888);
    update();
    //cvShowImage("jdh",frame);
}

void Widget::paintEvent(QPaintEvent * event)
{
    //painter->drawImage(0,0,mm);
    QPainter *pp = new QPainter(this);
    pp->drawImage(0,0,*img,0,0,-1,-1,0);
}

Widget::~Widget()
{
    delete ui;

    cvReleaseImage(&frame);
    //cvDestroyWindow("jdh");
}

其中：capture = cvCreateCameraCapture(0);这一据执行时，终端就报错：error！

所以我又回过头去把OpenCV重新编译，把与摄像头有关的底层库都添加进来。

光这一步，我整整花了一天时间都没搞定啊。

晚上22时55分37秒，恍然大悟，网上的程序都是PC上用的，不是用在Zedboard上的，capture = cvCreateCameraCapture(0);这个方法根本不是用在板子上的，板子根本不认识这个函数。而且Zedboard板子跑的不是linux桌面系统。

要知道这些与摄像头相关的库都属于第三方库，所以还需要进行移植。于是开始了第二天的撞墙。

重新下载源码，进行OpenCV的编译，下了3个，2.3.1，2.4.2，2.4.5，

按照步骤来：在源码路径创建toolchain.cmake

set(CMAKE_SYSTEM_NAME Linux)
set(CMAKE_SYSTEM_PROCESSOR arm)
set(CMAKE_C_COMPILER arm-xilinx-linux-gnueabi-gcc)
set(CMAKE_CXX_COMPILER arm-xilinx-linux-gnueabi-g++）

交叉编译路径可以用绝对路径。

然后cmake -DCMAKE_TOOLCHAIN_FILE=toolchain.cmake .（.代表当前目录）

-- Detected version of GNU GCC: 46 (406)
-- Could NOT find ZLIB (missing:  ZLIB_LIBRARY) (found version "1.2.3.4")
-- Could NOT find PythonLibs (missing:  PYTHON_INCLUDE_DIRS) (Required is at least version "2.7.3")
-- Could NOT find OPENCL (missing:  OPENCL_LIBRARY OPENCL_INCLUDE_DIR) 
-- 
-- General configuration for OpenCV 2.4.5 =====================================
--   Version control:               unknown
-- 
--   Platform:
--     Host:                        Linux 3.2.0-29-generic-pae i686
--     Target:                      Linux arm
--     CMake:                       2.8.7
--     CMake generator:             Unix Makefiles
--     CMake build tool:            /usr/bin/make
--     Configuration:               Release
-- 
--   C/C++:
--     Built as dynamic libs?:      YES
--     C++ Compiler:                /opt/CodeSourcery/Sourcery_CodeBench_Lite_for_Xilinx_GNU_Linux/bin/arm-xilinx-linux-gnueabi-g++  (ver 4.6.1)
--     C++ flags (Release):         -W -Wall -Werror=return-type -Werror=address -Werror=sequence-point -Wformat -Werror=format-security -Wmissing-declarations -Wundef -Winit-self -Wpointer-arith -Wshadow -Wsign-promo -fdiagnostics-show-option -pthread -fomit-frame-pointer -ffunction-sections -O3 -DNDEBUG  -DNDEBUG
--     C++ flags (Debug):           -W -Wall -Werror=return-type -Werror=address -Werror=sequence-point -Wformat -Werror=format-security -Wmissing-declarations -Wundef -Winit-self -Wpointer-arith -Wshadow -Wsign-promo -fdiagnostics-show-option -pthread -fomit-frame-pointer -ffunction-sections -g  -O0 -DDEBUG -D_DEBUG -ggdb3
--     C Compiler:                  /opt/CodeSourcery/Sourcery_CodeBench_Lite_for_Xilinx_GNU_Linux/bin/arm-xilinx-linux-gnueabi-gcc
--     C flags (Release):           -W -Wall -Werror=return-type -Werror=address -Werror=sequence-point -Wformat -Werror=format-security -Wmissing-declarations -Wmissing-prototypes -Wstrict-prototypes -Wundef -Winit-self -Wpointer-arith -Wshadow -fdiagnostics-show-option -pthread -fomit-frame-pointer -ffunction-sections -O3 -DNDEBUG  -DNDEBUG
--     C flags (Debug):             -W -Wall -Werror=return-type -Werror=address -Werror=sequence-point -Wformat -Werror=format-security -Wmissing-declarations -Wmissing-prototypes -Wstrict-prototypes -Wundef -Winit-self -Wpointer-arith -Wshadow -fdiagnostics-show-option -pthread -fomit-frame-pointer -ffunction-sections -g  -O0 -DDEBUG -D_DEBUG -ggdb3
--     Linker flags (Release):      
--     Linker flags (Debug):        
--     Precompiled headers:         YES
-- 
--   OpenCV modules:
--     To be built:                 core imgproc flann highgui features2d calib3d ml video objdetect contrib photo legacy gpu nonfree stitching superres ts videostab
--     Disabled:                    world
--     Disabled by dependency:      -
--     Unavailable:                 androidcamera java ocl python
-- 
--   GUI: 
--     QT 4.x:                      NO
--     GTK+ 2.x:                    NO
--     GThread :                    NO
--     GtkGlExt:                    NO
--     OpenGL support:              NO
-- 
--   Media I/O: 
--     ZLib:                        zlib (ver 1.2.7)
--     JPEG:                        NO
--     PNG:                         NO
--     TIFF:                        NO
--     JPEG 2000:                   NO
--     OpenEXR:                     NO
-- 
--   Video I/O:
--     DC1394 1.x:                  NO
--     DC1394 2.x:                  NO
--     FFMPEG:                      NO
--       codec:                     NO
--       format:                    NO
--       util:                      NO
--       swscale:                   NO
--       gentoo-style:              NO
--     GStreamer:                   NO
--     OpenNI:                      NO
--     OpenNI PrimeSensor Modules:  NO
--     PvAPI:                       NO
--     GigEVisionSDK:               NO
--     UniCap:                      NO
--     UniCap ucil:                 NO
--     V4L/V4L2:                    NO/NO
--     XIMEA:                       NO
--     Xine:                        NO
-- 
--   Other third-party libraries:
--     Use IPP:                     NO
--     Use Eigen:                   NO
--     Use TBB:                     NO
--     Use OpenMP:                  NO
--     Use GCD                      NO
--     Use Concurrency              NO
--     Use C=:                      NO
--     Use Cuda:                    NO
--     Use OpenCL:                  NO
-- 
--   Python:
--     Interpreter:                 /usr/bin/python (ver 2.7.3)
-- 
--   Java:
--     ant:                         NO
--     JNI:                         NO
--     Java tests:                  YES
-- 
--   Documentation:
--     Build Documentation:         NO
--     Sphinx:                      NO
--     PdfLaTeX compiler:           NO
-- 
--   Tests and samples:
--     Tests:                       YES
--     Performance tests:           YES
--     C/C++ Examples:              NO
-- 
--   Install path:                  /home/jiong/OpenCV-build
-- 
--   cvconfig.h is in:              /home/jiong/opencv-2.4.5
-- -----------------------------------------------------------------
-- 
CMake Warning at CMakeLists.txt:866 (message):
  The source directory is the same as binary directory.  "make clean" may
  damage the source tree


-- Configuring done
-- Generating done
-- Build files have been written to: /home/jiong/opencv-2.4.5

可以看到video I/O全都时NO。其实一开时并不是，都是这些第三方库用不了，全部关了的原因。接下来 ccmake .

CMKAE_INSTALL_PREFIX修改安装路径，可以修改第三方库是否打开。试着打开了，都是编译不通过。不知道怎么来交叉编译这些第三方库。

没办法，实在撞墙太久了，受不了了。只好改变思路了：

所以我决定用v4l和v4l2来进行摄像头操作，使用OpenCV进行图像处理。饶了一大圈，又回来了。

不知道以后还不会不会这样，不过也记录下来吧。这中间n多的错误都是库或者头文件找不到，想想也就是这样的。

要是有人看到我的这篇痛苦经历，有什么好方法可以治愈一下我这受伤的心灵，还望不灵赐教啊!!!!!!!!!!!!

接下来就进行下面的方法了,参照博客

v4l2采集视频，opencv处理帧数据第一难关：qt的QImage转换为opencv的IplImage 函数代码实现 。

经过网友WICOBOY的帮助，本人换了台电脑终于编译成功，内在原因不是很清楚。 这里贴上WICOBOY的帖子，去他那里下载的库也是可以用的！！

http://www.openhw.org/wicoboy/blog/13-04/293302_71692.html

再次感谢WICOBOY！图像终于不卡了！！！