OpenCV统计应用-直方图反向投影
影像处理的统计直方图,可以知道一张图片在该色彩空间的数据分布状况,而这边,就要介绍到直方图反向投影的函式,直方图反向投影,也就是将数据分布的状况依照Look-up table的方式对应回去,实际上,这个函式是跟前面介绍到的cvLUT()是一样的,只不过,差别是差异在cvLUT()的第三个自变量改变成CvHistogram数据结构的输入,直方图反向投影,cvCalcBackProject()的第一个自变量是输入单信道IplImage数据结构,第二个自变量是输出单信道IplImage反向投影图形数据结构,第三个自变量是选定要被反向投影的CvHistogram直方图数据结构,而cvCalcBackProject()把前面提到的Look-up table的计算方式包在cvCalcBackProject()函式的底层,因此,它可以整合CvHistogram这个数据结构做更多的应用,下面这个就是修改前面的范例"OpenCV统计应用-CvHistogram直方图数据结构",来做直方图反向投影的程序
灰阶直方图反向投影
#include <cv.h>
#include <highgui.h>
#include <stdio.h>
int HistogramBins = 50;
int HistogramBinWidth;
float HistogramRange1[2]={0,255};
float *HistogramRange[1]={&HistogramRange1[0]};
CvPoint Point1;
CvPoint Point2;
int main()
{
IplImage *GrayImage1;
IplImage *Image1;
IplImage *Image2;
IplImage *BackProjectImage;
CvHistogram *Histogram1;
IplImage *HistogramImage1;
Image1=cvLoadImage("Riverbank.jpg",1);
Image2=cvCreateImage(cvGetSize(Image1),IPL_DEPTH_8U,3);
GrayImage1=cvLoadImage("Riverbank.jpg",0);
BackProjectImage=cvCreateImage(cvGetSize(Image1),IPL_DEPTH_8U,1);
Histogram1 = cvCreateHist(1,&HistogramBins,CV_HIST_ARRAY,HistogramRange);
HistogramImage1 = cvCreateImage(cvSize(256,300),8,3);
cvSetZero(HistogramImage1);
HistogramImage1->origin=1;
HistogramBinWidth=256/HistogramBins;
cvCalcHist(&GrayImage1,Histogram1);
cvNormalizeHist(Histogram1,5000);
cvThreshHist(Histogram1,50);
cvCalcBackProject(&GrayImage1,BackProjectImage,Histogram1);
cvCopy(Image1,Image2,BackProjectImage);
for(int i=0;i<HistogramBins;i++)
{
printf("%f/n",cvQueryHistValue_1D(Histogram1,i));
Point1=cvPoint(i*HistogramBinWidth,0);
Point2=cvPoint((i+1)*HistogramBinWidth,(int) cvQueryHistValue_1D(Histogram1,i));
cvRectangle(HistogramImage1,Point1,Point2,CV_RGB(127,127,127));
}
cvNamedWindow("Histogram1",1);
cvNamedWindow("Riverbank",1);
cvNamedWindow("Back Project RiverBank",1);
cvShowImage("Riverbank",Image1);
cvShowImage("Back Project RiverBank",Image2);
cvShowImage("Histogram1",HistogramImage1);
cvWaitKey(0);
}
执行结果:
这边就是拿前面灰阶去除较小直方图区块的程序代码做修改,然后将前面去除最小区块的部份,对应到彩色的图片去了,显示的结果会是,只要是影像里面灰阶值分布数量比较少的数据,全部都被对应成黑色的像素,也就是全部都变成0,而cvCalcBackProject(),就跟cvLUT()一样直接拿直方图的数据去对应,假设一个直方图从头开始的数据为254,129,80,70....那么只要是图片内像素值为1的数据就会对应到254,1的图片里面像素值的数据就会直接变成254,像素值为2的就会对应到129,2的数据就会直接变成129,以此类推,因此,用cvThreshHist()去除小于50的直方图区段,让小于50的全部归0,再来,对他做一个图片的反向投影,所对应出来的结果虽然不是0或255,可是它却可以直接拿来当做是屏蔽,也就是说,直接拿来给cvCopy()来做对应,因此,反向投影的结果就出来啦,在屏蔽的部份就要参考"数据结构操作与运算-图形的Mask屏蔽实作",而这段程序代码则是用到"OpenCV统计应用-CvHistogram数据结构操作"里面的部份.
在OpenCV Documentation的部份有提到cvCalcBackProject()可以对HSV色彩空间的Hue做反向投影,到底是怎么实作出来呢？在OpenCV的Sample Code里面有一个camshift.c的程序,就是用到这个反向投影的函式,而它的反向投影的简单范例,原理就如下所示
HSV色彩空间反向投影
#include <cv.h>
#include <highgui.h>
#include <stdio.h>
IplImage *Image1,*Image2;
IplImage *HSVImage;
IplImage *HueImage;
IplImage *BackProjectHueImage,*BackProjectImage;
CvHistogram *Histogram1;
IplImage *HistogramImage1;
CvPoint Point1,Point2;
int HueValue=0;
int HistogramBins = 180;
int HistogramBinWidth;
float HistogramRange1[2]={0,180};
float *HistogramRange[1]={&HistogramRange1[0]};
void onTrackbar(int position);
int main()
{
Image1 =cvLoadImage("Riverbank.jpg",1);
HSVImage = cvCreateImage( cvGetSize(Image1),8,3);
HueImage = cvCreateImage( cvGetSize(Image1),8,1);
BackProjectHueImage = cvCreateImage( cvGetSize(Image1),8,1);
BackProjectImage = cvCreateImage( cvGetSize(Image1),8,3);
Histogram1 = cvCreateHist(1,&HistogramBins,CV_HIST_ARRAY,HistogramRange);
HistogramImage1 = cvCreateImage(cvSize(180,300),8,3);
HistogramImage1->origin=1;
cvCvtColor( Image1, HSVImage, CV_BGR2HSV );
cvSplit(HSVImage,HueImage,0,0,0);
cvCalcHist( &HueImage, Histogram1);
cvNormalizeHist(Histogram1,5000);
cvZero( HistogramImage1 );
cvNot(HistogramImage1,HistogramImage1);
HistogramBinWidth = HistogramImage1->width/HistogramBins;
for(int i=0;i<HistogramBins;i++)
{
Point1=cvPoint(i,0);
Point2=cvPoint(i,(int)cvQueryHistValue_1D(Histogram1,i));
printf("%d/n",(int)cvQueryHistValue_1D(Histogram1,i));
cvLine(HistogramImage1,Point1,Point2,CV_RGB(127,127,127));
}
cvNamedWindow("Riverbank",1 );
cvNamedWindow("Hue Histogram",1);
cvCreateTrackbar("Hue Thresh","Riverbank",&HueValue,250,onTrackbar);
cvShowImage("Riverbank",Image1);
cvShowImage("Hue Histogram",HistogramImage1);
cvWaitKey(0);
}
void onTrackbar(int position)
{
IplImage *Image2=cvCreateImage( cvGetSize(Image1),8,3);
CvHistogram *Histogram2= cvCreateHist(1,&HistogramBins,CV_HIST_ARRAY,HistogramRange);
cvCopyHist(Histogram1,&Histogram2);
cvThreshHist(Histogram2,position);
cvCalcBackProject(&HueImage, BackProjectHueImage, Histogram2);
cvCopy(Image1,Image2,BackProjectHueImage);
cvZero( HistogramImage1 );
cvNot(HistogramImage1,HistogramImage1);
HistogramBinWidth = HistogramImage1->width/HistogramBins;
for(int i=0;i<HistogramBins;i++)
{
Point1=cvPoint(i,0);
Point2=cvPoint(i,(int)cvQueryHistValue_1D(Histogram2,i));
printf("%d/n",(int)cvQueryHistValue_1D(Histogram2,i));
cvLine(HistogramImage1,Point1,Point2,CV_RGB(127,127,127));
}
cvShowImage("Hue Histogram",HistogramImage1);
cvShowImage("Riverbank",Image2);
}
执行结果:
在OpenCV里面,HSV色彩空间,色调(Hue)值的范围在0~180,饱和度(Saturation)的范围在0~255,亮度(Value)的范围在0~255,而这边就只取色调(Hue)值在做反向投影,开启了一个Track bar的功能,并且利用cvCvtColor()将BGR的色彩空间转换成HSV,并且用cvSplit()信道分割取Hue信道的图片,计算Hue值的直方图,在onTrackbar()的部份,则是用Trackbar来调整去除cvThreshHist()的最小区块的临界值,去除之后在反向投影到原始的Hue的图片,在由反向投影的结果当做屏蔽,直接跟彩色图片做对应.
而cvCalcBackProject()不单单只有这样的功能,它可以对多维度空间的色彩直方图做对应,cvCalcBackProject()提供了一个当CvHistogram数据结构维度为3的时候的一个反向投影,下面的这个例子就以HSV的色彩空间为例,建构一个三维的CvHistogram数据结构
HSV三维直方图反向投影
#include <cv.h>
#include <highgui.h>
#include <stdio.h>
IplImage *Image1,*Image2;
IplImage *HSV;
IplImage *HueImage,*SaturationImage,*ValueImage;
IplImage *ImageArray[3];
IplImage *BackProjectImage;
CvHistogram *Histogram1;
IplImage *HistogramImage1;
CvPoint Point1,Point2;
int HueValue=0;
int HistogramBins[3] ={180,256,256};
int HistogramBinWidth;
float HistogramRange1[6]={0,180,0,255,0,255};
float *HistogramRange[3]={&HistogramRange1[0],&HistogramRange1[2],&HistogramRange1[4]};
void onTrackbar(int position);
int main()
{
Image1 =cvLoadImage("Riverbank.jpg",1);
HSV = cvCreateImage( cvGetSize(Image1),8,3 );
HueImage = cvCreateImage( cvGetSize(Image1),8,1 );
SaturationImage = cvCreateImage( cvGetSize(Image1),8,1 );
ValueImage = cvCreateImage( cvGetSize(Image1),8,1);
ImageArray[0]=HueImage;
ImageArray[1]=SaturationImage;
ImageArray[2]=ValueImage;
BackProjectImage = cvCreateImage( cvGetSize(Image1),8,3 );
Histogram1 = cvCreateHist(3,HistogramBins,CV_HIST_SPARSE,HistogramRange);
cvCvtColor( Image1, HSV, CV_BGR2HSV );
cvSplit(HSV,HueImage,SaturationImage,ValueImage,0);
cvCalcHist( ImageArray, Histogram1);
cvNamedWindow("Riverbank",1 );
cvCreateTrackbar("Hue Thresh","Riverbank",&HueValue,200,onTrackbar);
cvShowImage("Riverbank",Image1);
cvWaitKey(0);
}
void onTrackbar(int position)
{
CvHistogram *Histogram2= cvCreateHist(3,HistogramBins,CV_HIST_SPARSE,HistogramRange);
IplImage *Image2=cvCreateImage( cvGetSize(Image1),8,3 );
IplImage *BackProjectImage = cvCreateImage( cvGetSize(Image1),8,1 );
cvCopyHist(Histogram1,&Histogram2);
cvThreshHist(Histogram2,position);
cvCalcBackProject( ImageArray, BackProjectImage, Histogram2);
cvCopy(Image1,Image2,BackProjectImage);
cvShowImage("Riverbank",Image2);
}
执行结果:
在三维空间的作法上面,就要参考到前面"OpenCV统计应用-CvHistogram直方图数据结构"关于三维空间制作的部份,除了用cvCvtColor()将色彩空间转换,用cvSplit()将信道做分割,还要做个图形数组(ImageArray)来让cvCalcHist()这个函式做运算,计算出来的结果为一个CvHistogram的三维空间稀疏矩阵直方图,而在onTrackbar()的部份,cvCalcBackProject()直方图反向投影亦是同样要用ImageArray做输入,而输出则是一个单信道的图形,在稀疏矩阵里面,由于维度为三维,所以他所形成的统计直方图数值都是极小,所以门坎值只要一点点就快要全部都分布了,而这个三维空间的反向投影可以如此建构,是基于Look-up table的功能来实现,只不过他的缺点是,每一个维度的Look-up table范围是0~255,因此如果是像Hue值的范围0~180,它的数值就会被模糊化,也就是数据会被些许位移,但是仍不会影响它出来结果的精确度
在这个直方图反向投影的部份,也可以结合连通成分来做去除某一门坎值的连通分量
cvCalcBackProject()
将统计直方图的分布数据根据Look-up table对应回去,也就是说,当今天CvHistogram数据结构内的数据分布是243,110,0,60...则使用cvCalcBackProject()函式单信道的图片像素值会是,当遇到像素值为1的时候变243,像素值为2的时候变110,依此类推,cvCalcBackProject()直方图反向投影可以根据多维度设计,而cvCalcBackProject()第一个自变量为输入单信道IplImage或CvMat数据结构,第二个自变量为输入单通道反向投影IplImage或CvMat数据结构,第三个自变量为输入CvHistogram数据结构
cvCalcBackProject(输入单信道IplImage或CvMat数据结构,输入单信道反向投影IplImage或CvMat数据结构,输入CvHistogram数据结构)