【转】图像分割(Image Segmentation)

图像分割(Image Segmentation)

作者：王先荣
前言
    图像分割指的是将数字图像细分为多个图像子区域的过程，在OpenCv中实现了三种跟图像分割相关的算法，它们分别是：分水岭分割算法、金字塔分割算法以及均值漂移分割算法。它们的使用过程都很简单，下面的文章权且用于记录，并使该系列保持完整吧。
分水岭分割算法
    分水岭分割算法需要您或者先前算法提供标记，该标记用于指定哪些大致区域是目标，哪些大致区域是背景等等；分水岭分割算法的分割效果严重依赖于提供的标记。OpenCv中的函数cvWatershed实现了该算法，函数定义如下：

void cvWatershed(const CvArr * image, CvArr * markers)

其中：image为8为三通道的彩色图像；
      markers是单通道整型图像，它用不同的正整数来标记不同的区域，下面的代码演示了如果响应鼠标事件，并生成标记图像。

生成标记图像

//当鼠标按下并在源图像上移动时，在源图像上绘制分割线条
 private void pbSource_MouseMove(object sender, MouseEventArgs e)
 {
 //如果按下了左键
 if (e.Button == MouseButtons.Left)
 {
 if (previousMouseLocation.X >= 0 && previousMouseLocation.Y >= 0)
 {
 Point p1 = new Point((int)(previousMouseLocation.X * xScale), (int)(previousMouseLocation.Y * yScale));
 Point p2 = new Point((int)(e.Location.X * xScale), (int)(e.Location.Y * yScale));
 LineSegment2D ls = new LineSegment2D(p1, p2);
 int thickness = (int)(LineWidth * xScale);
 imageSourceClone.Draw(ls, new Bgr(255d, 255d, 255d), thickness);
 pbSource.Image = imageSourceClone.Bitmap;
 imageMarkers.Draw(ls, new Gray(drawCount), thickness);
 }
 previousMouseLocation = e.Location;
 }
 }

 //当松开鼠标左键时，将绘图的前一位置设置为（-1，-1）
 private void pbSource_MouseUp(object sender, MouseEventArgs e)
 {
 previousMouseLocation = new Point(-1, -1);
 drawCount++;
 }

 

 

 

        您可以用类似下面的方式来使用分水岭算法：

使用分水岭分割算法

/// <summary>
 /// 分水岭算法图像分割
 /// </summary>
 /// <returns>返回用时</returns>
 private string Watershed()
 {
 //分水岭算法分割
 Image<Gray, Int32> imageMarkers2 = imageMarkers.Copy();
 Stopwatch sw = new Stopwatch();
 sw.Start();
 CvInvoke.cvWatershed(imageSource.Ptr, imageMarkers2.Ptr);
 sw.Stop();
 //将分割的结果转换到256级灰度图像
 pbResult.Image = imageMarkers2.Bitmap;
 imageMarkers2.Dispose();
 return string.Format("分水岭图像分割，用时：{0:F05}毫秒。\r\n", sw.Elapsed.TotalMilliseconds);
 }

 

 

 

金字塔分割算法
    金字塔分割算法由cvPrySegmentation所实现，该函数的使用很简单；需要注意的是图像的尺寸以及金字塔的层数，图像的宽度和高度必须能被2整除，能够被2整除的次数决定了金字塔的最大层数。下面的代码演示了如果校验金字塔层数：

校验金字塔分割的金字塔层数

/// <summary>
 /// 当改变金字塔分割的参数“金字塔层数”时，对参数进行校验
 /// </summary>
 /// <param name="sender"></param>
 /// <param name="e"></param>
 private void txtPSLevel_TextChanged(object sender, EventArgs e)
 {
 int level = int.Parse(txtPSLevel.Text);
 if (level < 1 || imageSource.Width % (int)(Math.Pow(2, level - 1)) != 0 || imageSource.Height % (int)(Math.Pow(2, level - 1)) != 0)
 MessageBox.Show(this, "注意：您输入的金字塔层数不符合要求，计算结果可能会无效。", "金字塔层数错误");
 }

 

 

 

使用金字塔分割的示例代码如下：

使用金字塔分割算法

/// <summary>
 /// 金字塔分割算法
 /// </summary>
 /// <returns></returns>
 private string PrySegmentation()
 {
 //准备参数
 Image<Bgr, Byte> imageDest = new Image<Bgr, byte>(imageSource.Size);
 MemStorage storage = new MemStorage();
 IntPtr ptrComp = IntPtr.Zero;
 int level = int.Parse(txtPSLevel.Text);
 double threshold1 = double.Parse(txtPSThreshold1.Text);
 double threshold2 = double.Parse(txtPSThreshold2.Text);
 //金字塔分割
 Stopwatch sw = new Stopwatch();
 sw.Start();
 CvInvoke.cvPyrSegmentation(imageSource.Ptr, imageDest.Ptr, storage.Ptr, out ptrComp, level, threshold1, threshold2);
 sw.Stop();
 //显示结果
 pbResult.Image = imageDest.Bitmap;
 //释放资源
 imageDest.Dispose();
 storage.Dispose();
 return string.Format("金字塔分割，用时：{0:F05}毫秒。\r\n", sw.Elapsed.TotalMilliseconds);
 }

 

 

 

均值漂移分割算法
    均值漂移分割算法由cvPryMeanShiftFiltering所实现，均值漂移分割的金字塔层数只能介于[1,7]之间，您可以用类似下面的代码来使用它：

使用均值漂移分割算法

/// <summary>
 /// 均值漂移分割算法
 /// </summary>
 /// <returns></returns>
 private string PryMeanShiftFiltering()
 {
 //准备参数
 Image<Bgr, Byte> imageDest = new Image<Bgr, byte>(imageSource.Size);
 double spatialRadius = double.Parse(txtPMSFSpatialRadius.Text);
 double colorRadius = double.Parse(txtPMSFColorRadius.Text);
 int maxLevel = int.Parse(txtPMSFNaxLevel.Text);
 int maxIter = int.Parse(txtPMSFMaxIter.Text);
 double epsilon = double.Parse(txtPMSFEpsilon.Text);
 MCvTermCriteria termcrit = new MCvTermCriteria(maxIter, epsilon);
 //均值漂移分割
 Stopwatch sw = new Stopwatch();
 sw.Start();
 OpenCvInvoke.cvPyrMeanShiftFiltering(imageSource.Ptr, imageDest.Ptr, spatialRadius, colorRadius, maxLevel, termcrit);
 sw.Stop();
 //显示结果
 pbResult.Image = imageDest.Bitmap;
 //释放资源
 imageDest.Dispose();
 return string.Format("均值漂移分割，用时：{0:F05}毫秒。\r\n", sw.Elapsed.TotalMilliseconds);
 }

 

 

 

    函数cvPryMeanShiftFiltering在EmguCv中没有实现，我们可以用下面的方式来使用：

调用均值漂移分割//均值漂移分割
 [DllImport("cv200.dll")]
 public static extern void cvPyrMeanShiftFiltering(IntPtr src, IntPtr dst, double spatialRadius, double colorRadius, int max_level, MCvTermCriteria termcrit);

 

 

分割效果及性能对比
    上述三种分割算法的效果如何呢？下面我们以它们的默认参数，对一幅2272x1704大小的图像进行分割。得到的结果如下所示：

 

图1 分水岭分割算法（左图白色的线条用于标记区域）

 

图2 金字塔分割算法

 

图3 均值漂移分割算法
    从上面我们可以看出：
    （1）分水岭分割算法的分割效果效果最好，均值漂移分割算法次之，而金字塔分割算法的效果最差；
    （2）均值漂移分割算法效率最高，分水岭分割算法接近于均值漂移算法，金字塔分割算法需要很长的时间。
    值得注意的是分水岭算法对标记很敏感，需要仔细而认真的绘制。

 

    本文的完整代码如下：

本文完整代码

using System;

using System.Collections.Generic;

using System.ComponentModel;

using System.Data;

using System.Drawing;
using System.Linq;

using System.Text;
using System.Windows.Forms;
using System.Diagnostics;
using System.Runtime.InteropServices;
using Emgu.CV;
using Emgu.CV.CvEnum;
using Emgu.CV.Structure;
using Emgu.CV.UI;

namespace ImageProcessLearn
{
 public partial class FormImageSegment : Form
 {
 //成员变量
 private string sourceImageFileName = "wky_tms_2272x1704.jpg";//源图像文件名
 private Image<Bgr, Byte> imageSource = null; //源图像
 private Image<Bgr, Byte> imageSourceClone = null; //源图像的克隆
 private Image<Gray, Int32> imageMarkers = null; //标记图像
 private double xScale = 1d; //原始图像与PictureBox在x轴方向上的缩放
 private double yScale = 1d; //原始图像与PictureBox在y轴方向上的缩放
 private Point previousMouseLocation = new Point(-1, -1); //上次绘制线条时，鼠标所处的位置
 private const int LineWidth = 5; //绘制线条的宽度
 private int drawCount = 1; //用户绘制的线条数目，用于指定线条的颜色
 
 public FormImageSegment()
 {
 InitializeComponent();
 }

 //窗体加载时
 private void FormImageSegment_Load(object sender, EventArgs e)
 {
 //设置提示
 toolTip.SetToolTip(rbWatershed, "可以在源图像上用鼠标绘制大致分割区域线条，该线条用于分水岭算法");
 toolTip.SetToolTip(txtPSLevel, "金字塔层数跟图像尺寸有关，该值只能是图像尺寸被2整除的次数，否则将得出错误结果");
 toolTip.SetToolTip(txtPSThreshold1, "建立连接的错误阀值");
 toolTip.SetToolTip(txtPSThreshold2, "分割簇的错误阀值");
 toolTip.SetToolTip(txtPMSFSpatialRadius, "空间窗的半径");
 toolTip.SetToolTip(txtPMSFColorRadius, "色彩窗的半径");
 toolTip.SetToolTip(btnClearMarkers, "清除绘制在源图像上，用于分水岭算法的大致分割区域线条");
 //加载图像
 LoadImage();
 }

 //当窗体关闭时，释放资源
 private void FormImageSegment_FormClosing(object sender, FormClosingEventArgs e)
 {
 if (imageSource != null)
 imageSource.Dispose();
 if (imageSourceClone != null)
 imageSourceClone.Dispose();
 if (imageMarkers != null)
 imageMarkers.Dispose();
 }

 //加载源图像
 private void btnLoadImage_Click(object sender, EventArgs e)
 {
 OpenFileDialog ofd = new OpenFileDialog();
 ofd.CheckFileExists = true;
 ofd.DefaultExt = "jpg";
 ofd.Filter = "图片文件|*.jpg;*.png;*.bmp|所有文件|*.*";
 if (ofd.ShowDialog(this) == DialogResult.OK)
 {
 if (ofd.FileName != "")
 {
 sourceImageFileName = ofd.FileName;
 LoadImage();
 }
 }
 ofd.Dispose();
 }

 //清除分割线条
 private void btnClearMarkers_Click(object sender, EventArgs e)
 {
 if (imageSourceClone != null)
 imageSourceClone.Dispose();
 imageSourceClone = imageSource.Copy();
 pbSource.Image = imageSourceClone.Bitmap;
 imageMarkers.SetZero();
 drawCount = 1;
 }

 //当鼠标按下并在源图像上移动时，在源图像上绘制分割线条
 private void pbSource_MouseMove(object sender, MouseEventArgs e)
 {
 //如果按下了左键
 if (e.Button == MouseButtons.Left)
 {
 if (previousMouseLocation.X >= 0 && previousMouseLocation.Y >= 0)
 {
 Point p1 = new Point((int)(previousMouseLocation.X * xScale), (int)(previousMouseLocation.Y * yScale));
 Point p2 = new Point((int)(e.Location.X * xScale), (int)(e.Location.Y * yScale));
 LineSegment2D ls = new LineSegment2D(p1, p2);
 int thickness = (int)(LineWidth * xScale);
 imageSourceClone.Draw(ls, new Bgr(255d, 255d, 255d), thickness);
 pbSource.Image = imageSourceClone.Bitmap;
 imageMarkers.Draw(ls, new Gray(drawCount), thickness);
 }
 previousMouseLocation = e.Location;
 }
 }

 //当松开鼠标左键时，将绘图的前一位置设置为（-1，-1）
 private void pbSource_MouseUp(object sender, MouseEventArgs e)
 {
 previousMouseLocation = new Point(-1, -1);
 drawCount++;
 }

 //加载源图像
 private void LoadImage()
 {
 if (imageSource != null)
 imageSource.Dispose();
 imageSource = new Image<Bgr, byte>(sourceImageFileName);
 if (imageSourceClone != null)
 imageSourceClone.Dispose();
 imageSourceClone = imageSource.Copy();
 pbSource.Image = imageSourceClone.Bitmap;
 if (imageMarkers != null)
 imageMarkers.Dispose();
 imageMarkers = new Image<Gray, Int32>(imageSource.Size);
 imageMarkers.SetZero();
 xScale = 1d * imageSource.Width / pbSource.Width;
 yScale = 1d * imageSource.Height / pbSource.Height;
 drawCount = 1;
 }

 //分割图像
 private void btnImageSegment_Click(object sender, EventArgs e)
 {
 if (rbWatershed.Checked)
 txtResult.Text += Watershed();
 else if (rbPrySegmentation.Checked)
 txtResult.Text += PrySegmentation();
 else if (rbPryMeanShiftFiltering.Checked)
 txtResult.Text += PryMeanShiftFiltering();
 }

 /// <summary>
 /// 分水岭算法图像分割
 /// </summary>
 /// <returns>返回用时</returns>
 private string Watershed()
 {
 //分水岭算法分割
 Image<Gray, Int32> imageMarkers2 = imageMarkers.Copy();
 Stopwatch sw = new Stopwatch();
 sw.Start();
 CvInvoke.cvWatershed(imageSource.Ptr, imageMarkers2.Ptr);
 sw.Stop();
 //将分割的结果转换到256级灰度图像
 pbResult.Image = imageMarkers2.Bitmap;
 imageMarkers2.Dispose();
 return string.Format("分水岭图像分割，用时：{0:F05}毫秒。\r\n", sw.Elapsed.TotalMilliseconds);
 }

 /// <summary>
 /// 金字塔分割算法
 /// </summary>
 /// <returns></returns>
 private string PrySegmentation()
 {
 //准备参数
 Image<Bgr, Byte> imageDest = new Image<Bgr, byte>(imageSource.Size);
 MemStorage storage = new MemStorage();
 IntPtr ptrComp = IntPtr.Zero;
 int level = int.Parse(txtPSLevel.Text);
 double threshold1 = double.Parse(txtPSThreshold1.Text);
 double threshold2 = double.Parse(txtPSThreshold2.Text);
 //金字塔分割
 Stopwatch sw = new Stopwatch();
 sw.Start();
 CvInvoke.cvPyrSegmentation(imageSource.Ptr, imageDest.Ptr, storage.Ptr, out ptrComp, level, threshold1, threshold2);
 sw.Stop();
 //显示结果
 pbResult.Image = imageDest.Bitmap;
 //释放资源
 imageDest.Dispose();
 storage.Dispose();
 return string.Format("金字塔分割，用时：{0:F05}毫秒。\r\n", sw.Elapsed.TotalMilliseconds);
 }

 /// <summary>
 /// 均值漂移分割算法
 /// </summary>
 /// <returns></returns>
 private string PryMeanShiftFiltering()
 {
 //准备参数
 Image<Bgr, Byte> imageDest = new Image<Bgr, byte>(imageSource.Size);
 double spatialRadius = double.Parse(txtPMSFSpatialRadius.Text);
 double colorRadius = double.Parse(txtPMSFColorRadius.Text);
 int maxLevel = int.Parse(txtPMSFNaxLevel.Text);
 int maxIter = int.Parse(txtPMSFMaxIter.Text);
 double epsilon = double.Parse(txtPMSFEpsilon.Text);
 MCvTermCriteria termcrit = new MCvTermCriteria(maxIter, epsilon);
 //均值漂移分割
 Stopwatch sw = new Stopwatch();
 sw.Start();
 OpenCvInvoke.cvPyrMeanShiftFiltering(imageSource.Ptr, imageDest.Ptr, spatialRadius, colorRadius, maxLevel, termcrit);
 sw.Stop();
 //显示结果
 pbResult.Image = imageDest.Bitmap;
 //释放资源
 imageDest.Dispose();
 return string.Format("均值漂移分割，用时：{0:F05}毫秒。\r\n", sw.Elapsed.TotalMilliseconds);
 }

 /// <summary>
 /// 当改变金字塔分割的参数“金字塔层数”时，对参数进行校验
 /// </summary>
 /// <param name="sender"></param>
 /// <param name="e"></param>
 private void txtPSLevel_TextChanged(object sender, EventArgs e)
 {
 int level = int.Parse(txtPSLevel.Text);
 if (level < 1 || imageSource.Width % (int)(Math.Pow(2, level - 1)) != 0 || imageSource.Height % (int)(Math.Pow(2, level - 1)) != 0)
 MessageBox.Show(this, "注意：您输入的金字塔层数不符合要求，计算结果可能会无效。", "金字塔层数错误");
 }

 /// <summary>
 /// 当改变均值漂移分割的参数“金字塔层数”时，对参数进行校验
 /// </summary>
 /// <param name="sender"></param>
 /// <param name="e"></param>
 private void txtPMSFNaxLevel_TextChanged(object sender, EventArgs e)
 {
 int maxLevel = int.Parse(txtPMSFNaxLevel.Text);
 if (maxLevel < 0 || maxLevel > 8)
 MessageBox.Show(this, "注意：均值漂移分割的金字塔层数只能在0至8之间。", "金字塔层数错误");
 }
 }
}