为得到图像中的物体信息，我们必须进行图像分割，即提取图像中与感兴趣物体相对应的那些区域。描述的更正式些，分割操作——以一幅图像作为输入而返回一个或多个区域或亚像素轮廓作为输出。
1. 阈值分割
最简单的分割算法是图像的阔值分割。只要被分割的物体和背景之间存在非常显著的灰度差时，都能使用阐值分割。
固定阔值仅在物体的灰度值和背景的灰度值不变时效果很好。但是，这种情况发生的频率比期望的要少，比如， 照明变化后物体和背景的灰度值就会发生变化。即便使用的照明是恒定不变的， 相似物体间不同的灰度值分布也会使固定阔值分割的结果不理想。
2. 自动确定阈值（动态阈值分割）
理想情况下我们希望有一种能够自动确定阈值的方法， 这可以基于图像的灰度值直方图来实现。不幸的是直方图中的随机波动，两个峰尖的最大值和它们之间谷底的最小值都不能被很好的确定。所以，如果希望以鲁棒的方法选定与最小值对应的阔值，就必须先对直方图进行平滑处理，即将直方图与一个一维高斯滤披器进行卷和未完成平滑处理。
其中一种方法就是假设前景的灰度值和背景的灰度值有各自的正态（高斯）概率分布，然后在直方图上拟合两个高斯密度。阈值值就选定在两个高斯密度概率相等的灰度值处。
动态阑值分割处理能被用来将图像与图像的局部背景进行对比，局部背景是由图像平滑处理得到的。稍作调整，动态阔值分割处理就可以被用来检测某一物体上的缺陆，比如，检测印刷缺陷。
3. 提取连通区域
- 4连通域
- 8连通域
如果在上图的例子中使用4连通定义描述背景，所有问题都迎刃而解了，同理如果4连通描述前景、8连通描述背景，所有矛盾也被避免了。
在用行程表示法描述的区域上计算连通区域，可以使用经典的深度优先搜索。
4. 亚像素精度阈值分割
到目前位置，我们已经讨论的所有阑值分割处理都是像素精度的。在大多数情况下，这种精度是足够的。但一些应用需要的准确度要高于像素级别。因此，有时需要能返回亚像素精度结果的算法。很显然，亚像素精度阑值分割处理的结果不能是一个区域，因为区域是像素精度的。为此，表示结果的适当数据结构应是亚像素精度轮廓。
此轮廓表示图像中的两个区域之间的边界，这两个区域中的一个区域的灰度值大于灰度值阈值，另一个区域的灰度值小于灰度值阈值。
目前研究的亚像素级的边缘检测算法，可以归纳为3种类型:矩方法、插值法和拟合法。
4.1. 矩方法
Tabatabai等首先提出一种利用前三阶灰度矩对边缘进行亚像素边缘定位的算法 ,随后基于空间矩、Zernike正交矩的方法也相继被提出。Zernike矩的方法由于只需要计算3个模板，计算量比空间矩的方法要小得多。但是 ,这些方法都是针对理想边缘模型提出的。Shan等对矩方法进行了改进，使用了模糊边缘模型，更能真实反映边缘信息。矩方法的优点是计算简便，并且可以得到解析解。但是矩方法对图像噪声敏感，如果考虑模糊后的边缘模型，就会增加模型参数，使得解析解的确定变得十分困难。
4.2. 插值法
插值法的核心是对像素点的灰度值或灰度值的导数进行插值，增加信息，以实现亚像素边缘检测。其中，研究比较多的方法有二次插值、B样条插值和切比雪夫多项式插值等。插值类的运算时间短，二次插值算法简单，可以通过硬件实现，适合在线检测。当光学系统的线扩散函数对称时，插值边缘检测的精度较高。插值法的特点同基于矩的方法类似，计算过程简单，但是容易受噪声的影响。
4.3. 拟合法
拟合方法是通过对假设边缘模型灰度值进行拟合来获得亚像素的边缘定位。Nalwa等给出一种边缘模型为双曲正切函数的最小二乘拟合算法；Ye等提出的算法所用的边缘模型是理想边缘模型与高斯函数卷积得到的高斯型边缘函数。这两种算法都能提供较高的亚像素边缘定位精度。由于拟合不需要数值微分，而且按各灰度值到拟合曲线的距离最小进行拟合，不但合理地利用了有误差的灰度值，又可以减小灰度值误差的影响，因此拟合方法对噪声不敏感。但因模型复杂，其求解速度慢。