一种快速鲁棒的红外图像分割方法

杨如林，丑修建，李 庆，梁艳菊

(1.中北大学 电子与计算机科学技术学院，山西 太原 030051；2.中科院微电子所昆山分所，江苏 苏州 215300)

一种快速鲁棒的红外图像分割方法

杨如林1，丑修建1，李 庆2，梁艳菊2

(1.中北大学 电子与计算机科学技术学院，山西 太原 030051；2.中科院微电子所昆山分所，江苏 苏州 215300)

介绍了一种快速鲁棒的红外图像分割方法，算法是为了满足工程化应用。首先采用Canny边缘检测算子提取图像的边缘像素；然后统计边缘像素灰度值得到红外行人图像的分割阈值，并利用自适应双阈值算法对图像进行初始分割；最后通过边缘扫描对初始分割的图像区域进行边界修正，得到边界更加精确的目标区域。实验结果表明，该方法能够较好地保留行人的边缘信息，减少了区域像素错误分割，且具有较强的实时性。

图像分割；Canny边缘；自适应阈值

图像分割是利用亮度、彩色、反射率、纹理等信息将视觉传感器获取的图像数据分割为具有相似特性的同质区域。图像分割可以达到简化处理数据，增强目标的目的，是图像数据分析的首要步骤。目前常用的图像传感器有普通视觉传感器和红外传感器，本文算法主要研究红外传感器图像分割。传统的图像分割算法有基于阈值的分割[1-4]、基于边缘的分割[5-6]和基于区域的分割[7]，对于静态图像，背景差法也是一种不错的方法[8]。近年来又发展了一些新的图像分割方法，如均值移位(Mean Shift)[9]、模糊连接性(Fuzzy Connetivity)、变形模型(Deformable Models)[10]等分割方法。这些新算法往往复杂度过高，本文研究主要为了满足工程性应用，对算法的实时性要求较高。基于阈值的分割方法是使用最多也是最有效的分割方法之一，它通过设定一个或多个阈值将目标从背景中分割出来，阈值分割方法在图像分析中往往是快速有效的。边缘是图像不连续的表征，它标示了图像在灰度、彩色、纹理等方面不连续的位置，这种不连续性往往反映在目标和背景或目标之间的边界位置，因此边缘信息对于分割非常重要[11]。本文结合了这两种方法实现红外图像的分割。

红外传感器成像是靠感应环境中热红外的辐射量，温度较高的物体热红外辐射量大，反应在红外图像中为灰度值大。由于红外成像背景简单，不受光线、纹理、颜色和阴影等信息的影响，使其特别适用于发热物体的检测。本文通过统计红外图像目标边缘像素点灰度值信息得到分割阈值，并利用自适应双阈值算法对红外图像进行初始分割；然后通过边缘扫描对初始分割的目标区域进行边界修正，得到边界更加精确的目标区域，修整后的目标区域能够保留更多的边界信息，方便后续的处理过程。本文算法已应用在红外行人检测中，下文处理图像均为红外行人图像。

1 算法实现流程

1.1 基于边缘像素统计的阈值分割

在红外图像中，边缘是灰度值不连续的部分，红外图像中目标区域具有灰度一致性，区域内部像素值高度相关，而在目标和背景之间的边界处，像素值出现阶跃。图1为OTCBVS基准数据集中的一幅红外行人图像，图片大小为360×240。

图1 OTCBVS红外图像

从图1c的三维视图中可以看到行人区域的灰度值明显高于背景，这是由于行人温度高于环境。图像灰度值在目标区域和背景区域交界处存在较大变化，如果能够取得行人区域和背景区域灰度值中间的某个值作为阈值对图像进行分割，就能够很好地将目标和背景分割开。边缘作为目标区域和背景区域的分界线，其所在位置的原始图像灰度值能很好地反映目标区域与背景区域灰度分界值，如图1d，背景像素(灰色)主要集中在低像素值区域，而前景像素(灰白)主要集中在高像素值区域，边缘像素(黑色)主要分布在中间区域，且其均值(144)能够很好地将背景像素和目标像素分割开。本文采用Canny边缘检测算法检测图像边缘，并统计边缘像素值得到分割阈值。

1.1.1 Canny边缘提取

Canny边缘检测算子[12]是John F.Canny于1986年提出的一个多级边缘检测算法。Canny的目标是找到一个最优的边缘检测算法，最优的含义是：好的信噪比，即非边缘点被判为边缘点或将边缘点判为非边缘点的概率低；好的定位性能，即检测出的边缘点要尽可能在实际边缘的中心；对单一边缘具有唯一响应，并且对虚假边缘响应得到最大抑制。Canny边缘检测算法实现分为4个步骤：

1)图像的平滑滤波

用式(1)的高斯函数对原始图像进行卷积，得到平滑后的图像，如式(2)所示

(1)

F(x,y)=f(x,y)*G(x,y)

(2)

式中：f(x,y)为原始函数；G(x,y)为高斯滤波函数；F(x,y)为平滑后的图像。

2)计算梯度幅值和方向

用一阶偏导的有限差分来计算梯度的幅值和方向为

φx(x,y)=f(x+1,y)-f(x-1,y)

(3)

φy(x,y)=f(x,y+1)-f(x,y-1)

(4)

(5)

(6)

式中：f(x,y)为原图像像素值；f(x-1,y)，f(x+1,y)，f(x,y-1)和f(x,y+1)为f(x,y)左、右、上、下4个邻点；φx(x,y)为x方向梯度幅值；φy(x,y)为y方向梯度幅值；φ(x,y)为像素点梯度；θ(x,y)为像素点角度。

3)对梯度幅值进行非极大值抑制

在梯度幅值图像中，为了得到单点宽度的边缘，需要抑制掉真实边缘附近梯度幅值不为0的点。方法是依次搜索梯度幅值图像中每个像素梯度方向两边的像素梯度值，若两边有大于该像素梯度的点，则将该点梯度值赋值0，只保留梯度方向上幅值变化最大的点。

4)用双阈值算法检测和链接边缘

经非极大值抑制得到的结果是一个图像的边缘阵列，但仍然存在许多由噪声和纹理引起的假边缘，需进一步阈值化处理，去除假边缘。具体方法是：对梯度幅值图像的梯度值按从小到大顺序统计得到梯度幅值直方图，百分比80%处的梯度值设为高阈值th，高阈值的40%为低阈值tl。经过最大值抑制后的梯度图中，梯度值大于th的点标记为边缘点，梯度值小于tl的点视为背景点删除。梯度值介于tl和th之间的点，分为两种情况：若其8领域中存在已经标记的边缘点，则该点标记为边缘点；否则视为背景点。

1.1.2 阈值的获取

设经Canny边缘检测得到目标物体的边缘像素集S={s(1),s(2),…,s(N)}，其中S为所有边缘像素集合，N为边缘像素个数。为了对目标边缘像素进行统计得到分割阈值，需要对边缘像素进行筛选：首先去掉孤立点，这些孤立点往往是由于噪声引起的，扫描每个边缘像素点周围的八邻域，如果邻域中不存在其他边缘像素点则删除该点；由于目标区域的灰度值往往高于背景，对于灰度值较低的边缘点也予以去除，本文设置最小边缘像素值为图像像素灰度均值。去除不符合要求的边缘像素点后的边缘像素点集为S′={s′(1),s′(2),…,s′(N′)}，该其平均灰度为

(7)

式中：N′为去除不符合要求的边缘像素点后的边缘像素数；s′(i)为像素点集中的一个像素。本文采用自适应双阈值对图像进行分割，其中低阈值取Save，高阈取值介于低阈值和目标区域像素最大值之间

(8)

式中：Th，Tl分别为高低阈值；Pmax为目标区域最大像素值；α为调节系数，控制高阈值的取值范围，通过实验取0.5。

1.1.3 阈值分割

本文采用自适应双阈值算法对图像进行分割，阈值为上文计算的高低阈值，分割公式为

(9)

式中：f(x,y)为原始图像；B(x,y)为分割后的二值图像；Th和Tl为高、低阈值。式(9)将原始图像中大于高阈值Th的像素赋值为255，低于低阈值Tl的像素赋值为0，取值介于低阈值和高阈值之间的像素，搜索周围的邻域确定赋予的值。图2为分别采用单阈值Tl，Th和双阈值对图像进行分割的效果。

图2 双阈值分割

图2b为当采用低阈值对图像进行分割时，产生大量冗余分割，特别是在较亮的地面区域，有大片的地面被分割出来。图2c为当采用高阈值对图像进行分割时，由于阈值设置过高而行人躯干和背景像素值差别较小导致过分割，行人区域缺失严重。由图1b可以看出当采用双阈值分割算法不仅能够很完整地将行人分割出来，也能够抑制大量的噪声区域，这是由于首先采用高阈值排除了区域灰度值较小的区域，减少了冗余区域，而低阈值的设定又能通过区域增长保证分割的完整性。由于双阈值的计算是针对于单帧图像，该算法对于环境变化具有较强的自适应能力。同时阈值是通过统计边缘像素获得，分割后的目标区域边界更接近真实边界。

1.2 基于边缘约束的边界修正

经过阈值分割后的目标区域边界往往和区域的真实边界有差别。为了使分割的目标区域更加精确，减少过度分割和欠分割，本文对双阈值分割后的目标区域进行进一步的边界修正。目标区域的边界像素值在梯度方向上递增，边缘的梯度方向总是指向目标区域。通过边缘扫描可以发现边缘梯度方向两边目标区域错误分割情况并修正。为节省计算时间，将边缘像素梯度角分为4个区域(如图3)，对应4种情况，(如图4)。

图3 边缘像素方向角划分

图4 边缘扫描

修正步骤如下：

1)依次扫描每个边缘像素点，若其方向角度在区域1或区域3则转向步骤2)；若其方向角度在区域2或区域4则转向步骤3)。

2)对该边缘像素点的水平邻域进行扫描，扫描宽度为l，这里取目标区域宽度的1/2。首先向边缘像素点方向角一侧(方向角在区域1时向右，否则向左)扫描，如果扫描到前景像素点(像素值为255)，则停止扫描并将已扫描的像素点都标识为前景点；如果扫描中遇到边缘点或是扫描完l个像素点，则停止扫描。然后扫描另一侧，如果扫描到未标识的像素点(像素值为0)，则停止扫描并将已扫描的像素点置0；如果扫描完l个像素或是遇边缘点，则停止扫描。

3)对该边缘像素点的垂直邻域进行扫描，扫描宽度为l，这里取目标区域宽度的1/2。首先向边缘像素点方向角一侧(方向角在区域2时向上，否则向下)扫描，如果扫描到前景像素点(像素值为255)，则停止扫描并将已扫描的像素点都标识为前景点；如果扫描中遇到边缘点或是扫描完l个像素点则停止扫描。然后扫描另一侧，如果扫描到未标识的像素点(像素值为0)，则停止扫描并将已扫描的像素点都置0；如果扫描完l个像素或是遇边缘点则停止扫描。

4)若所有的边缘像素点都搜索完则退出，否则转到步骤1)。

图4中，灰白色区域为行人区域，黑色像素点为Canny算法检测到的边缘，灰色直线为扫描线。图4a、图4c中，行人区域存在欠分割，通过扫描线扫描标记中间未标识的像素点，使目标区域边界趋向检测到的真实边界；图4b、图4d中，目标区域存在冗余分割，通过扫描线扫描可以删除边缘外侧冗余的区域，使目标区域边界趋向检测到的真实边界。经过边界修正后的行人区域的边界与边缘检测的边界相同，更加符合真实行人区域。

2 实验结果与分析

为了验证本文算法的分割效果，分别从标准数据库和自己拍摄的红外视频中选取了几组红外行人图片进行实验。用Microsoft Visual C++2010编写C语言程序，并在Intel Pentium Dual-Core 2.2 GHz CPU，2 Gbyte内存的平台上运行。分割效果如图5所示。

图5 整体算法分割效果

由实验结果可知，虽然红外图像分辨率较低，采用本文算法仍能很好地将目标区域分割出来。在第二幅图像中行人躯干像素值较低，单独采用阈值分割很难完整分割图像，但行人边界仍比较明显，经边缘修正后得到了较好的分割效果。

同时，将本文算法与近年提出的几种适用于工程化的分割算法进行对比试验。文献[11]中的分割算法为红外行人检测的一部分，文中使用介于图像像素均值和最大值之间的值作为阈值分割图像；文献[13]首先用OSTU算法计算图像整体阈值对图像进行预分割，然后通过十字扫描窗逐点扫描图像进行精细分割；文献[14]假设红外图像背景服从单高斯分布，通过建立单高斯模型得到图像分割阈值对图像进行分割。图6为几种算法的分割效果。

图6 红外图像分割效果对比

为了直观分析算法性能，比较了几种方法的错分类误差(ME)，计算如下

(10)

式中：BR和FR分别表示手动分割的目标和背景像素集合；BT和FT表示阈值分割后目标和背景像素集合；∩表示两者的并集；ME取值范围为0～1，值越小说明分割越好，如表1所示。

图6中可以看出，文献[11]中方法假设图像像素值分布均匀，不能适用于大部分分割情况，自适应能力较弱；文献[13]中算法由于采用局部阈值，容易产生冗余分割，且由表1可知该算法实时性较差；文献[14]分割效果接近本文算法，但仍然需要调整参数(参数k)以适应不同环境的要求，且本文算法进行了边界修正，误分割明显降低。

表1 算法性能

该算法应用到红外行人检测中，能够很好地满足分割精度和实时性要求。移植到TI的DSP芯片TMS320DM6437，600MHz运行平均速度达到22 ms，可运用在嵌入式实时系统中，工程化程度高。

3 结论

本文提出了一种快速鲁棒的红外图像分割算法，算法通过统计目标区域边缘像素得到图像分割阈值，并利用双阈值算法分割图像，有效减少了目标区域的欠分割和冗余分割，分割出的目标区域比较接近真实目标区域。最后通过边缘扫描修正目标区域边界，得到更加精确的分割结果，完整地保留了区域边缘信息，方便后续的处理过程。实际测试结果验证了算法的鲁棒性以及运动场景环境变换的自适应性。

[1]OTSU N.A threshold selection method from gray-level histograms[J].IEEE Trans.System Man and Cybernetic，1979，9(1)：62-66.

[2]SAHOO P K.A survey of thresholding techniques[J].Computer Vision，Graphics and Image Processing，1988，41(2)：233-201.

[3]顾鹏，张玉.改进的红外图像2维Otsu分割算法[J]．中国图象图形学报，2011，16(8)：50-52．

[4]夏晶，孙继银.基于区域生长的前视红外图像分割方法[J]．激光与红外，2011，41(1)：107-110．

[5]CHU C，AGGARWAL J.The integration of image segmentation maps usings region and edge information[J].IEEE Trans.Pattern Analysis and Machine Intelligence，1993，15(12)：1241-1252.

[6]陶唐飞，韩崇昭，代雪峰，等.综合边缘检测和区域生长的红外图像分割算法[J]．光电工程，2004，31(10)：50-52．

[7]SCHETTINI R.A segmentation algorithm for color images[J].Pattern Recognition Letters，1993，14(6)：499-506.

[8]MAADI A E，MALDAGUE X.Outdoor infrared video surveillance： a novel dynamic technique for the subtraction of a changing background of IR images[J].Infrared Physics & Technology，2007，49(3)：261-265.

[9]COMANICIU D，MEER P.Mean shift： a robust approach toward feature space analysis[J].IEEE Trans.Pattern Analysis and Machine Intelligence，2002，24(5)：603-619.

[10]CASELLES V，CATTE F，COLL T，et al.A geometric model for active contours in image processing[J].Numer.Math.，1993，66(1)：1-31.

[11]杜奇，向健勇，袁胜春.基于边缘强度的红外图像阈值分割方法研究[J]．红外与激光工程，2004，33(3)：288-291．

[12]CANNY J F.A computational approach to edge detection[J].IEEE Trans.Pattern Analysis and Machine Intelligence，1986，8(6)：679-698.

[13]石祥滨，刘晓娜，刘芳，一种双阈值红外行人分割方法[J]．计算机工程，2012，38(12)：5-8．

[14]梁英宏.红外视频图像中的人体目标检测方法[J]．红外与激光工程，2009，38(5)：931-935．

[15]BERTOZZI M，BROGGI A，HILARIO G，et al.Pedestrian detection in far infrared images based on the use of probabilistic templates[C]//Proc.IEEE Intelligent Vehicles Symposium，Istanbul.Turkey：IEEE Press，2007：327-332.

杨如林(1988— )，硕士生，主要从事红外传感器图像处理识别的研究；

丑修建(1979— )，教授，主要从事电子信息功能材料与微器件方面的研究工作；

李 庆(1974— )，研究员，主要从事红外传感器图像处理识别的研究；

梁艳菊(1985— )，女，博士，主要从事红外传感器图像处理识别的研究。

责任编辑：时 雯

Fast and Robust Infrared Image Segmentation Method

YANG Rulin1，CHOU Xiujian1，LI Qing2，LIANG Yanju2

(1.ElectronicsandComputerScience&Technology，NorthUniversityofChina，Taiyuan030051，China；2.InstituteofMicroelectronicsofChineseAcademyofSciences，KunshanBranch，JiangsuSuzhou215300，China)

A fast and robust infrared image segmentation method is introduced，the algorithm is designed to meet the engineering application.Firstly，the edge pixels of the image is extracted using Canny algorithm.Then it gets the segmentation threshold by analyzing the edge pixels and segments the image using adaptive dual-threshold.Finally，it trims the boundary of the foreground region by scan the image edge and gets object regions with more precise boundary.The experimental results show that the segmentation method can retain more edge information of the pedestrian and reduce the wrong segmentation，also it’s a real-time algorithm.

image segmentation； Canny edge； adaptive threshold

【本文献信息】杨如林，丑修建，李庆,等.一种快速鲁棒的红外图像分割方法[J].电视技术,2015，39(3).

中国科学院先导项目(XDA06040300)；广东省教育部产学研结合项目(2012B091000163)

TP391

A

10.16280/j.videoe.2015.03.003

2014-02-17