融合背景差分的二次重构和内外标记分水岭的行人检测方法

王爱丽，董宝田，王泽胜

（北京交通大学交通运输学院，北京100044）

融合背景差分的二次重构和内外标记分水岭的行人检测方法

王爱丽，董宝田＊，王泽胜

（北京交通大学交通运输学院，北京100044）

应用视频处理技术对行人交通进行研究受到广泛的重视，已成为智能交通领域的研究热点.为了精准地提取交通场景语义信息，提出融合背景差分的二次重构和内外标记分水岭的行人检测方法.首先对图像进行灰度级形态学开闭重构和背景差分运算，凸显出前景区域，锐化背景区域；然后根据灰度图像局部极大值和邻域综合信息提取内部标记，进行“准欧式”距离变换提取外部标记；最后对梯度图像进行修正和分水岭变换，提取出图像中运动的行人.结果表明，该方法能显著地去除运动噪声的影响，检测到相对完整的目标，很好地抑制了过分割问题,在动态场景的行人检测中取得了较好的效果.

智能交通；二次重构；背景差分；内外标记；分水岭；行人检测

1 引言

智能交通系统是解决交通拥挤的有效方法，其中交通信息智能检测设备是交通管理系统的基础，而基于视频图像处理技术的检测法相对于传统方法，具有不破坏路面及维护方便等优点，已成为交通信息采集的发展方向[1].随着交通视频监控技术的发展，行人交通检测也得到广泛的重视，对其展开研究具有极大的现实意义和实用价值.

对交通视频图像目标区域进行精准的分割，提取出运动目标是实现交通信息智能检测的难点和重点.很多学者投入到该领域并提出许多算法，如阈值法、边缘分割法及分水岭法等[2].其中基于数学形态学的分水岭法是新发展起来的一种方法，由Beucher等人最早提出，其中L Vincent和P Soille提出的模拟浸没过程最为经典[3].因其能得到精确、单像素宽、连续封闭的分割边缘，为关注的焦点.但传统分水岭存在着对图像过分割问题.由此提出了许多解决方法[4,5]，主要有：①在进行分水岭变换前，通过滤波、标记提取等手段抑制噪声引起的过分割；②在分水岭变换后，通过一定的合并准则，将小区域合并到相邻区域中，减少细小区域.对于复杂的交通环境，现有方法无法直接适用，需要针对具体环境进行研究.

在前人研究的基础上，提出一种融合背景差分的二次重构和内外标记分水岭的目标提取方法.该方法融合二次重构、背景差分运动区域检测及内外标记技术进行预处理，并对其梯度进行修正和分水岭变换，准确地提取出交通场景中运动行人.实验表明，此方法较好地解决了过分割问题，没有区域合并的后续过程，方法简便，在动态交通场景的行人检测中取得了较好的效果.

2 检测方法的实现

为了更好地检测场景内的行人信息，提出了融合背景差分的二次重构和内外标记分水岭的目标检测方法，其流程如图1所示.该方法首先将提取的图像进行二次重构，并引入背景差分方法，对重建图像进行差分运算，清晰地凸显出前景运动区域；然后根据灰度图像局部极大值和邻域信息进行内外区域标记提取；最后对原始梯度图像进行修正和分水岭分割，提取出图像中的目标.2.1灰度级形态学重构

图1 方法流程Fig.1 Method flow chart

为了对前景目标进行更好的标记，采用形态学重构技术对图像进行处理.形态学重构技术是一种涉及到两幅图像和一个结构元素的形态学变换.一幅为标记，另一幅是掩膜，用来约束变换过程[6].假设g为掩膜，f为标记，则从f重构g可以记为Rg(f)，迭代过程如下：

①将D1初始化为标记图像f；②创建结构元素b=ones(n)；③重复Dk+1=(Dk⊕b)⋂g，直到Dk+1=Dk结束.

常用的重构技术是建立在膨胀和腐蚀基础上的开、闭运算重构.开重构Orbec(f,g)定义为

基于上述知识（参数含义见文献4），在进行预处理时采用形态学开、闭混合重构运算Hbrec(f,g)，是建立在形态学开、闭重建基础上的，称为先开后闭的二次重构运算，计算公式为

现使用二次重构运算对图像进行处理，如图2所示.从图2（c）发现二次重构可以平滑图像，不会改变图像中原有的结构，处理后的图像边缘没有偏移.

图2 开闭重构结果Fig.2 Quadratic reconstruction

2.2 灰度级背景差分运动区域凸显

由于受图像本身灰度分布和形态学运算的影响，在二次重构后，区域内部产生较多的极大值和极小值，形成没意义的细小区域，影响后续的分割效果.本文创新性地引入灰度图像背景差分运动区域提取方法[7]，对得到的重构图像进行差分运算，清晰地凸显出前景运动区域，锐化背景区域，为后期的标记做铺垫.运算过程如下：

①平滑处理：对重建和背景图像进行“钝化对比度”增强滤波，处理过程为

式中Backgroundt(x,y)表示该时刻背景图像；Dt(x,y)表示差分后的图像.提取的前景如图3所示.

③图像修正：为了提高图像质量，对差分后的图像进行优化处理，如增强其亮度imadjust(Dt(x,y))等操作，优化结果如图3（b）所示.

图3 背景差分运动区域凸显Fig.3 Background subtraction

2.3 区域标记提取

经过上述处理，虽然凸显出了大部分目标区域，但还会存在一些与目标无关的区域，导致目标被分割为许多无意义的细小区域.在进行分水岭变换前，本文采用内外标记提取方法，对前景目标和背景进行标记，有效地抑制和检测与目标无关的点，避免过分割问题.

（1）内部区域标记提取.

由于前景对象灰度值与背景图像灰度值存在较大差值，一般计算其局部极大值会得到较好的内部区域标记.对上节图像的灰度值进行分析，提取出图像Dt(x,y)的局部极大值[8]，对其进行标记，得到重建并差分后的局部极大值图像RegionalMax(x,y)，如图5（a）所示.

从图5（a）发现由于受噪声和背景的干扰，出现了很多与分割无关的细节，不能很好地标记前景目标.为了清晰地标记前景，作者对提取的局部极大值区域和其四周邻域像素进行分析，发现目标像素与邻域有很大差别的极大值.为了确定图像中像素值比较大的区域，统计图像中的“高点”集合，即计算局部极大区域的灰度值RegionalMax(Dt(x,y))与邻域灰度值NL(Dt(x,y))有很大差值的极大值，消除一些不相关的局部极大值，使过分割的区域在很大程度上减少.计算公式为

式中Imark(x,y)是经过计算后获得的标记图像；T表示高度阈值；NL(Dt)表示邻域像素；L表示连通性，一般L=8，表示8连接.该输出图像的前景像素标记了深局部最大区域的位置，相应的像素值用1标记，其他用0标记（如图4所示）.

图4 局部极大值标记Fig.4 Local maximum marker

在计算过程中，阈值T的取值是一个难点，过大则容易丢失深度较小的真实汇水盆地，导致欠分割，而过小对局部极大值的消除作用不明显，不能抑制过分割.综合考虑图像灰度值信息，将待标记图像划分为大小为M×N的矩形块Block(M×N)，逐块进行分析，设定每块的标记阈值Tj，标记结果如图5（b）所示.从图中看出前景目标得到了较好的标记，为更好地理解这个结果，在原图的基础上，用黑色标记前景区域，如图5（c）所示.

图5 内部标记Fig.5 Internal marker

（2）外部区域标记提取.

在获得内部标记图像Imark(x,y)后，必须寻找外部标记符（属于背景的像素）.由于暗像素属于背景，外部标记恰好位于内部标记符间的中间位置.因此，采用先阈值变换再距离变换后分水岭分割的方法来标记外部区域.计算过程如下：

①二值化阈值变换：对重建后的灰度图像进行阈值变换，计算公式为

②优化处理：对得到的图像进行优化处理，主要有腐蚀imerode()、剔除噪声bwareaopen()和填充imfill()等操作.

③距离变换：计算“骨架影响范围”来“细化”背景，采用“准欧式”距离来做变换[8]，其边界像素(a,b)和区域像素(m,n)之间的最小邻域距离公式为

④分水岭分割：距离变换后进行分水岭变换，来寻找分水岭分割脊线图，背景标记IBmark(x,y)结果为

2.4 梯度修正和标记提取分水岭变换

用内、外部标记的结果来修正梯度图像，消除过分割问题.采用强制最小技术ImposeMin来修改灰度级梯度图像[6]，以便局部最小区域仅出现在标记的位置，其他像素值将按需要“上推”，删除其他的局部最小区域.修改过程如下：

①计算原梯度：采用横、纵向Sobel算子分别对图像进行“圆周均值滤波”，得到横向梯度图Ix、纵向梯度图I 和梯度图像I(x,y)，计算过程为

②修正梯度：通过在内、外部标记的位置覆盖局部最小区域，来修改梯度图像，修改过程为（如图6所示）

③分水岭变换：将修改后的梯度图像进行分水岭变换，得到分水岭分割脊线图L(x,y)=waterhed(Ig'radmag(x,y)).

图6 梯度修正Fig.6 Gradient correction

2.5 算法流程

整个运动目标提取算法的步骤如下：

Step0初始化：读取检测视频，设定图像采集率n帧/s和视频的总帧数N，for：t=1;t＜=N;t+=n,if：t＜=N转至step1，否则转至step7；

Step1图像预处理：读取第t帧图像It(x,y)，将其转化为灰度图像rgb2gray(It(x,y))，采用线性滤波器进行平滑滤波，然后进行先开后闭的二次重建运算Reconstrcte()，得到重建后的灰度图像转至Step2；

Step2背景锐化和运动区域凸显：读取背景拟合函数，获得检测场景背景图像，利用背景差分模型计算图像运动区域，将场景背景锐化，进行优化处理，转至Step3；

Step3区域标记提取：对重建差分后的灰度图像Dt(x,y)进行内外部区域标记提取，对得到的内部标记图像和外部标记图像进行优化处理，转至Step4；

Step4梯度修正：通过在内外部标记的位置覆盖局部最小区域，来修改梯度图像，获得新的梯度图像转至Step5；Step5分水岭变换：采用分水岭算法分割修改后的梯度图像，对其进行形态学优化处理，得到分割图L(x,y)，转至Step6；

Step6运动目标提取：针对运动目标特征设定约束条件来对分割后的图像进行目标提取，获得图像目标的一些属性（包括质心、轮廓等），转至Step1；

Step7计算结束.

3 结果分析

为验证该方法的有效性，使用C#和MATLAB混合编程开发了行人检测系统，在Microsoft Visual C#2008平台上编写视频采集系统客户端及系统界面，检测算法在MATLAB 2009b平台上编写，并采用北京南站西侧进口处的视频图像进行测试.

（1）较多运动行人场景的目标分割.

为了分析该算法的性能优势，将采用传统的分水岭和平滑梯度的分水岭法对采集的视频图像进行分割，如图7所示.从图7（b）发现这不是一个好的结果，图像中存在太多与感兴趣的对象不对应的分水岭脊线，对真实目标的提取产生严重干扰.解决该问题的方法是在计算分水岭前平滑梯度图像，如图7（c）所示，仍然存在额外的脊线，过分割还是很明显.

图7 传统分水岭法分割结果Fig.7 Traditional watershed results

本文结果如图8所示，其中图8（a）为重建后直接分水岭分割结果，过分割现象明显得到了缓和，但还是对目标提取造成干扰；图8（b）为差分后分割的结果，这里已经较好地分割出了前景目标，但行人身体内部存在过分割问题；图8（c）为前景标记后分水岭变换结果，仔细看图中较好地将前景提取出来了，行人身体内部没有出现过分割现象，用轮廓标识出来，然而其背景造成了干扰；图8（d）为背景标记分水岭变换脊线图，根据前景标记将整个场景分为多个区域；图8（e）为内外部标记重叠结果，这里已经得到了较好的标识；图8（f）为本文算法的最终结果，可以看出该结果较好地对图像进行了分割，各区域的分割完整，图像中的行人得到了较好的提取.与传统的分水岭法相比，本文方法得到的分割图像边界清晰，目标区域分割完整，提取准确，过分割现象被有效地抑制，说明该算法能够较为准确地检测前景目标.

（2）场景应用.

将提出的分割算法应用到行人检测系统检测目标，提取到行人的一些基本属性.实验采用北京南站西侧进口处视频图像，分辨率为704× 576，帧率为每秒25帧，背景存在复杂运动.图9为检测结果，在检测的同时标记出了行人轮廓和质心.图9（a）为第50帧行人的检测结果，在平面区域实际为17人，检测结果17人，漏检1个，多检1个；图9（b）为第250帧检测的结果，实际为12人，检测结果11人，漏检2个，多检1个.错误是由于阴影和重叠造成.

图8 本文算法的实验结果Fig.8 The experimental results of this paper

图9 检测结果Fig.9 Detection results

4 研究结论

针对传统分水岭法在目标提取过程中存在过分割问题，提出了一种融合背景差分的二次重构和内外标记分水岭的目标检测方法.该方法为了抑制和清除待处理图像中引起的过分割现象，在分割前引入二次重构、背景差分运动区域检测及内外部区域标记技术进行图像预处理，在此基础上对梯度图像进行修正和分水岭变换，准确地提取出交通场景中运动的行人，并采用北京南站视频图像进行校核检验.结果表明，该方法能在保证实时检测的同时，更好地提取运动目标轮廓，能显著地去除运动噪声的影响，很好地抑制了过分割问题.然而，当行人密度很大时，出现行人与行人重叠挤压时，存在漏检，后续将对此展开研究.

[1]邵春福,李娟,赵熠.行人交通的视频检测方法综述[J].交通运输系统工程与信息,2008,8(4):23-29. [SHAO C F,LI J,ZHAO Y.Review of pedestrian traffic data collection method based on video image processing [J].Journal of Transportation Systems Engineering and Information Technology,2008,8(4):23-29.][2]杨高波,杜青松,MATLAB图像/视频处理应用及实例[M].北京:电子工业出版社,2010,1.[YANG G B,DU Q F.MATLAB image/video processing applications and examples[M].Beijing:Publishing House of Electronics Industry,2010,1.]

[3]L Vincent，P Soille.Watersheds in digital spaces:an ef⁃ficient algorithm based on immersion simulations[J]. IEEE Transactions on Pattern Analysis and Machine In⁃telligence,1991,13(6):583-598.

[4]蔡子文,费向东.基于标记的数学形态学滤波分水岭算法[J].计算机技术与发展,2013,22(3):38-44.[CAI Z W,FEI X D.Mathematical-morphological watershed algorithm based on marking[J].Compute Technology and Development,2013,22(3):38-44.]

[5]王宇,陈殿仁,沈美丽.基于形态学梯度重构和标记提取的分水岭图像分割[J].中国图像图形学报,2008,13 (11):2176-2180.[WANG Y,CHEN D R,SHEN M L. Watershed segmentation based on morphological gradi⁃ent reconstruction and marker extraction[J].Journal of Image and Graphics,2008,13(11):2176-2180.]

[6]Rafael C Gonzalez,Richard E Woods,Steven L Eddins. Digital image processing using MATLAB[M].Beijing: Publishing House of Electronics Industry,2005,9.

[7]尹彪.基于视频图像处理的铁路客运站客流识别系统研究与实现[D].北京交通大学,2012,6.[YIN B.The research and implementation of system for passenger recognition based on video image processing in railway passenger station[D].Beijing Jiaotong University,2012, 6.]

[8]王爱玲,叶明生,邓秋香,MATLAB R2007图像处理技术与应用[M].北京:电子工业出版社,2008,1. [WANG A L,YE M S,DENG Q X.MATLAB R2007 im⁃age processing technology and application[M].Beijing: Publishing House of Electronics Industry,2008,1.]

Pedestrian Detection of Integrating BS Based on Quadratic Reconstruction and IE Marker Watershed

WANGAi-li,DONG Bao-tian,WANG Ze-sheng
(School of Traffic and Transportation,Beijing Jiaotong University,Beijing 100044,China)

ract:Pedestrian detecting is an important part of Intelligent Transportation Systems(ITS)application. To accurately refine traffic information,the paper proposes pedestrian detection method of Integrating background subtraction(BS)based on quadratic reconstruction and internal and external(IE)marker watershed. First,the morphological quadratic reconstruction is used to denoise and filter,and the BS is carried to highlight prospect and sharpen background.Then,the internal mark is extracted according to the integrated information of gray image local maximum value and neighborhood value,the“Quasi-Euclidean”transformation is conducted to extract external marks;Finally,the gradient image is modified and watershed transform is employed to segment gradient image corrected for which extracts movement pedestrians.The results shows that this method significantly eliminates motion noise,targets are completely detected and the over-segmentation problem is effectively remitted.Furthermore,the pedestrian detection in dynamic traffic scene has achieved better results.

rds:Intelligent transportation;quadratic reconstruction;background subtraction;internal and external marker;watershed;pedestrian detection

1009-6744（2014）04-0066-07

U298.2

A

2013-11-12

2014-02-19录用日期：2014-02-24

国家863计划项目(2009 AA11Z207)；博士科研基金（20110009110011）.

王爱丽（1987-），女，甘肃白银人，博士生. *

btdong@bjtu.edu.cn