基于运动轮廓标记提取的分水岭运动目标检测

佘 青 山， 杨 伟 健， 田 卓， 李 前 戎， 孟 明

( 杭州电子科技大学 智能控制与机器人研究所， 浙江 杭州 310018 )



基于运动轮廓标记提取的分水岭运动目标检测

佘 青 山*， 杨 伟 健， 田 卓， 李 前 戎， 孟 明

( 杭州电子科技大学 智能控制与机器人研究所， 浙江 杭州 310018 )

针对运动目标差分相乘产生的空洞问题，提出了一种基于运动区域轮廓信息和自适应标记约束的分水岭运动目标检测新算法，来实现移动机器人平台上较大运动目标的完整检测．首先，结合相位相关法和Fourier-Mellin变换配准图像的缩放和平移量；然后，利用运动区域轮廓信息和分层投影法来提取前景和背景标记．先通过连续三帧配准图像差分相乘方法检测出运动区域轮廓，并结合形态学腐蚀、膨胀操作和投影法生成前景和背景标记模板；再将前景和背景标记模板分为若干层，通过水平投影得到每一层轮廓的边界点，并按一定方式连接得到前景和背景标记；最后，根据重构的梯度图像，用标记约束分水岭分割出完整的运动区域．实验结果表明，该算法能够准确完整地分割出规则和非规则运动目标，具有较好的实时性．

运动目标检测；图像配准；标记约束分水岭；移动机器人

0 引 言

视频序列图像中运动目标的检测是基于视觉的智能系统的重要部分，在机器人技术、人工智能、人机交互等领域都有着广泛的应用，其效果好坏将直接影响后续工作．随着近年来机器人技术的迅猛发展，基于视觉的移动机器人运动目标检测成为研究的热点[1-4]．

移动机器人平台上获取的序列图像背景是动态的．目前常见的动态背景下运动目标检测方法主要有光流法[4-5]和基于运动补偿方法[6-9]．光流法能够克服复杂无规律的运动背景，较完整地检测出运动目标，但其计算耗时，实时性差，并不适用于移动机器人平台的运动目标检测．基于运动补偿的方法应用较广，是一种通过连续数帧的背景配准将动态背景运动目标检测转为趋于成熟的静态运动目标检测的方法，其中，差分相乘[7]是静态运动目标检测的常用方法．然而大运动目标和小运动目标相比，在数帧图像后更容易出现运动目标的重叠，再对其进行差分相乘检测就比较容易产生空洞，往往还需要后续诸如形态学填充等方法对其完整分割．

针对上述问题，本文提出一种基于运动区域轮廓信息和自适应标记约束的分水岭运动目标检测新算法，即根据运动目标轮廓信息和分层投影提取的前景和背景标记，完整表示整个运动目标，再用该标记约束的分水岭分割出运动区域，以准确完整地检测出较大的规则和非规则运动目标．

1 算法描述

1.1 动态背景图像配准

相位相关算法[10-11]是一种基于傅里叶功率谱的频域相关技术，它只利用互功率谱中的相位信息，对光照变化、图像内容、部分遮挡、加性噪声等影响因素具有很强的鲁棒性，而且算法计算量小，同时相位信息包含了大量的图像特征信息，因此适用于移动机器人平台所采集背景图像的实时配准．移动机器人具有前、后、左、右4个基本运动状态，不同的运动状态会造成不同的背景变化．背景图像的配准主要包括平移、旋转和缩放3个基本过程．因此在移动机器人不同的运动状态下可将图像配准过程分为以下两种：

(1)当移动机器人左右转动时，序列图像帧间背景可以近似作平移变化，用相位相关估计出帧间背景图像的平移量，并完成图像的配准；

(2)当移动机器人前后运动时，序列图像帧间背景并不仅仅是简单的平移变化，还存在缩放变化，因此不同于移动机器人左右转时的配准算法，其具体算法步骤如下：

Step1用Fourier-Mellin变换[12]估计出一致尺度缩放因子；

Step2利用缩放因子对原图像序列进行缩放补偿；

Step3根据估计的平移量完成对图像配准；

Step4用相位相关算法对缩放补偿后的图像序列进行平移量计算．

1.2 自适应标记提取

哺乳期早期乳腺炎是因金黄色葡萄球菌、白色葡萄球菌等感染所致,在发病早期若不采取及时有效的干预手段,可能会导致治疗不当或者治疗不及时,而引起化脓问题,从而使得患者往往需要遭受换药和手术的而痛苦,甚至不得不停止哺乳。早期阶段多表现为乳汁排泄不畅、局部疼痛性肿块,皮肤微红等症状,对此,西医多以吸奶器给予干预,但其疗效并不理想,甚至还可能致使症状加重[3]。中医认为引起“乳痈”的病因,多是由于乳汁瘀积而导致的,为此,在治疗中当以“以通论治”、“以通为用”为主要治疗原则。

分水岭分割算法模拟地貌浸水的过程，是一种经典的形态学图像分割算法．基于标记提取的分水岭分割是一种有效的运动目标分割方法，通过提取与运动区域相关的标记，可以提高分割的精确性．标记约束分水岭是从标记指定区域开始浸水，只要对运动区域进行合适的标记就可以对其进行准确提取．运动区域最直观的信息是运动区域边缘轮廓，因此，运动区域的标记可以通过其轮廓信息来获得．

前景标记和背景标记提取得好坏将直接影响到最后运动区域分割的完整性．为了保证算法的实时性和运动区域分割的完整性，本文提出了一种基于运动轮廓和分层投影的方法来提取前景和背景标记．先用连续三帧配准图像差分相乘方法检测出运动区域轮廓，然后结合形态学膨胀、腐蚀和投影法生成前景和背景标记模板，再分别利用分层投影法提取前景和背景标记．具体实现步骤如下：

(1)运动区域轮廓检测．对图像进行运动补偿后，图像间的背景差异减小，因此可以利用帧间差分法检测运动目标．然而，图像中光照变化、背景噪声和图像配准误差等因素的影响，使得二值帧差图存在除运动目标以外的伪运动目标点和噪声点，必须有效消除这些伪运动目标点和随机分布的噪声点才能准确地检测出运动目标．考虑到缓慢的运动目标帧间必然存在运动重叠区域，因此用图像差分相乘方法可以有效排除伪运动目标点和噪声点，精确检测出运动目标轮廓．

综合考虑运动目标的分割精度和速度等影响因素，本文用连续三帧配准图像差分相乘方法检测运动目标轮廓．任意取连续的三帧图像fk-1(x,y)、fk(x,y)和fk+1(x,y)，将fk-1(x,y)和fk+1(x,y)两帧向fk(x,y)配准，得到配准后的三帧图像f′k-1(x,y)、fk(x,y)和f′k+1(x,y)，然后进行差分相乘，差分相乘计算模型如下：

f(x,y)=[f′k-1(x,y)-fk(x,y)]× [f′k+1(x,y)-fk(x,y)]

(1)

式中：f(x,y)为差分相乘后的运动目标轮廓图像．通过差分相乘，伪运动目标点和噪声点得到抑制，目标运动区域轮廓的像素点得到增强．然而，f(x,y)中可能还残留一些孤立的噪声点，因此，本文还对f(x,y)进行形态学图像处理，得到f′(x,y)．

(2)前景和背景标记模板生成．先对f′(x,y)进行形态学膨胀处理得到f′A(x,y)(膨胀后的运动区域轮廓边界处于背景区域)，再对f′(x,y)进行形态学腐蚀处理得到f′B(x,y)(腐蚀后的运动区域轮廓边界处于前景区域)，然后采用投影法分别对f′A(x,y)和f′B(x,y)中的运动区域轮廓进行定位，即将f′A(x,y)和f′B(x,y)作水平和垂直方向的投影，得到运动区域轮廓的外接矩形，并将得到的外接矩形区域作为接下来标记提取的背景和前景标记模板．显然，将外接矩形区域作为标记模板，可以有效降低接下来标记提取时遍历图像过程的耗时．

需要注意的是，由于不能确保f′A(x,y)和f′B(x,y) 是零噪声图像，残余的噪声仍然会对投影得到运动区域轮廓外接矩形的大小和位置产生影响．因此，为了排除投影时一些毛刺等噪声的干扰，本文考察了以突变点为中心的邻域内是否包含连续或多个投影点，若没有，则认为此突变点为干扰点，予以去除，并得到准确的运动区域轮廓外接矩形．

Step1以h为层高对f′A(x,y)和f′B(x,y)的外接矩形区域进行水平分层，分层后得到的层数

(2)

α={f′A(x,y),f′B(x,y)}

式中：ceil为向上取整函数，Hα为图α外接矩形高度．

Step2将每一水平层进行x轴投影，分别得到每一层轮廓的左右边界横坐标信息，再将每一层一半高度处作为左右边界点纵坐标信息，最终得到nα个左边界点Plα[(x,y)|i]和nα个右边界点Prα[(x,y)|i]，如式(3)所示:

(3)

i=1,2,…,nα,α={f′A(x,y),f′B(x,y)}

式中：Xmin,i、Xmax,i分别为图α外接矩形第i层的左右轮廓边界横坐标值．

Step3分别获取背景标记模板f′A(x,y)顶层和底层之外的两个点Ptop(x,y)和Pbottom(x,y)，坐标值如式(4)所示：

(4)

Step4将f′A(x,y)中所得的2nα个边界点以及Ptop(x,y)和Pbottom(x,y)两点首尾相连得到连续封闭的背景标记．

Step5将f′B(x,y)中每一层的两个左右边界点相连，再将相邻层左右边界点首尾相连，最终得到连续的、能够较好反映运动区域的前景标记．

利用本文基于运动轮廓和分层投影的方法提取的前景和背景标记，能够反映出实际运动区域的轮廓，为接下来分水岭分割提供准确的感兴趣区域．

1.3 分水岭分割

将上一小节提取的前景标记和背景标记相“并”，作为标记掩模，使用强制最小技术[13]强制性地将提取的标记作为梯度图像的极小值，并重构梯度图像，再对重构的梯度图像进行分水岭分割，得到最终分割的运动区域．

2 实验结果与分析

2.1 算法流程

移动机器人平台的运动目标检测的详细算法如图1所示．

2.2 实验结果与分析

根据上述介绍的图像配准和运动目标检测算法，本文在VS2010和OpenCV软件平台上编写完成实验程序，并在搭建的移动机器人实验平台(如图2所示)上验证算法在左转、右转和前进3种不同运动状态下的有效性．

图1 运动目标检测流程图

图2 移动机器人实验平台

首先，对本文算法的可行性进行了实验测试．综合考虑本文算法对较大规则和非规则运动目标分割的有效性以及移动机器人实验平台空间的局限性，本实验选取了3种运动目标图像序列来进行算法的可行性验证:

(1)机器人移动平台右转过程拍摄的较大且相对规则头部摆动的图像序列;

(2)机器人移动平台左转过程拍摄的较大且非规则瓶子移动的图像序列;

(3)机器人移动平台前进过程拍摄的非规则手部移动的图像序列．

所有图像序列是通过移动机器人实验平台上的笔记本内置摄像头采集的，帧频为25 f/s，同时考虑到实验过程的安全性，移动机器人实验平台前进速度为0.11 m/s，左/右转速度均为0.26 rad/s．

实验结果如图3～5所示．图3是头部运动图像序列第32～34帧图像运动目标检测结果，图4是瓶子运动图像序列第45～47帧图像运动目标检测结果，图5是手部运动图像序列第52～54帧图像运动目标检测结果．在图3～5中，图(a)、(b)和(c)分别是连续三帧原始运动目标图像序列．先将图(a)相对图(b)配准，图(c)相对图(b)配准，配准后的图像如图(d)和(f)所示．需要说明的是，由于移动机器人实验平台运动速度缓慢，相邻帧之间背景变化较小，因此配准后的图(d)和(f)几乎与原图像序列一致．然后，将图(d)与图(e)和图(e)与图(f)分别进行差分，并将差分结果相乘，通过生成的标记模板和分层投影方法提取出能够完整覆盖整个运动区域的前景和背景标记结果图(g)．考虑到算法的实时性和分割效果，本文实验中取h=10，表示每一层的层高为10 pixel．最后，通过标记掩模梯度重构后分水岭分割，得到运动目标检测结果图(h)．

从实验结果来看，图3(h)和图5(h)能够较完整地分割出运动目标，而图4(h)的分割结果出现了一个小缺口，这主要是由于透明水瓶跟背景重叠部分的灰度值与背景中衣服的灰度值相近，分水岭分割时误将前景标记未覆盖的区域归为背景区域．

其次，将本文算法与背景补偿后差分相乘算法的分割结果进行了比较．由图3(h)与图3(i)、图4(h)与图4(i)和图5(h)与图5(i)对比可得，由于数帧后仍存在运动目标本身的重叠，差分相乘算法分割结果存在着较大空洞，而本文算法在准确提取前景和背景标记的前提下能够较完整地分割出运动区域．

图3 右转过程实现结果

图4 左转过程实现结果

图5 前进过程实现结果

最后，对算法的实时性做了测试．算法耗时测试环境为主频2.4 GHz，内存4 GB的PC机．本文前景和背景标记的提取等过程是在运动目标所在区域进行的，整个算法的耗时与运动目标的大小存在正比关系．因此，本文对实验中最大运动目标，即头部摆动过程进行10次测试，测试结果如图6所示，其中测试的图像序列大小为320 pixel×240 pixel．从图中可知，整个算法平均每帧处理速度在32 ms左右，可以满足实时视频处理的需求．

图6 算法耗时统计图

3 结 语

本文对移动机器人平台的运动目标检测方法进行研究，实现了较大运动目标的完整检测．提出了一种基于运动区域轮廓信息和自适应标记约束的分水岭运动目标检测新算法．其中，前景标记和背景标记提取的质量将直接影响到最后运动区域分割的完整性．系列实验结果显示，本文算法提取的前景和背景标记能够准确反映出实际运动区域的轮廓，最终有效地分割出规则和非规则运动目标．同时，将本文算法与差分相乘检测方法进行比较，结果显示，本文算法能够完整地分割出运动目标．最后，还对本文算法的实时性做了测试，结果表明，整个算法具有较高的实时性，可以满足视觉系统的实时需求．

[1] Ruiz-del-Solar J, Vallejos P A. Motion detection and tracking for an AIBO robot using camera motion compensation and Kalman filtering [J].LectureNotesinComputerScience, 2005,3276:619-627.

[2] 苏丽颖,王树才,余跃庆. 移动机器人室内运动目标检测的一种新方法[J]. 华中科技大学学报:自然科学版, 2011,39(2):212-215.

SU Li-ying, WANG Shu-cai, YU Yue-qing. A new method of moving object detection for indoor mobile robot [J].JournalofHuazhongUniversityofScienceandTechnology:NaturalScienceEdition, 2011,39(2):212-215. (in Chinese)

[3] WU Ming, SUN Ji-ying. Simultaneous localization, mapping and detection of moving object with mobile robot in dynamic environments [C] //ICCET2010-2010IEEEInternationalConferenceonComputerEngineeringandTechnology,Proceedings. Piscataway:IEEE Computer Society, 2010:696-701.

[4] Fernandez-Caballero A, Castillo J C, Martinez-Cantos J. Optical flow or image subtraction in human detection from infrared camera on mobile robot [J].RoboticsandAutonomousSystems, 2010,58(12):1273-1281.

[5] Dessauer M P, Dua S. Optical flow object detection, motion estimation, and tracking on moving vehicles using wavelet decomposition [C] //ProceedingsofSocietyofPhoto-OpticalInstrumentationEngineers. Bellingham:SPIE, 2010:1-10.

[6] Jung B, Sukhatme G S. Detecting moving objects using a single camera on a mobile robot in an outdoor environment [C] //Proceedingsofthe8thInternationalConferenceonIntelligentAutonomousSystems. Amsterdam:IAS, 2004:980-987.

[7] 周许超,屠大维,陈 勇,等. 基于相位相关和差分相乘的动态背景下运动目标检测[J]. 仪器仪表学报, 2010,31(5):980-983.

ZHOU Xu-chao, TU Da-wei, CHEN Yong,etal. Moving object detection under dynamic background based on phase-correlation and differential multiplication [J].ChineseJournalofScientificInstrument, 2010,31(5):980-983. (in Chinese)

[8] 王 梅,屠大维,周许超. SIFT特征匹配和差分相乘融合的运动目标检测[J]. 光学精密工程, 2011,19(4):892-899.

WANG Mei, TU Da-wei, ZHOU Xu-chao. Moving object detection by combining SIFT and differential multiplication [J].OpticsandPrecisionEngineering, 2011,19(4):892-899. (in Chinese)

[9] 易 盟,郭宝龙,严春满. 结合优化梯度滤波与投影不变的航拍视频配准[J]. 光学精密工程, 2012,20(3):651-660.

YI Meng, GUO Bao-long, YAN Chun-man. Aerial video registration combining optimal gradient filters and projective invariant [J].OpticsandPrecisionEngineering, 2012,20(3):651-660. (in Chinese)

[10] Kuglin C D, Hines D C. The phase correlation image alignment method [C] //ProceedingsofIEEEInternationalConferenceonCyberneticsandSociety. New York:IEEE Cybernetics and Society, 1975:163-165.

[11] 王 运,颜昌翔. 光谱仪图像的亚像素配准[J]. 光学精密工程, 2012,20(3):661-667.

WANG Yun, YAN Chang-xiang. Sub-pixel image registration of spectrometer images [J].OpticsandPrecisionEngineering, 2012,20(3):661-667. (in Chinese)

[12] Chen Q S, Defrise M, Deconinck F. Symmetric phase-only matched filtering of Fourier-Mellin transforms for image registration and recognition [J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 1994,16(12):1156-1168.

[13] Soille P.MorphologicaImageAnalysisPrincipleandApplication[M]. 2nd ed. Berlin:Spring-Verlag, 2003.

Movingobjectdetectionbymarker-extractedwatershedbasedonmotioncontour

SHE Qing-shan*, YANG Wei-jian, TIAN Zhuo, LI Qian-rong, MENG Ming

( Institute of Intelligent Control and Robotics, Hangzhou Dianzi University, Hangzhou 310018, China )

Aiming at the problem of empty caused by using difference multiplication to a moving object, a new algorithm is introduced based on motion region contour and adaptive marker-constrained watershed to realize the integrity of bigger moving object detection on a mobile robot platform. Firstly, scaling and translating of background caused by the mobile robot are matched using the phase correlation and Fourier-Mellin transform algorithm. Secondly, the foreground and background markers are extracted based on motion region contour and layered projection method. The motion region contour is detected by multiplying the two difference images of three frames. And then, through the combination of the open, close operation and projection method, the foreground and background marker templates are generated. These marker templates are divided into several layers, and the foreground and background markers are extracted via connecting the boundary points of each layer in a certain way, these boundary points are gained by horizontal projection. Finally, based on the reconstructed gradient image, the motion region is completely segmented using the marker-constrained watershed algorithm. The experimental results demonstrate the effectiveness of the algorithm for segment of ordered and dis-ordered moving objects and its real-time performance.

moving object detection; image registration; marker-constrained watershed; motion robot

1000-8608(2014)06-0656-06

2014-04-08；

: 2014-09-22．

国家自然科学基金资助项目(61201302)；浙江省科技计划资助项目(2012C33075)；浙江省国际科技合作项目(2013C24016).

佘青山*(1980-)，男，博士，副教授，E-mail:qsshe@hdu.edu.cn.

TP391.41

：Adoi:10.7511/dllgxb201406010