基于分水岭变换的互相遮挡交通标志自适应分离

李 厚 杰, 邱 天 爽, 宋 海 玉, 贺 建 军

( 1.大连理工大学 电子信息与电气工程学部, 辽宁 大连 116024;2.大连民族学院 信息与通信工程学院, 辽宁 大连 116600;3.大连民族学院 计算机科学与工程学院, 辽宁 大连 116600 )



基于分水岭变换的互相遮挡交通标志自适应分离

李 厚 杰1,2, 邱 天 爽*1, 宋 海 玉3, 贺 建 军2

( 1.大连理工大学 电子信息与电气工程学部, 辽宁 大连 116024;2.大连民族学院 信息与通信工程学院, 辽宁 大连 116600;3.大连民族学院 计算机科学与工程学院, 辽宁 大连 116600 )

针对交通标志检测中标志互相遮挡导致检测性能下降的问题,提出一种基于分水岭变换的互相遮挡标志自适应分离算法．基于RGB归一化阈值分割算法对标志图像进行二值化处理,然后构造区域轮廓特征矢量对二值图像中各个兴趣区域进行匹配,确定并提取互相遮挡标志候选区域Blob．对提取的低维数Blob进行形态学膨胀处理,使不连续的边缘趋于连续,然后利用欧氏距离变换和分水岭变换寻求标志间分水岭脊线,利用脊线实现标志的自适应分离．实验结果表明算法取得较好的分离效果,在整个标志检测应用中,与现有算法相比,检测率提高了6.1%,处理速度提升了近3倍．

分水岭变换；交通标志；互相遮挡；区域特征；自适应分离

0 引 言

基于计算机视觉的交通标志识别系统(TSR)是智能交通系统的重要组成部分,交通标志图像的标志检测是识别系统的关键技术．近年来,出现了很多交通标志检测算法,主要分为两类:依赖训练数据的机器学习算法和基于标志形状的理论模型算法[1]．在基于机器学习的检测算法中,主要采用SVM[2]、决策树[3]、神经网络[4],以及Cascaded[5]等分类器,它们提取和利用HOG特征、Haar小波特征、DtB特征或形状标签的FFT特征等对训练集进行训练,获取相应的分类器,再用于标志检测．基于标志形状的理论模型算法,是根据交通标志的特有形状,利用形状检测器进行搜索检测．Moutarde 等[6]采用Hough变换检测器检测限速标志,但计算开销大,很难满足实时要求．Loy等[7]提出了一种快速径向对称变换,Barnes等[8]首次利用它进行澳大利亚限速标志的检测,取得了较好的检测效果,它计算快速,易于满足实时性要求．Loy等在文献[9]中对径向对称变换进行了扩展,不仅能够对圆形标志进行检测,而且能够检测正多边形标志,得到了广泛的关注和应用[1]．

在两类检测算法,特别是第二类算法中,往往利用交通标志特有的颜色信息进行图像分割[1],以期初步确定标志和缩小搜索空间,进而降低计算复杂度．但在分割之后的二值图像中,可能会出现交通标志互相遮挡问题．互相遮挡的多个交通标志(通常为2～3个)在二值图像中会形成一个连通区域,从而被误判为一个标志,在后续处理中往往被滤除,降低了检测性能．目前的检测算法对此关注较少,在文献[10]中,Bui-Minh等提出了两种分离算法．第一种算法利用互相遮挡标志内部区域之间不连通的特性进行分离,但当遮挡程度高时,分离失败．第二种算法基于分水岭变换进行分离,不再受遮挡程度的约束,但这种算法是对整幅图像进行处理,即使没有互相遮挡的标志,也会进行同样的分离处理,大大增加了计算成本,而且当互相遮挡的标志外轮廓在二值化图像中出现不连续时,可能会产生孔洞填充失效现象,从而导致标志被丢弃,降低了整体检测性能．

本文针对以上问题,提出一种基于分水岭变换的自适应分离算法,仅对低维数的Blob区域进行分离处理,以有效降低时间开销,提高整体检测性能．

1 基于分水岭变换的自适应分离算法

1.1 基于RGBN的彩色分割

为了从背景中提取交通标志候选目标区域,首先对交通标志图像进行二值化处理．本文采用RGB归一化(RGBN)彩色图像分割算法[11],利用标志颜色信息对彩色输入图像进行二值化分割处理．在RGB空间,三基色的归一化分量可表示为

(1)

对于禁止标志而言,利用了红色信息,红色掩模表示如下:

(2)

其中Rth和Gth分别为红色和绿色归一化分量的阈值．

1.2 互相遮挡标志候选Blob区域判决与提取

1921年，当北平协和医学院协和医院开展社会服务之时，它被认为是“试验性的”。当时即便是在美国，在大型医疗中心之外提供医疗性社会服务也属凤毛麟角。当时，在中国存在着关于进行家访是否可行？社区是否拥有足够的资源以使社会工作可以有效开展的疑虑。因此，北平协和医院社会服务部成立之初的3-4年间，始终在探索哪些是可以开展的服务。实践证明，除极少数情况之外，病患们都欢迎社会服务部的人员到家中探访。病患们因为有人对他们像关心自己一样而感到格外高兴。他们不仅与我们交谈，向我们倾诉，允许我们访问他们的家庭，而且他们还带着他们的问题主动来拜访我们。

为了降低计算开销,本文算法仅对互相遮挡标志候选Blob区域进行处理．为此,本文构造了一个区域轮廓特征矢量V=(NpArSLmin),其中Np为二值图像8连通区域中值为1的像素数,Ar为8连通区域的最小外接矩形的纵横比,S为最小外接矩形的面积,Lmin为外接矩形的最小边长．对于交通图像中的交通标志而言,有意义的标志区域尺寸是有限的,比如德国交通标志数据集GTSDB[12],交通标志的区域尺寸范围为16 pixel×16 pixel至128 pixel×128 pixel．因此,根据经验可以获取区域轮廓特征阈值,即Vth=(Np,thAr,thSthLmin,th),通过阈值匹配处理,可以确定Blob区域的特性．判决和提取步骤如下:

步骤1去噪预处理:利用形态学开运算对二值分割图像中8连通区域像素小于Np,th的干扰区域进行消除处理．

步骤2计算最小外接矩形:对预处理后二值图像进行连接分量标注,获得标记矩阵L,然后对标记矩阵L中所有标注的连接分量计算最小外接矩形,获取各个候选标志Blob区域信息．

步骤3区域判决:计算各个Blob区域特征参数,获得区域轮廓特征矢量V．依据特征参数S和Lmin进一步确定非目标区域,并丢弃不予考虑．对于确认的候选目标Blob,设定纵横比参数阈值Ar,th．对于单个正方形或圆形标志而言,理想状态下外接矩形Blob区域的纵横比为1；而对等边三角形标志而言,纵横比近似为1.15(垂直放置)或0.87(水平放置)．同时,考虑到倾斜、旋转等实际复杂环境,需设置纵横比偏移因子αi和βi(互相遮挡标志通常为2～3个,i=1,2,3)．对于标志水平排列时,纵横比阈值Ar,th=[i-αi,i+βi]；而对于标志垂直排列时,采用纵横比的倒数作为判别变量,阈值Ar,th不变,i为Blob区域标志个数．当候选目标Blob区域的纵横比击中i=1的阈值区间时,该区域判定为单个标志Blob区域,无须分离,直接提取；如果纵横比击中i=2,3的阈值区间,则判定为标志互相遮挡Blob区域．

步骤4区域提取:对于互相遮挡标志Blob区域,根据其最小外接矩形的坐标信息,进行Blob区域提取．

1.3 基于分水岭变换的标志分离

分水岭变换是一种基于拓扑理论数学形态学的图像分割算子,能够把图像分割为多个互不重叠的相似区域．Vincent等[13]提出了一种基于模拟淹没快速计算方法,使分水岭变换得到了广泛应用．本文利用分水岭变换对含有遮挡标志的Blob区域进行处理,寻求遮挡标志之间的分水岭脊线,实现遮挡标志的自适应分离．具体步骤如下:

步骤1形态学膨胀处理:对Blob区域进行形态学膨胀算子处理,通过其变粗或加长功能使不连续的标志边缘趋于连续．对于膨胀运算,变粗的程度取决于结构元素,在本算法中,采用了平坦的圆盘形结构算子,半径取为2,既保证了边缘的连续性,又不至于过膨胀．

Xk=(Xk-1⊕B)∩Ac；k=1,2,…

(3)

步骤3分水岭变换:距离变换结果图像在三维上形象为一个分水岭地形结构,互相遮挡中的每个交通标志区域构成了一个汇水盆地,通过分水岭变换在汇水盆地之间构建水坝,也即寻求分水岭脊线．令P1,P2,…,Pm表示图像I(x,y)区域最小值点的坐标集合,令C(Pi)表示与Pi相联系的汇水盆地中的点坐标集合,T(n)表示满足I(s,t)

T(n)={(s,t)|I(s,t)

(4)

利用模拟淹没过程实现分水岭变换[14],令Cn(Pi)表示汇水盆地中与淹没阶段n的最小值Pi相关联点的坐标集合,则Cn(Pi)是一幅由式(5)给出的二值图像．

Cn(Pi)=C(Pi)∩T(n)

(5)

令C(n)表示阶段n中已被淹没的汇水盆地的合集,C(Imax+1)则为所有汇水盆地的合集．即

(6)

显然,C(n)是T(n)的一个子集,所以,C(n-1)可以理解为T(n)的一个子集,也就是说C(n-1)中的每个连通分量都恰好包含在T(n)的一个连通分量中．初始化C(Imin+1),即C(Imin+1)=T(Imin+1),通过递归处理,由C(n-1)构建C(n),从而寻找分水岭脊线．令Q表示T(n)中的连通分量的集合,对于每个连通分量q∈Q(n),当遇到一个新的最小值时,q∩C(n-1)为空集,则q并入C(n-1)形成C(n)；当q位于某些局部最小值的汇水盆地时,q∩C(n-1)包含C(n-1)的一个连通分量,q并入C(n-1)形成C(n)；当遇到全部或部分分隔两个或多个汇水盆地的山脊线时,q∩C(n-1)包含C(n-1)的一个以上连通分量,此时,使用3×3元素值为1的对称结构元素对q∩C(n-1)进行形态学膨胀处理,并且膨胀被约束在q,这样就可以构建一个像素宽度为1的分水岭脊线．

步骤4标志分离:通过分水岭变换获取分水岭脊线二值图像(脊线为0,背景为1),然后与标志互相遮挡Blob子图像进行“与”运算,从而通过脊线分离了重叠在一起的标志区域．再通过区域轮廓特征矢量对分离后的区域进行候选标志再确认,对满足单个标志特征的分离区域进行提取,否则,丢弃处理．

2 实 验

为了验证本文算法的有效性,在德国交通标志数据集GTSDB上对含有红色信息的交通标志进行了实验测试．GTSDB的TrainIJCNN2013数据集含有600幅交通标志图像,其中出现交通标志互相遮挡图像20幅,涉及互相遮挡交通标志约60个．本实验以CPU 2.8 GHz,内存1.99 GB的个人PC机为硬件平台,Windows XP操作系统为软件平台,使用Matlab R2010b进行仿真．另外,根据实验数据集,主要参数设置为Rth=3.5；Gth=3；Vth=(80 [270,20 000] {[0.8,1.3],[1.4,2.3],[2.6,3.2]} 16)．

2.1 分离效果比较

本文对不进行分离、采用文献[10]算法分离和本文算法分离3种情况进行了比较实验,如图1所示．为了视觉效果,分别对原始图像中的交通标志以及标志的二值图像进行了局部放大．从图1(d)可以看到,干扰区域的消除效果明显．图1(e) 显示了三角形反向弯路标志和限速70圆形标志之间产生了互相遮挡问题,如不进行分离,则被看成一个区域,不满足单个标志的区域轮廓特征而被丢弃,如图1(f)所示．在文献[10]的分离算法中,反向弯路标志边缘的不连续性,导致孔洞填充失效,只保留了70限速标志,反向弯路标志定位失败,如图1(h)～(j)所示．而本文算法解决了这一问题,互相遮挡标志得到了有效分离．

从图2中可以看到,图中左边的120限速标志和卡车禁止超速标志之间不存在互相遮挡现象,文献[10]分离算法不具有识别能力,仍然进行了分离处理．而本文算法进行了判决,能够自动识别标志遮挡特性,仅对右边具有遮挡标志进行分离处理,体现了较好的自适应能力．

另外,文献[10]提出的算法是对整幅图像进行处理,而本文算法仅对具有互相遮挡标志的Blob区域进行处理,如图3所示．显然,从视觉效果上看,文献[10]算法的计算处理开销要远大于本文算法．

图1 交通标志分离对比实验结果

图2 标志分离自适应性实验结果

图3 计算开销比较结果

2.2 在标志检测中的效果评价

本文把分离处理作为整个标志检测的一个重要阶段进行实验测试,通过整体检测效果来客观评价分离算法的有效性．在标志检测中,对分离处理后的Blob候选标志,采用本文提出的基于径向对称变换的禁止标志圆形检测器进行标志检测．以GTSDB的TrainIJCNN2013数据集600幅图像为测试对象,其中圆形禁止标志396个,实验结果如表1所示．Tp为交通标志真正数,即检测结果是交通标志的数量；Fn为交通标志假负数,即所有没有被检测出的交通标志数；Fp为交通标志假正数,即不是标志而被检测为标志的数量；R为召回率,即正确检测率；Fppf为每帧图像平均假正率；Atpf为每帧图像平均处理时间．从结果中可以看出,本文算法的正确检测率比文献[10]分离算法提高了6.1%,在每帧平均处理速度上提升了近3倍,体现了本文算法的有效性．

表1 两种算法在交通标志检测中的性能比较

2.3 讨 论

本文实验分别给出了标志分离效果和在交通标志检测中的有效性客观评价．从实验结果上看,本文提出的自适应分离算法无论在分离效果上,还是在整个标志检测中检测率和处理速度上均优于文献[10]的分离算法．本文算法通过构造区域轮廓特征矢量,利用匹配处理能够自动识别区域Blob标志遮挡特性,对于单个标志Blob不做分离处理,直接提取进行后续标志检测；对于不满足标志区域轮廓特征的Blob直接丢弃；而对于满足标志互相遮挡区域特征的候选Blob区域,开始启动分水岭分离处理．显然,这种自适应分离算法,仅对维数较低的Blob区域进行处理,计算成本必然下降,处理速度得到提高．而对于标志边缘不连续性,通过形态学膨胀处理,使其趋于连续,有效缓解了分离性能变差的问题．当然,对于不连续性严重的状况,膨胀处理的效果不再明显．如图3(b) 所示,图中左边的三角形标志边缘断裂严重,两种算法都定位失败．如何更好地改善边缘连续性和优化颜色分割性能将是下一步的研究重点．

3 结 论

本文提出的互相遮挡标志自适应分离算法,较好地实现了遮挡标志的分离．利用构造的区域轮廓特征判决标志候选区域的遮挡特性,自适应地进行遮挡标志的分离处理,有效解决了现有方法计算开销大的问题．本文提出的分离算法在整个标志检测应用中体现了较好的有效性,与现有方法相比,有效提升了标志检测率和执行效率．

[1]Møgelmose A, Trivedi M M, Moeslund T B. Vision-based traffic sign detection and analysis for intelligent driver assistance systems:Perspectives and survey [J]. IEEE Transactions on Intelligent Transportation System, 2012,13(4):1484-1497.

[2]Lafuente-Arroyo S, Salcedo-Sanz S, Maldonado-Bascón S,etal. A decision support system for the automatic management of keep-clear signs based on support vector machines and geographic information systems [J]. Expert System Application, 2010,37(1):767-773.

[3]Mathias M, Timofte R, Benenson R,etal. Traffic sign recognition — How far are we from the solution? [C] // IJCNN2013, International Joint Conference on Neural Networks. New York:IEEE, 2013.

[4]Berger M, Forechi A, Souza A F D,etal. Traffic sign recognition with VG-RAM weightless neural networks [C] //12th International Conference on Intelligent Systems Design and Applications (ISDA). New York:IEEE, 2012:315-319.

[5]Prisacariu V, Timofte R, Zimmermann K,etal. Integrating object detection with 3D tracking towards a better driver assistance system [C] // ICPR2010,20th International Conference on Pattern Recognition. Berlin:Springer, 2010:3344-3347.

[6]Moutarde F, Bargeton A, Herbin A,etal. Robust on-vehicle real-time visual detection of American and European speed limit signs, with a modular traffic signs recognition system [C] //2007IEEE Intelligent Vehicles Symposium. New York:IEEE, 2007:1122-1126.

[7]Loy G, Zelinsky A. Fast radial symmetry for detecting points of interest [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003,25(8):959-973.

[8]Barnes N, Zelinsky A. Real-time radial symmetry for speed sign detection [C] //2004IEEE Intelligent Vehicles Symposium. New York:IEEE, 2004:566-571.

[9]Loy G, Barnes N. Fast shape-based road sign detection for a driver assistance system [C] // IROS2004,2004IEEE/RSJ International Conference on Intelligent Robots and Systems. New York:IEEE, 2004:70-75.

[10]Bui-Minh T, Ghita O, Whelan P F,etal. Two algorithms for detection of mutually occluding traffic signs [C] // ICCAIS2012,2012International Conference on Control, Automation and Information Sciences. New York:IEEE, 2012:120-125.

[11]Gomez-Moreno H, Maldonado-Bascon S, Gil-Jimenez P,etal. Goal evaluation of segmentation algorithms for traffic sign recognition [J]. IEEE Transactions on Intelligent Transportation System, 2010,11(4):917-930.

[12]Institut für neuroinformatik. The German traffic sign detection benchmark [DB/OL]. [2013-01-12]. http://benchmark.ini.rub.de/?section=gtsdb&subsection=dataset.

[13]Vincent L, Pierre S. Watersheds in digital spaces:an efficient algorithm based on immersion simulations [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1991,13(6):583-598.

[14]Gonzalez R C, Woods R E. Digital Image Processing [M]. 3rd ed. Beijing:Electronic Industry Press, 2010.

Adaptiveseparationofmutuallyoccludingtrafficsignsbasedonwatershedtransformation

LI Hou-jie1,2, QIU Tian-shuang*1, SONG Hai-yu3, HE Jian-jun2

( 1.Faculty of Electronic Information & Electrical Engineering, Dalian University of Technology, Dalian 116024, China;2.College of Information & Communication Engineering, Dalian Nationalities University, Dalian 116600, China;3. School of Computer Science & Engineering, Dalian Nationalities University, Dalian 116600, China )

In view of the performance degradation of traffic sign detection due to mutually occluding signs, an adaptive separation algorithm is proposed based on watershed transformation. Traffic image is segmented based on RGB-normalized thresholding algorithm and binary image is generated. Then, a regional contour feature vector is constructed and used to match every interested region in binary image. Thus, a Blob containing candidate mutually occluding traffic signs is determined and extracted from binary image. In order to make the discontinuous edges of traffic sign possess continuity, the Blob with lesser dimensions is processed using morphological dilation operator. For the obtained Blobs, watershed ridge line between the traffic signs is achieved by adopting Euclidean distance transform and watershed transformation, which is used to separate the traffic signs. The experimental results show that the proposed method provides superior results to the existing algorithm, improving 6.1% in detection rate and about 3 times in processing speed.

watershed transformation; traffic signs; mutually occlusion; region feature; adaptive separation

1000-8608(2014)01-0100-06

2013-01-14；

: 2013-11-20．

国家自然科学基金资助项目(81241059,61172108,61139001)；“十一五”国家科技支撑计划资助项目(2012BAJ18B06)；国家民委科研资助项目(12DLZ011)；中央高校基本科研业务费专项资金资助项目(DC110313,DC120101073).

李厚杰(1977-),男,博士生,讲师,E-mail: lihoujie@sina.com；邱天爽*(1954-),男,教授,博士生导师,E-mail: qiutsh@dlut.edu.cn.

TP751

：A

10.7511/dllgxb201401016