基于特征颜色和 SNCC 的交通标志识别与跟踪

房泽平,段建民,郑榜贵

(1. 北京工业大学 电子信息与控制工程学院,北京 100124;2. 中原工学院 电子信息学院,郑州 450007)

基于特征颜色和 SNCC 的交通标志识别与跟踪

房泽平1,2,段建民*1,郑榜贵1

(1. 北京工业大学 电子信息与控制工程学院,北京 100124;2. 中原工学院 电子信息学院,郑州 450007)

提出了基于特征颜色和 SNCC 的交通标志识别与跟踪方案,该方案用于智能车辆的交通标志识别与跟踪.在 YCbCr色彩空间对交通场景图像进行颜色阈值分割,提取交通标志所在区域.根据标准交通标志的背景和内景特征颜色,设计标准交通标志的背景和内景颜色特征匹配模板.以背景和内景颜色特征匹配模板作为模板,采用模板匹配技术和 SNCC 计算匹配度,识别潜在交通标志图像和交通标志.在 Matlab/Simulink 环境下,基于视频与图像处理模块集和用户自定义函数模块构建仿真模型,进行仿真研究,给出了交通场景视频中交通标志的识别和跟踪轨迹仿真结果.结果表明,采用本文的交通标志识别与跟踪方案,计算量少,提高系统的效率,达到了较好的识别效果.

智能交通; 交通标志识别; 简化归一化互相关法; 智能车辆;YCbCr空间;模板匹配;跟踪轨迹

1 引 言

在智能交通系统中,准确识别交通标志可为智能车辆提供前方道路状况的改变、速度限制、驾驶行为限制等重要信息,有利于智能车辆适时反应,保证驾驶安全,避免发生交通事故.因此,交通标志的自动识别成为智能车辆一个非常重要的研究领域.上世纪 80 年代日本学者进行了开拓性的研究,经过几十年,对交通标志识别的研究取得了一些成果[1].现有的交通标志识别方法大多是复杂算法,很难满足实时性[2].针对用于智能车辆的交通标志识别方法,准确性和实时性是重要指标.基于颜色信息的交通标志识别方法通常使用 RGB 色彩空间、HIS/HSV 色彩空间和 CIE 空 间等.RGB 色彩空间到 HIS/HSV 色彩空间转换是非线性,因此计算量大实时性差.CIE空间很难消除对光照变化的影响.已有的诸多模板匹配算法存在不满足匹配实时性、不适应环境光照一定范围内变化、易受背景干扰等问题,为提高匹配速度和实时性,应减少在待搜索图像中的匹配位置和减少每个匹配位置处模板匹配度的运 算 量.传 统 的 计 算 模 板 匹 配 度 的 NCC (Normalized Cross Correlation, 归 一 化 互 相 关 ) 算法计算量大,无法满足实时性要求,应简化 NCC算法.为此,提出了基于特征颜色和 SNCC 的交通标志识别与跟踪方案,该方案用于智能车辆的交通标 志 识 别 与 跟 踪, 并 在 Matlab/Simulink 环 境下,基于视频与图像处理模块集和用户自定义函数模块构建仿真模型,进行仿真实验研究.

2 交通标志的特征颜色

在 GB5768.2-2009《道路交通标志和标线:第2 部分 道路交通标志》中,对交通标志的分类、特征颜色、轮廓、尺寸大小、内部包含的字符、数字、几何图样和数量等作了明确的规定.每种交通标志具有鲜明的颜色特征和明确的含义.每种交通标志具有明显的背景和内景颜色特征.禁令标志、指示标志、警告标志的背景特征颜色分别为红色、蓝色、黑色,禁令标志、指示标志、警告标志的内景特征颜色分别为白色、白色、黄色.因此,标准交通标志的背景和内景特征颜色作为提取和识别交通标志的依据.

3 基于 YCbCr色彩空间交通场景图像颜色分割

根据特征颜色进行交通标志提取和识别,对交通场景图像进行颜色分割是检测的一个关键部分.

在 YCbCr色彩空间中,Y 指的是亮度,Cb、Cr代表色度.在 YCbCr色彩空间对交通场景图像进行颜色分割,以获取交通标志区域.将基于 RGB 色彩空间的交通场景视频变换至 YCbCr色彩空间,只需经过一次线性变换即可,这种转换具有较好的实时性,其转换公式为[3]

通过选取多幅实际交通标志图像的特征颜色区域进行实验,得到特征颜色分割阈值范围.如红色的分割阈值范围为

根据式(2),从交通场景图像中提取交通标志所在区域.因此,采用在 YCbCr色彩空间对交通场景图像进行颜色阈值分割,只需根据像素的 Cb、Cr分量进行,具有受亮度变化影响较小的特点,减少不同的现场实际环境对交通标志识别的影响.

4 模板匹配和 SNCC 算法

4.1 模板匹配

模板匹配作为图像分析和处理的一项重要手段,在计算机视觉和模式识别的众多领域获得广泛的应用.模板匹配的基本思想是利用模板叠放在待搜索图S上平移,模板覆盖下的那块待搜索图成为子图,记为 Si,j,其中,i、j为子图的左上角像点在 S中的坐标,通过比较模板与搜索子图的匹配度,进行目标的搜索.模板匹配技术中最简单的匹配方法是采用图像像素的统计特性.根据计算匹配度进行图像的匹配判断.采用图像像素数的统计特性进行图像匹配,具有较好的准确性.在交通标志识别中,以交通标志所在区域图像作为待搜索图而不是整个交通场景图像,减少在待搜索图像中的匹配区域.

4.2 SNCC 算法

SNCC(Simplified Normalized Cross Correlation,简化归一化互相关)即简化 NCC 算法.NCC 算法是一种常用的匹配方法,具有一定的抗噪声能力[4].NCC 算法是一种典型的基于灰度的相关算法,其定义为

式(3)中,假设待搜索图像 S 的尺寸为 M×M,匹配模板 T 的尺寸为 N×N.M＞＞N,M、N 代表图像象素.¯T 为模 板 T 的 均 值,为 搜索 子图 Si,j的均值.通过式(3)计算搜索子图与匹配模板的灰度互相关值.互相关值最大的搜索子图位置即为匹配位置.在实际匹配应用中,搜索子图和匹配模板的匹配度是通过互相关值来度量的.

式(3)的 NCC 算法受局部光照变化的影响,且匹配速度较慢,运算时间复杂度高,分子、分母都存在大量的卷积运算,处理数据量大,无法满足实时性要求.

式(4)为 SNCC 算法表达式.式(4)中,分子部分剩下一项;分母部分的第二项只与模板 T 有关,仅算一次即可,大致需要 N2次运算;分子部分和分母部分的 S′也只计算一次.这样,采用式(4)可以减少计算量.因此,采用式(4)计算互相关值.

5 背景和内景颜色特征匹配模板设计

5.1 基于 RGB 色彩空间颜色分割

根据标准交通标志图像的特征颜色,将标准交通标志图像的颜色分为背景特征颜色和内景特征颜色,在 RGB 色彩空间对标准交通标志图像进行颜色分割,设计标准交通标志图像背景和内景颜色特征匹配模板.红色分割阈值为 R＞0、 G＜0.2、B＜0.2,白色分割阈值为 R＞0、G＞0、B＞0,黄色分割阈值为 R＞0、G＞0、B＜0.2.

5.2 尺寸变换和旋转变换

根据先验知识可知,结合实验,实际上,只需识别一定范围内的交通标志.为减少运算量,背景颜色特征匹配模板尺寸为 18×18.为提高识别准确性,内景颜色特征匹配模板尺寸为 24×24.考虑到现场的交通标志图像可能存在扭曲现象,对每种交通标志设计了旋转一定角度的内景颜色特征匹配模板.标准交通标志图像尺寸选为 90×90.这样,由标准交通标志图像设计背景和内景颜色特征匹配模板需要进行图像尺寸变换和旋转变换.采用双三次插值法进行图像尺寸变换和旋转变换.

6 交通标志识别方法

6.1 交通标志所在区域提取

在 YCbCr色彩空间对交通场景图像进行颜色分割,按式(2)对色度分量进行颜色分割处理,并进行生态学闭运算,分割出包含特征颜色像素的区域.利用 Blob 分析模块分析区域的像素和边界,每个区域是交通标志所在区域,如图1所示.

图1 提取交通标志区域Fig.1 Extraction of traffic sign regions

6.2 潜在交通标志图像识别

将 6.1 中获得交通标志所在区域图像与背景颜色特征匹配模板进行模板匹配,按式(4)计算每次匹配度值.如果某个区域与任何一个交通标志背景颜色特征匹配模板足够相似,可以判断其是一个潜在交通标志图像.匹配度的阈值选为2.匹配度最大且大于匹配度阈值的区域为一潜在交通标志图像.

6.3 交通标志图像识别

对当前帧与前一帧的潜在交通标志图像进行比较,只有在连续4帧中均能检测到的潜在交通标志图像判定为一种交通标志图像.采用位置置信度判别相邻两帧潜在交通标志图像同一性[5],位置置信度算式为

m 为第 i帧和第 i-1 帧中潜在交通标志图像的位置置信度;(ri,ci) 为第 i帧图像中潜在交通标志图像的左上角像点坐标,hi、wi为其高度和宽度; (ri-1,ci-1) 为第 i-1 帧图像中潜在交通标志图像的左上角 像 点 坐 标,hi-1、wi-1为其高度和宽度.图2 (a)、图2(b)、图2(c)和图2(d)的 m 值分别为0、1、1 和2.因此,位置置信度表明相邻两帧图像的同一性.m 值越小,表明相邻两帧两幅图像越相似.m 值大于2时,表明相邻两帧两幅图像完全不相关.

图2 第 i帧与第 i-帧图像位置关系Fig.2 Position relations of frame No.i and No.i-1

6.4 交通标志识别

将 6.3 中的交通标志图像与内景颜色特征匹配模板进行模板匹配.按式(4)计算交通标志图像与内景颜色特征匹配模板的匹配度值.匹配度的阈值设为 0.为保证识别准确性,如果在连续 3 帧中,与某个交通标志内景颜色特征匹配模板的匹配度值最大且大于匹配度阈值,则这个交通标志图像即为与那个交通标志内景颜色特征匹配模板对应的交通标志,从而完成交通标志识别.

7 仿真实验

7.1 仿真模型

Matlab/Simulink的视频与图像处理模块集(Video and Image Processing Blockset) 提供了视频和图像处理多项成熟技术的应用模块,用户自定义函数(User-Defined Functions) 模块可以开发和实现新算法,两者结合可为诸多领域应用和研究提供视频和图像处理手段.

参照前述分析,基于视频与图像处理模块集和用户自定义函数模块构建仿真模型,如图3所示.主要由输入交通场景视频模块 Video、提取交通标志所在区域和识别潜在交通标志图像模块Detection、识别交通标志图像模块 Tracking、识别交通标志模块 Recognition、跟踪轨迹模块 Track 和显示模块 display 组成[6].Detection 模块功能利用式(2) 和 式 (4) 实 现;Recongnition 模 块 功能利 用式(4)实现;Tracking 模块功能利用式 (5) 实现.式(4)和式(5)采用 User-Defined Functions 模 块 的Embedded MATLAB Function 编写脚本实现.

7.2 仿真结果

(1)背景和内景颜色特征匹配模板.

选取停、禁止驶入、让三种交通标志作为研究对象,如图4(a)所示.它们的背景特征颜色为红色(图中的深颜色部分).内部的字符和几何图样等特征颜色,即内景特征颜色为白色.停、禁止驶入、让三种交通标志的背景和内景颜色特征匹配模板,如图4(b)所示.对停、禁止驶入、让三种交通标志设计了旋转角度为 0°、-7.5°和 7.5°的内景颜色特征匹配模板.

图4 停、禁止驶入、让交通标志图和匹配模板Fig.4 Images and templates of stop and no entry and yield traffic signs

(2)识别结果.

对单帧交通场景中停、禁止驶入、让三种交通标志的识别结果,如图5 所示.图中,用矩形框标注已识别的交通标志,给出交通标志的种类和交通标志中心在本帧交通场景图像中的位置(图像上方的数字).

对交通场景视频(287 帧)中交通标志的识别结果,如表1 所示.对于完全存在交通标志的交通场景帧,识别率为 98.2%,未能识别出的主要原因是在这些帧中交通标志距离较远;对存在部分交通标志的交通场景帧,识别率为 33.3%,未能识别出的主要原因是在这些帧中交通标志被其他物体图像过多地遮蔽或者过少部分被摄入交通场景图像.结果表明,识别效果较好.

(3)识别与跟踪轨迹.

对交通场景视频(287 帧)中交通标志的识别与跟踪轨迹,如图6 所示.由于数字图像的坐标原点与 Matlab 的绘图函数坐标原点不一致,所以,图中的纵坐标不是实际的坐标.实际的纵坐标应取图中纵坐标的绝对值.如图6(c)中的帧号“105”,纵坐标为 100,其他类似.图6 中,“____”线为视频中交通标志的中心坐标原始轨迹,“”线为已识别的交通标志的中心坐标跟踪轨迹.每条跟踪轨迹两端标有识别到一交通标志的起始帧号和结束帧号.由起始帧到结束帧的方向为识别的方向.结束帧号与起始帧号的差为识别的交通标志数量,图6 中识别出交通标志总数为 231.未在图中标注的帧号,表明这些帧中没有识别出交通标志.由于原始轨迹由手工统计得到,势必会存在误差,导致原始轨迹与实际跟踪轨迹不能完全吻合.图6(e)中,主要是多个存在部分交通标志的帧未识别出交通标志.因此,图6 清晰地给出了交通场景视频中的交通标志识别与跟踪结果情况.

图5 停、禁止驶入、让交通标志识别结果Fig.5 Recognition results of stop and no entry and yield traffic signs

表1 识别结果数据表Table1 Data of recognition results

图6 识别与跟踪结果Fig.6 Results of recognition and tracking

8 研究结论

在 YCbCr色彩空间对交通场景图像进行颜色分割,提取交通标志所在区域.根据标准交通标志图像的颜色特征,设计背景和内景颜色特征匹配模板,分别用于识别潜在交通标志图像和交通标志.采取模板匹配技术,提高了识别准确性.采取交通标志所在区域图像作为待搜索图和 SNCC 算法,减少了匹配区域和计算量,提高了匹配速度和实时性.仿真结果表明,本文的交通标志识别与跟踪方案,实现了交通场景视频中的交通标志的识别与跟踪,提高了系统的效率,具有较好的识别效果,适合用于智能车辆的交通标志识别,对智能车辆的研究具有一定的应用价值.

[1] 李祥熙, 张航. 交通标志识别研究综述[J]. 公路交通科 技,2010,66(6):253-257.[LI X X,ZHANG H.Research summary on recognition of traffic signs [J].Journal of Highway and Transportation Research and Development,2010,66(6):253-257.]

[2] NGUWI Y Y,KOUZANI A Z.A study on automatic recognition of road signs[C] ∥ 2006 IEEE Conference on Cybernetics and Intelligent Systems,New York, USA,2006:372-377.

[3] 张懿, 刘旭, 李海峰. 数字 RGB 与 YCbCr颜色空间转换的精度[J].江南大学学报,2007,6(2):200-202.[ZHANG Y,LIU X,LI H F.The precision of RGB color space convert to YCbCr color space[J]. Journal of Southern Yangtze University(Natural Science Edition),2007,6(2):200-202.]

[4] WeiShou-Der, Lai Shang-Hong. Fast template matching based on normalized cross correlation with adaptive multilevel winner update[J]. IEEE Transactions on Image Processing,2008,17(11): 2227-2235.

[5] 林明秀,刘伟佳,徐心和. 基于模板匹配的多模式车辆跟踪算法[J].系统仿真学报,2007,19(7):1519-1522.[LIN M X,LIU W J,XU X H.Algorithm for multimode vehicle tracking based on template match [J].Journal of System Simulation,2007,19(7): 1519-1522.]

[6] Bahlmann C,Zhu Y,Ramesh V,et al.A system for traffic sign detection,tracking,and recognition using color,shape,and motion information[C] ∥ IEEE Intelligent Vehicles Symposium Proceedings, Las Vegas,Nevada,USA,2005:255-260.

Traffic Signs Recognition and Tracking Based on Feature Color and SNCC Algorithm

FANG Ze-ping1,2,DUAN Jian-min1,ZHENG Bang-gui1
(1.School of Electronic Information and Control Engineering,Beijing University of Technology,Beijing 100124,China; 2.School of Electronic Information,Zhongyuan Institute of Technology,Zhengzhou 450007,China)

This paper proposes a scheme of traffic signs recognition and tracking based on feature color and SNCC algorithm,which is used in traffic signs recognition and tracking of intelligent vehicles.In YCbCr color space,color segmentation of the traffic scene images is calculated,and traffic sign regions are obtained.According to background and interior color feature of the standard traffic signs,background and interior color matching templates of traffic signs color feature are designed.The background and the interior color matching templates are as the matching templates,the template matching technology and the SNCC algorithm to calculate matching degree are used to draw and recognize the images of traffic signs.In the Matlab/Simulink environment,the simulation model is established by using video and image processing blockset and User-Defined Functions module.Based on simulation model,recognition results and the tracking of the traffic signs in the traffic scene video are given.The experimental results show that the scheme of traffic signs recognition and tracking can improve the efficiency of the system,and has less calculation amount,and has the better recognition effect.

intelligent transportation;traffic sign recognition;simplified normalized cross correlation; intelligent vehicles;YCbCr color space;template matching;tracking

1009-6744(2014)01-0047-06

U491.5+2

A

2013-04-18

2013-08-28录用日期:2013-09-23

房泽平(1975-),男,满族,辽宁开原人,讲师,博士生.*通信作者:jmduan@bjut.edu.cn