模拟路标识别及其FPGA实现

李　威,翟社平

(西安邮电大学 计算机学院,陕西 西安　710121)



模拟路标识别及其FPGA实现

李威,翟社平

(西安邮电大学 计算机学院,陕西 西安710121)

摘要针对路标信号的多变性给驾驶员行车途中带来诸多隐患,提出了基于FPGA辅助驾驶中的模拟路标识别系统,该系统实现了实时检测和识别路标信号,并将识别结果显示出来,以便驾驶员做出相应的响应,在一定程度上维护了交通安全。实验结果表明,基于硬件编程语言Verilog设计的硬件电路可快速、稳定地对图像进行二值化处理,且该系统可实现识别向左、向右、禁止停车、禁止通行4种路标,对辅助驾驶系统的研究具有一定的意义。

关键词FPGA;图像的二值化;Verilog

路标信号的复杂性导致了交通事故的发生[1],随着公路设计的完善和个人车辆的快速增加,公路的安全隐患也越来越严重[2]。辅助驾驶系统能有效维护交通安全[3-4]。

为达到识别速度快、抗干扰能力强等要求,提出了基于FPGA硬件辅助系统的设计,硬件电路可提高图像处理的速度,这对于实时性要求高、处理数据大的机器视觉领域具有重大意义[5-7]。该系统可准确地识别如禁止停车、禁止通行、通行等部分路标,达到实时检测并识别路标的效果。

1情景设计

交通路口、高速路段不仅有红绿灯交通指示信息,还有速度控制指示牌,通行时间的数字指示信息,左通行指示信息,右通行指示信息,禁止停车以及禁止通行等等信息。路标指示信息的多样性以及复杂性给交通安全带来了诸多隐患。在此背景下,实现了基于FPGA路标识别的辅助驾驶系统设计,该系统工作稳定,可快速准确地识别路标。设计的应用情景如图1所示,首先,摄像头实时采集交通路口的指示信息,将采集到的图像信息进行分析,解读路边信息的含义;然后,显示路标的含义;最终,驾驶员做出相应的响应。

图1　应用情景

2系统设计

系统设计流程如图2所示,主要分为以下几个步骤:首先,摄像头驱动电路读取摄像头采集到的视频图像信息,将采集到的图像信息以帧的形式缓存于核心板中;然后,完成图像处理,图像经过二值化[8]处理来减少其表示信息,从而易于存储以及匹配;接着,与存储与核心板中的模版二值图像进行匹配;最后,将匹配的结果显示出来。

图2　系统流程

其中图像的二值化处理和图像的匹配是整个设计的重点和难点,本文将着重阐述这两部分的内容。该系统用到的核心板是Xilinx开发的BASYS3,还用到了OV7255摄像头和VGA显示器。

2.1二值化

为更容易获取图像信息并减少图像的存储空间,需对图像进行二值化处理。图像经过二值化处理之后,所需的存储空间小,易于图像匹配,二值化的电路设计中需要一个时钟信号,该设计用到的时钟信号的频率为25 MHz,时钟信号是否稳定将直接影响整个系统的性能。图像信号rgb_i[23:0]表示用24位表示一个像素点信息,图像的二值化就是用1位代替24位来表示一个像素点的信息。最后一个输入信号是开关控制的阈值信号threshold[7:0](button[7:0]),该阈值信号的值是用于分割图像信息的依据,最终将图像的像素值分别用0或1两个值来表示。

图像二值化流程如图3所示,设计流程主要分为以下几个步骤:(1)扩展位数。缓存中用16位存储一个像素点,R、G、B分别是5、6、5位,RGB是重要和常见的颜色模型,以红、黄、绿3种基色为基础,进行不同颜色的组合,即3基色模式[9]。图像的二值化过程中需将16位扩展到24位;(2)设置阈值。用BASYS3上的8个开关来设置阈值,阈值的大小直接影响到二值化的结果;(3)计算灰度。利用式(1)计算灰度,得到每一个像素的灰度信息,用于与阈值进行比较;最后,灰度值与阈值进行比较,根据比较的结果设置该像素点值,重复上述操作实现图像的二值化处理。

(1)

图3　图像二值化流程

2.2图像的匹配

目标图像的识别就是将目标图像信息与核心板中的模板信息进行匹配,匹配成功后做出相应的响应。目标图像的像素信息通过binary_i信号线输入的,M_0[0:15]～M_9[0:15]表示10个路标的模板信息,这些信息以二进制形式存储。

目标图像与模板匹配成功后,输出对应模板的信息,从而实现图像的匹配。图像匹配的设计流程如图4所示,该匹配过程主要从以下几方面分析:(1)设置图像的采集区域,目标图像只有进入该区域才能进行图像的处理,为后续工作奠定了基础;(2)目标图像进入采集区域后,判别目标图像的边界位置,标注出图像的上、下、左、右边界,准确定位目标图像的位置,减小匹配范围;(3)读取目标图像的像素点信息;(4)目标的匹配,目标图像依次与核心板中的每一个模板进行匹配,记录与每一个模板匹配成功的像素点的个数;(5)相互比较得到个数最大值,获取该值对应的模板信息,最后显示对应的模版图像。

图4　目标图像的匹配流程

2.3判断目标边界

为准确定位目标图像,减小目标图像的搜索范围,需要判断目标图像的边界。如图5所示是判断目标图像的上边界流程图。

图5　判断上边界

软件设计从以下几个步骤进行的:(1)初始化寄存器H_RAM[H_NUM],该寄存器用于存放目标图像的H_NUM行的像素PX=1的个数N;(2)判断H_NUM行上的各像素点值,记录像素PX=1的个数N,并将N赋给H_RAM[H_NUM];(3)设置上边界,通过判别式H_RAM[H_NUM-1]<3&& H_RAM[H_NUM]<3&&H_RAM[H_NUM+1]>5来判断H_NUM行是否为上边界行。使用上述同样的方法判断目标图像的下边界、左边界、右边界,最终得到目标图像的边界信息。

3实验数据

如图6所示是资源的使用情况,切片资源使用率为38%,BASYS3中的切片资源主要用于实现摄像头采集图像的电路设计,内存资源的消耗量最大,内存资源主要用于图像缓存以及二值图像的匹配。

图6　资源使用率

基于FPGA的辅助驾驶系统设计最终实现检测并识别部分路标信号,图7所示是辅助驾驶系统实时检测并识别左通行路标的结果。摄像头将采集到的视频图像进行处理,检测图像中包含路边图像的区域,并对该区域进行识别,将识别结果显示出来。

图7　识别效果

4结束语

基于FPGA的辅助驾驶系统的设计实现了部分路标的识别,能够识别路标信号中的左通行、右通行、禁止停车等路标信号,还可识别限速路标上的数字信号,达到了实时检测并识别部分路标的要求。但现实交通路口存在着诸多干扰因素,这些因素均会影响到该系统的识别结果。此外,路标信号种类多样,该系统只是识别了几种常见的路标信号。因此,降低干扰,增加识别种类,均是后期研究的重点。

参考文献

[1]Tae-Hyun H,In-Hak J5 Seong-Ik C.Detection of traffic lights for vision-based car navigationsystem.advances in Image and video technology[M].Berlin Heidelberg:Springer,2006.

[2]杨智杰.基于RGB彩色通道的结构化道路车道线检测[J].电子科技,2015,28(1):95-98.

[3]张娇.交通标志和信号灯图像检测技术研究[D].南京:南京理工大学,2011.

[4]王豪.交通信号灯识别技术方法的研究[D].沈阳:东北大学,2013.

[5]杨帆,张皓,马新文,等.基于FPGA的图像处理系统[J].华中科技大学学报:自然科学版,2015,43(2):119-122.

[6]周润景,苏良碧.基于QuartusⅡ的FPGA/CPLD数字系统设计实例[M].2版.北京:电子工业出版社,2013.

[7]延明.FPGA在数字图像处理中的应用[J].电子技术,2005,32(1):74-76.

[8]赵厉,吴艳.图像二值化处理器的FPGA实现[J].广西科技大学学报,2015,26(2):68-72

[9]赵景秀,王菁,赵昭.基于RGB空间剖分的彩色图像边缘检测[J].光电子技术,2009,29(3):171-174.

Simulated Road Sign Recognition and its FPGA Implementation

LI Wei,ZHAI Sheping

(School of Computer Science,Xi’an University of Posts and Telecommunication,Xi’an 710121,China)

AbstractComplex road signs pose hidden dangers to drivers.A simulated road sign recognition system is proposed for FPGA-based auxiliary driving to offer real-time detection and identification of road signs and signals for the driver to respond appropriately.Experimental results show that the hardware circuitry designed using Verilog realizes fast and stable image binarization processing.The system can identify the four signs of Left,Right,No Parking,and No Entry.

KeywordsFPGA;binary image;Verilog

中图分类号TN79;TP91.41

文献标识码A

文章编号1007-7820(2016)02-045-04

doi:10.16180/j.cnki.issn1007-7820.2016.02.012

作者简介:李威(1990—),男,硕士研究生。研究方向:嵌入式与FPGA。翟社平(1971—),男,博士,副教授。研究方向:语义Web等。

基金项目:陕西省自然科学基金面上基金资助项目(2012JM8044);陕西省教育厅基金资助项目(12JK0733);西安邮电大学创新基金资助项目(114-602080034)

收稿日期:2015- 07- 02