基于DM6446的车道线快速检测算法
2013-12-02
(杭州电子科技大学计算机应用技术研究所,浙江 杭州310018)
0 引 言
目前,国内外对于车道检测算法的研究主要围绕基于道路标识线的检测,很多算法都将车道线归类为直线模型,从而转换为对直线的检测,且大多对直线的检测采用Hough 变换。文献1所提基于Hough变换算法存在很大的盲目性,需要大量存储空间和运算时间,难以满足实时性要求。并且在结构化道路里,非直线型的车道线是大量存在,单独把车道线归类为直线模型,存在一定的失真性。因此,增强算法的实时性和准确性是目前急需解决的问题。采用TMS320DM6446 嵌入式平台,在对场景进行最优阈值化分割的基础上融合区域生长法获得车道线候选点集;并采用提取连通分量的聚类算法获取候选点集聚类中心,以初步提取候选点,再经过筛选和分类得到有效特征点;最后用最小二乘法拟合基于二次曲线模型的车道线[2-4]。本文最终实现了对车道线的实时性检测,具有良好的鲁棒性,为车道偏离警告系统的构建提供了有利的基础。
1 硬件平台
本实验的硬件平台主要采用SEED-DVS6446 开发板等对车道线快速检测算法进行了测试。该硬件平台采 用 了 TI 推 出的DaVinci 系列 DSP 处 理 器TMS320DM6446平台。TMS320DM6446平台的结构框图,如图1所示,ARM和DSP是共享外部的SDRAM 存储器,实现数据的共享和传输;ARM 子模块主要负责各模块初始化,系统的配置和控制等;视频处理子系统(VPSS)负责视频捕获的视频前端输入和图像显示的视频后端输出;DSP 子系统负责具体实现车道线检测算法。
图1 TMS320DM6446系统结构示意图
2 车道线检测算法
2.1 图像预处理
由于仅对视频的亮度分量进行处理,因此,首先对原始视频YUV422 序列进行亮度提取,并做1/4采样,获得原图的亮度信息灰度图Y(i,j)。在道路图像中,存在部分无用的图像信息,通过确定感兴趣区域,不但减少干扰信息,还可以降低算法的计算量。选取道路路面消失点做水平线,水平线以下区域即为感兴趣区域。由于视频采集中不可避免存在噪声,抖动等问题,通过采用3×3 模板,对灰度图Y(i,j)进行中值滤波。
2.2 候选点集的提取
在传统的车道线提取研究中,主要采用了几何特征方式,不能达到良好预期效果。为了增强检测的鲁棒性,本算法提出采用融合最优阈值化及区域生长法,更有效的获取车道线,从而建立车道线候选点集[5]。
首先,利用区域生长法在感兴趣区域内选取3个象素点作为种子点,从种子点开始以8 连通方式搜索相邻的象素点f(x,y),若该点满足生长准则的阈值,则将其加入种子点区域内,区域不断的生长,直至达到停止准则结束,如图2所示:
图2 候选点集的建立过程
图2(a)为原图,其生长区域标记为1,其他标记为0,得到路面区域M(i,j)。由于车道线与路面相差很大,可能未被选取,因此需要进一步进行填充。根据实验数据得到车道线在图像中所占宽度最大为15个象素点。对图像M(i,j)进行遍历,当象素点M(x,y)满足象素点M(x+15,y)和M(x-15,y)为1时,也将M(x,y)标记为1,如图2(b),1为黑色,0为白色。同时,对图像采用最优阈值法对Y(i,j)进行阈值处理,大于阈值T 标记为0,小于阈值T 标记为1,得到图像O(i,j),如图2(c)。
经过上述处理后,若象素点同时满足M(x,y)为1和O(x,y)为0,则标记为1,可得到图像F(i,j),即称为候选点集,如图2(d)。
2.3 候选点集筛选及有效特征点建立
由于受各种因素影响,初步提取的候选点集仍存在噪声和其他干扰。为提高候选点集的准确性,需做进一步处理。利用连通方式遍历F(i,j),将图像中相邻的象素点聚为一类。经聚类后,图像中所有相连的象素点就分别聚合到一起,得到新的候选点集{Mi},i=1,2,…,p。在本实验中车道线的象素点最少为16个,将{Mi}中象素点少于16个的剔除。
由于车道线存在磨损和人为等因素导致候选点不连续,为了增强筛选后的候选点信息,对候选点图像进行膨胀操作。候选点信息增强后,需要对车道线进行分段,添加3条分割线,再重新聚类。仍采用连通方式遍历图像,建立新的集合{Ri},i=1,2,…,n,如图3所示:
在图3(a)中的3条白线即为分割线。对每个点集合计算相应的中心坐标{为集合Ri的候选点的个数,并按横坐标x 大小,从低到高进行排序,得到新的集合即为有效特征点集合Hi={C(xi,yi)},i=1,2,…,n,如图3(b)。
图3 车道线候选点的聚类和筛选分类结果
2.4 有效特征点分类
在结构化道路上,车辆正前方视角可能存在多条车道线。因此,需要将初步得到的有效特征点集合,进行左右分类和筛选。分类步骤如下:
查找离中心线w/2 最近的中心点记作P(xn/2,yn/2)。根据实验数据,当P(xn/2,yn/2)的横坐标和中心线相差大于等于d(左右车道线的在图像中最近距离的1/2)个象素点,则P(xn/2,yn/2)到P(xn,yn)需归类到右车道线,P(x0,y0)到P(xn/2,yn/2)归类到左车道线内。如果|P(xn/2,yn/2)-w/2|小于d个象素点,且P(xn/2,yn/2)位于中心线左侧时,则从P(x0,y0)到P(xn/2,yn/2)归类为左车道线,P(xn/2+1,yn/2+1)到P(xn,yn)归类为右车道线;否则,P(x0,y0)到P(xn/2-1,yn/2-1)归类为左车道线,P(xn/2,yn/2)到P(xn,yn)归类为右车道线。
在分类后仍需要进一步处理,筛选出车辆正前方视野内的最近的两条车道线。记上一步提取的左车道线的有效特征点集为{L(xi,yi)},i=1,2,…,s,右车道线的有效特征点集为{R(xi,yi)},i=1,2,…,t,且两集合都要按x轴坐标从低到高重新排序,如图3(c),其中“-”为左车道线的有效特征点,“+”为右车道线的有效特征点。
对于左车道线{L(xi,yi)},从最高位开始扫描,记当前点其坐标为(xn,yn),下一个点坐标为(xn-1,yn-1),w=(xn-xn-1),h=(yn-yn-1),如果满足:
式1、2,则将继续保留集合内,其他情况的将剔除掉;式1是车辆正常行驶情况,其中w与h的4倍关系取决于图像的视角,式2是车辆向左变道情况,其d1是左右车道线有效点的水平最近距离,d2是车道线有效点的垂直最近距离,d3是中心线水平坐标。
对于右车道线{R(xi,yi)},从最低位开始扫描,记当前点其坐标为(xn,yn),下一个点坐标为(xn+1,yn+1),w=(xn-xn-1),h=(yn-yn-1),如果满足:
式2、3,则将继续保留集合内,其他情况的将剔除掉;式2 也适合是车辆向右变道情况,式3是车辆正常行驶情况。
经过本次筛选后分别得到左车道线的有效特征点集合{L'(xi,yi)},i =1,2,…,n和右车道线的有效特征点集合{R'(xi,yi)},i=1,2,…,m,如图3(d)。
2.5 最小二乘法拟合车道线
本算法为了能更真实地标记出车道线,采用二次曲线作为车道线模型。将前述所得的有效特征点{L'(xi,yi)},和{R'(xi,yi)}分别作为拟合所需的样本点,采用最小二乘法来拟合该二次曲线,即yi=a0通过样本点的输入结合最小二乘法拟合,分别得到左车道线yl和右车道线yr。在原图感兴趣区域内,描绘出车道线,将图放入显示缓冲队列。
3 实验结果与分析
实验测试平台由SEED-DVS6446 开发板、SEED-XDS560PLUS仿真器和inphic 播放器组成。视频测试序列为一段采集于高速公路的视频(720×576,25fps,mpg)。实验结果,如图4所示:
图4 车道线检测效果示意图
图4(a)(c)为外界干扰较少时,正常行驶或变换车道状态车道线的检测效果;图4(d)和图4(e)为周围存在干扰时(车辆阴影、桥梁等影响)车道线的检测效果,图4中白色即为车道线。视频序列共673帧,本文算法车道线识别率为91.3%,每帧平均耗时为46ms,满足了车道线的实时性检测,并且具有良好的鲁棒性。
4 结束语
本文提出的基于TI 公司Davinci系列DSP 处理DM6446 嵌入式平台的车道线快速检测算法,其建立于二次曲线模型基础上,通过在感兴趣区域内,融合最优阈值化和区域生长法获取车道线,与其他只采用单一阈值化检测法相比具有更好的鲁棒性;最后利用建立有效特征点来拟合车道线,降低了样本点数,与采用传统Hough 变换检测直线相比,检测更接近实际标记处车道线,且易于在嵌入式平台上实现。实验结果表明,算法对结构化道路车道线检测具有良好的鲁棒性和实时性,满足了为车辆偏离警告系统的有效决策提供有利条件。
[1]余厚云,张为公.直线模型下的车道线跟踪与车道偏离检测[J].自动化仪表,2009,30(11):1-7.
[2]林国余,陈旭,张为公.基于多信息融合优化的鲁棒性车道线检测算法[J].东南大学学报(自然科学版),2010,40(4):771-772.
[3]Chaiwai Nuthong,Theekapun Charoenpong.Lane Detection using Smoothing Spline[C].Yantai:IEEE 2010 3rd International Congress on Image and Signal Processing,2010:989-993.
[4]Tan Yi,Han Feng,Faroog Ibrahim.A Radar Guided Vision System for Vehicle Validation and Vehicle Motion Characterization[C].Seattle:IEEE Intelligent Transportation Systems Conference,2007:1 059-1 066.
[5]肖晓明,马智,蔡自兴,等.一种自适应的区域生长算法用于道路分割[J].控制工程,2011,18(3):364-368.