基于FPGA的车道偏离报警系统关键技术研究*

陈效华，孙 锐，陈 军

(奇瑞汽车股份有限公司前瞻技术科学院，芜湖 241009)

前言

随着车辆技术的发展，汽车安全也越来越得到用户和汽车厂商的重视，工业界和学术界都致力于开发各种安全系统来改善交通安全［1－2］。

在交通事故中，由于驾驶员疲劳或注意力不集中导致车辆偏离车道而引起的交通事故比例很高，车道偏离报警系统是解决汽车驾驶安全的重要手段，其研究的关键是如何快速和准确检测出车道线及其偏离报警策略［3－4］。典型的车道线识别方法可分为基于Hough变换的方法［5］、基于特征的方法［6］和基于模型的方法［7］，其中最常用的方法是基于Hough变换的车道线识别算法。传统的车道线检测算法复杂，速度慢，无法满足实时性要求。随着近年来电子技术的发展，尤其是像FPGA和DSP等可编程器件的快速发展，使得在小型器件上也能实现车道偏离预警［8］。本文中基于FPGA和计算机视觉核心算法开发出一种车道偏离报警系统，能快速和准确地检测出车道线，实现车道偏离报警。

1 系统框架

车道偏离报警系统由单片视觉处理系统和人机交互模块两部分组成。单片视觉处理系统主要完成对道路场景的理解，实时计算出道路与车辆之间的关系。而人机交互模块的主要功能是把系统的报警结果通过声音和光等信息传递给驾驶员。

系统核心是单片视觉处理系统，主要在一块FPGA芯片上实现。单片视觉处理系统的框架如图1所示。在该系统中，道路图像采集采用的传感器是基于内容成像的高动态范围CMOS摄像机。该摄像机作为前视摄像机安装在车辆的驾驶室内，负责拍摄前方道路环境。

核心模块为基于单FPGA的嵌入式视觉处理平台，该平台负责本系统所有的计算，包括图像预处理、边缘提取、车道线的检测与跟踪和车道偏离报警等工作;主要完成两个功能:一是通过对车载摄像机获取的序列图像进行处理，获得道路环境信息;二是进行车道偏离分析，必要时给出报警指令。系统通过CAN总线协议与车体计算机进行数据通信。

人机交互界面主要用于车道偏离报警系统与驾驶员进行交互。目前，系统可为驾驶员提供两种形式的信息:一是声音提醒，二是图形界面灯光提醒。图形界面提醒可为驾驶员提供以下几种信息:当前的车体速度，车道偏离报警系统的上电和工作状态，是否即将产生车道偏离等。

2 系统关键技术

2.1 自适应曝光技术

图像的成像质量直接关系到后续的视觉处理的好坏。采集一幅好的(适合后续处理)图像主要取决于摄像机芯片的选择和摄像机视觉算法。

该系统所选的摄像机除较好的动态范围外，还具有很强的可控性:可以控制曝光时间，动态设置多段非线性曝光的参数和增益。这些可控参数可从底层对芯片进行控制，以提高采集图像的动态范围。

针对可调参数，该系统采用了基于图像内容的摄像机自适应曝光方法。这种方法可在不同的光照条件下或各种不同的环境下获得较好的图像质量。从某种意义上讲，这种方法扩展了相机的动态范围。而且，由于该方法是基于内容的，因而可对感兴趣区域进行统计，然后对图像如何曝光给出建议。图2为一幅参考区域选取的示意图。图中白线勾勒的区域是在车道标志线识别成功后，参与算法的图像参考区域，而黑线勾勒的区域是起始感兴趣窗口。

在识别和跟踪车道标志线之后，图像参考区域就相应划定，算法在这个区域对车道标志线的灰度范围进行估计。在理想情况下，如果没有阴影、反光和水渍，参考区域内车道标志线的亮度是一致的。但实际上车道标志线的亮度范围跨度很大，因此可将区域内所有像素都用于计算。由此，标志线灰度范围的估计就转化为参考区域图像灰度范围的估计。

注：上图解决了《易经》64卦序分布无数理逻辑规律的缺陷，在数理逻辑上，整个系统对称平衡，每一卦序的位置、大小具有稳定性和唯一性。

总体来说，系统中的自适应曝光控制算法就是先进行图像分析，从而获得可使摄像机得到高质量图像的曝光参数，然后再指导摄像机进行成像。摄像机的自适应曝光控制流程如图3所示。

2.2 边缘检测

边缘检测是车道线检测的重要步骤之一，其好坏直接影响后续算法的效果。通过对当前比较流行的边缘检测算法进行比较，认为传统的canny算法和适合FPGA运算的窗口卷积Sobel算法都是效果较好的边缘二值化算法。

在FPGA中，流水线结构的时间并行和空间并行是两种最典型的并行方法，非常适合实现基于卷积结构的算法，如图4所示。

图4中数字摄像机的数据随着系统时钟依次流水进入FPGA中，通过行移位寄存器和触发器，即可同时得到图像中相邻3×3窗口中的数据，并对其进行处理。因此，在FPGA中实现卷积结构的算法时可在不保存整幅图像的同时，边取数据边进行相应的处理，因此，对实现如Sobel算法等基于卷积结构的滤波算法具有很高的效率。

考虑到车道线具有上升沿边缘和下降沿边缘，如果能够同时使用双边缘的信息来检测车道线的边缘，就能排除很多非车道线信息的干扰。因此，如果能使用两个边缘检测模板，分别检测车道线的上升沿和下降沿，然后对它们进行匹配，就能大大提高车道线检测正确率，但在串行计算结构的通用处理器中，边缘检测模板数量的增加引起了运算时间的线性增加，对系统的实时处理提出了更高的要求。

基于以上分析，系统采用并实现了一种基于FPGA的双边沿匹配车道线边缘检测算法，利用多个不同的窗口卷积模板同时检测车道线的上升沿边缘和下降沿边缘，然后通过对两条边缘进行并行匹配，得到车道线边缘。由于其算法的核心都是基于窗口卷积技术，因此，边缘检测算法可实时实现。图5示出边缘检测的实际效果。

2.3 车道线检测

车道线提取是车道偏离提醒系统的核心，如何稳定地提取车道线是系统能够稳定工作的关键。系统结合FPGA并行处理的优势和特点，对传统的Hough变换进行改进，得到了一种基于FPGA的实时Hough变换，其变换流程如图6所示，算法的并行性主要体现在空间上的并行处理和时间上的流水线处理两个方面。在空间上，结合FPGA多核同时运算的特点，把Hough变换的角度均匀分成n等份，对每一等份的角度单独设计一组Hough变换引擎，从而提高其工作效率。在流水线上，每一组引擎在时间上流水线作业，使Hough变换的每一次计算皆可在一个时钟周期内完成。

同时，为减小Hough变换的存储空间，提出一种改进的低存储并行 Hough变换，通过把传统的Hough变换的原点平移到车道线的焦点处，使Hough变换的存储空间减小至传统的1/10左右。

2.4 报警策略

车道偏离报警系统主要功能是在高速公路或者类似的公路环境中，辅助过度疲惫或长时间单调驾驶的驾驶员保持车辆在车道内行驶，当由于驾驶员疏忽可能造成车道偏离时，警告驾驶员。仿真结果表明，当驾驶员的精神状态良好时，车辆跟踪车道中心线性能很好，如图7虚线所示，当驾驶员的精神状态不佳，此时驾驶员的反应滞后时间增加，汽车行驶轨迹明显偏离中心虚线，如图7中心实线所示。

根据以上分析，系统首先对道路标志线进行检测，并结合车辆的车速和转角等信息判断车辆与道路的相对位置和预测车辆的行驶轨迹。但这只是实现报警功能的基础，要实现车道偏离报警功能，还须解决两个关键问题:一是如何结合车辆本身的运动参数和状态信息来判断驾驶员的操作意图，有些偏离车道的行为是驾驶员的正常操作无需报警;二是如何建立合理的预警模型，使之及时准确地在真实的危险到来之前发出报警信息。

目前实现车道偏离报警多使用TLC方法(time to lane crossing)。TLC方法的思想是预测车辆从行驶轨迹到将要触碰车道线的时间，根据这一时间判断车辆是否会偏离车道。TLC方法涉及到车辆运行轨迹的预测和道路曲率的估计。TLC方法虽能较及时地预警车道偏离，但参数多且获取复杂。本系统采用了基于车道线夹角法的车道偏离报警方法，车道线夹角是车辆行驶轨迹与左右两条车道线之间的夹角。车道线夹角法是利用车辆在行驶过程中自身位置与车道线相对位置的变化来预测车辆轨迹而发出预警信息。车道线夹角法所需参数较少，能提前预测危险情况发出报警，给驾驶员更长的反应时间。

车道线夹角法比TLC方法有着更加可靠的性能，例如在实际驾驶过程中，有很多驾驶员习惯紧靠车道线的一侧行驶，若采用TLC方法预警，由于车辆距车道线过近，轻微扰动就会导致报警，误报率很高，容易引起驾驶员不适。采用车道线夹角法则不会产生这种情况，在车辆紧靠车道一侧行驶时车道线夹角的变化不大，不会报警。

3 实验结果

该系统已分别安装在不同的车辆上，进行长期的实验验证，在实验中该系统表现出良好的性能和稳定的运行状态，在不同光照和路况条件下具有很好的鲁棒性。图8示出系统可以克服减速带的影响，图9示出系统可以克服高架桥阴影的影响，图10示出系统可以克服车道线退化的影响。

4 结论

提出了一种车道偏离报警系统，它采用车载专用摄像机，基于单FPGA芯片开发了并行实时车道线检测算法，结合基于车道线夹角法的报警策略，帮助驾驶员提高行车安全性。与目前市场上基于DSP或微处理器MCU的车道偏离提醒系统相比，该系统具有两大优势:基于FPGA芯片的并行处理能力，算法实时性更强;基于单芯片的系统，其可靠性和稳定性更好。实验证明，该系统具有很强的适应性，对于直线和曲线道路环境及其间的过渡状态都有较好的跟踪效果，算法能够适应不同交通场景，具有较高的实时性和鲁棒性。

［1］ Kim Z W．Robust Lane Detection and Tracking in Challenging Scenarios［J］．IEEE Transactions on Intelligent Transportation System，2008，9:16 －26．

［2］ McCall Joel C，Trivedi Mohan M．Video-Based Lane Estimation and Tracking for Driver Assistance:Survey，System，and Evaluation［J］．IEEE Transactions on Intelligent Transportation Systems，2006，7(1):20 －37．

［3］ 刘富强，田敏，胡振程．智能汽车中基于视觉的道路检测与跟踪算法［J］．同济大学学报(自然科学版)，2007，11:1535 －1541．

［4］ 王荣本，余天洪，郭烈．基于机器视觉的车道偏离警告系统研究综述［J］．汽车工程，2005，27(4):346 －367．

［5］ Kuk J，An J，Ki H，et al．Fast Lane Detection ＆ Tracking Based on Hough Transform with Reduced Memory Requirement［C］．The 13th International IEEE Conference on in Intelligent Transportation Systems(ITSC)，2010:1344 －1349．

［6］ Truongq B，Lee B R．New Lane Detection Algorithm for Autonomous Vehicle Using Computer Vision［C］．2008 International Conference on Control，Automation and Systems，2008:1208 －1213．

［7］ 高德芝，段建民，杨磊，等．应用多阶动态规划的车道线识别方法［J］．机械工程学报，2011，4:141 －145．

［8］ Marzotto R，Zoratti P，Bagni D，et al．A Real-time Versatile Roadway Path Extraction and Tracking on an FPGA Platform［J］．Computer Vision and Image Understanding，2010，114(11):1164 －1179．