智能车辆环境感知技术与平台构建

黄武陵

(中国科学院 自动化研究所，北京 100190)



智能车辆环境感知技术与平台构建

黄武陵

(中国科学院 自动化研究所，北京 100190)

本文从智能车辆环境感知功能入手，剖析了感知功能实现及其存在的技术挑战，实现复杂交通环境感知所需传感器，并介绍了车载传感器融合平台。分析现有智能车辆环境感知平台实现，通过缩微智能车辆载体，介绍了低成本、低功耗的嵌入式环境感知系统，对于智能车辆功能研发具有参考意义。

智能车辆；环境感知技术；车载传感器；嵌入式计算平台

引　言

智能车辆技术是自动控制、车辆工程、人工智能、视觉计算与模式识别等学科的综合载体。随着机器人与人工智能的发展，各种技术融入到车辆平台中，进而提高了车辆智能化水平，实现了从辅助驾驶、自动驾驶到自主驾驶的全过程，将从根本上改变传统的交通出行方式。从技术实现角度来看，除了车辆平台的ECU和线控单元之外，还包括多种传感器模块、信息融合模块、智能化计算模块以及V2X通信模块等，是多种嵌入式系统的综合载体。

本文从智能车辆环境感知功能入手，剖析了感知功能实现及其存在的技术挑战，实现复杂交通环境感知所需要的传感器，并介绍了车载传感器融合平台。通过缩微智能车辆载体，介绍了低成本、低功耗的嵌入式环境感知系统。

1　智能车辆环境感知技术综述

1.1智能车辆的总体功能

如图1所示，智能车辆的软件功能总体结构可以分为感知层、任务规划层、行为执行层和运动规划层等[8]。其中，环境感知层融合处理来自车载传感器的数据，为系统的其他部分提供周围环境的关键信息，例如车辆的位姿和速度等状态信息，道路形状、停车区域和交叉路口等道路信息，车辆周边其他车辆和行人等动态障碍物信息。局部静态障碍物地图以二维栅格图展示现实环境中的无障碍区域、危险区域和不可通行区域。通过道路堵塞信息对不能通过区域进行估计。

任务规划层根据路网信息计算到达下一个任务检测点的最优可行路径。行为执行层将任务规划层提供的决策信息与感知层提供的当地交通与障碍信息结合起来，为运动规划层产生一系列以离散运动目标形式表达的局部任务。这些期望路线和速度发送给运动规划层，完成如车距保持、超车等行为规划。运动规划层根据来自行为执行层的运动目标生成相应的运动轨迹并执行，从而使智能车辆到达该运动目标[4]。

1.2智能车辆环境感知功能及其挑战

环境感知功能是实现自主驾驶的基础，以视觉传感器为主的智能车辆环境感知功能必须能够检测和识别行驶车道及周边的目标，包括结构化道路和非结构化道路信息、行驶环境中行人和车辆、交通信号灯和交通标志等[3]。

环境感知功能主要由车载相机、微波雷达和激光雷达等主被动视觉传感器完成。通过车载相机辨识车道线和交通信号，检测运动目标等；通过激光雷达的激光点云来建立周边环境的3D模型，检测车辆、行人、树木、路沿等；通过微波雷达检测运动目标，检测车身周围的移动障碍物及其位置等。最后，将上述传感器信息融合成如图2所示的环境视图，完成场景感知和理解。

图2　智能车辆环境感知场景视图

智能车辆环境感知存在的挑战包括：如何在复杂、动态和多样化的交通环境下，克服传感器各自物理限制和车辆运动干扰，提高环境感知精确程度，对动态目标进行识别与估计，完成交通环境信息的多视图数据融合等[1]。

其中，多种因素限制了视觉感知能力。例如，受不同车载传感器的工作范围限制，智能检测到一定范围和距离、一定大小、某个相对运动方向、一定速度和加速度的目标，感知能力受所在交通环境的光照、遮挡、雨雪沙尘等自然条件的限制。许多突发事件形式不可预知，更是难以检测。只有通过加强传感器和算法，保证在所有情况下能检测到所有车辆、行人、道路上的其他移动或静止的障碍物[12]。

由于计算机视觉技术还处于不断发展中，要理解复杂的交通环境存在不少挑战，例如由于静态和动态环境因素，在道路环境感知与理解、交通信号检测、动态障碍物检测、车辆姿态估计和定位等方面存在挑战。由于路面难以和路沿区分，其几何特性多变，对非结构化的交通环境感知存在困难，还需要采用更高性能的传感器和更好的信息处理算法，结合机器学习车间通信技术扩展功能，解决自身局限性，进一步理解非结构化环境[2,10,11]。

2　智能车辆环境感知常用方法

智能车辆环境感知内容主要包括结构化道路和非结构化道路检测、行驶环境中行人和车辆的检测、交通信号灯和交通标志的检测等，其感知要素如图3所示。

图3　智能车辆环境感知要素

(1) 结构化道路检测

道路检测是智能车辆环境感知的重要内容，通过检测车道信息准确获得车辆相对于车道的位置和方向。城市交通环境中常见的是结构化道路，有清晰车道标志线和道路边界的标准道路。在车载视觉系统中，利用距摄像机近处车道线方向变化不大(即道路曲率变化很小)的一般假设，可以用直线来拟合车道线。在道路曲率变化较大的弯道处，可以采用多种曲线形式进行车道拟合[9]。

车道检测流程主要包括图像预处理、边缘提取和二值化等。预处理一般先选定图像的感兴趣区域，用中值滤波、均值滤波和高斯滤波等消除噪声，再进行边缘增强和边缘提取。通过所采集的车道线信息进行道路区域与非道路区域的分割，从而完成道路检测。

(2) 非结构化道路检测

乡村公路等非结构化道路在结构上符合道路的特征，但一般缺少车道线等标志，无法采用结构化道路所用的车道线检测方法[14]。基于机器学习的检测算法，识别车道及其边界的不同颜色和纹理等特征，进行自监督样本选取、特征选取、在线学习、监督学习等过程，完成道路检测。

(3) 行驶环境中的行人

基于视觉的行人检测方法主要有基于背景建模的方法和基于统计学习的方法等。基于背景建模的方法首先分割出前景，提取其中的运动目标，然后进一步提取特征、分类判别。基于统计学习的方法根据大量训练样本构建行人检测分类器，提取的特征一般有目标的灰度、边缘、纹理、形状、梯度直方图等信息。

由于室外场景中的光照变化、遮挡、阴影等影响，导致视觉检测行人的算法在交通环境中鲁棒性较低。通过激光雷达可以获得行人在二维平面内的位置、形状等状态估计，因此可以有效地实现行人的状态跟踪。通过融合激光雷达与视频图像数据，可以对行人进行较为准确的检测[13]。

(4) 行驶环境中的车辆检测

基于单目视觉的车辆检测方法可分为基于外观的方法和基于运动的方法。采用更通用并具鲁棒性的特征(如HOG特征、类Haar特征)来对车辆进行检测。这些特征可被用来直接对图像中的目标进行分类和检测[8,15,16]。

激光雷达能够快速地获取扫描平面中的距离信息，并获得障碍物在扫描平面中的外轮廓；机器视觉能够提供更加丰富的平面信息。通过建立坐标转换模型，将激光雷达数据与图像数据统一到同一坐标系中进行处理。结合激光雷达的数据特点选取合适的聚类方法，对聚类后的数据进行形状匹配和模板匹配，确定感兴趣区域；通过类Haar特征结合AdaBoost算法在感兴趣区域进行车辆检测，通过车辆在激光雷达中的数据特征可实现Kalman预估跟踪。

(5) 交通信号灯检测

在背景环境相对简单的情况下，基于色彩特征的交通信号灯识别方法能够有效地检测和识别出交通信号灯；对于背景环境复杂的情况，则容易出现误检现象。基于形状特征的识别方法可有效地减少这类虚警，但需要通过建立形状特征规则来实现。基于模板匹配的识别方法同样需要建立不同样式的交通信号灯模板或者建立多级的交通信号灯模板。因此，需要综合上述算法和特征识别方法才能适应环境的变化，对不同样式交通信号灯进行识别[18]。

(6) 交通标志检测

交通标志检测与识别系统主要包含色彩分割、形状检测和验证、图形识别等。在良好光照条件时，HSV色彩空间的色度和饱和度信息能够有效地进行无关颜色过滤，通过室外环境中实际标牌的图像采样可以得到选取阈值。通过Hough直线变换能够有效地检测到标志牌的边缘直线，从色彩空间处理后得到的精确分割图像，所检测到的直线可能构成标志牌的三角形或矩形图像的一部分，分割直线如果封闭，则可以定位候选区。对于每类交通标志，都需要分别设计分类器，进行图像的象形识别[7]。

3　环境感知中的传感器及嵌入式计算平台

3.1环境感知中的传感器

在智能车辆设计中，常用的环境感知传感器包括红外传感器、激光雷达、毫米波和微波雷达、(立体)视觉摄像机等，根据各类传感器的环境适用特点进行选择。如图4所示，典型的无人驾驶车辆所用的传感器包括Velodyne的64线激光雷达、Point Grey摄像机、IBEO和SICK激光雷达、Applanix POS-LV高精度GPS定位及惯导单元、Continental 测距雷达和轮速传感器等[5]。

图4　典型无人驾驶车辆所用传感器

各种车载视觉传感器各具特色。相机等被动视觉系统视场宽，侧向精度高，成本低，不受其他传感器影响，可以提供亮度和深度信息，但容易受到环境中的光照等气候因素影响。激光雷达等主动传感器抗干扰能力较强，能提供高精度的测量结果，但对恶劣天气(如雨、雾、雪等)敏感，受其扫描角及分辨率的影响，对于很细小的柱状障碍物难以识别。毫米波雷达在恶劣天气也能提供足够的精度，但视场较小，侧向精度相对较低。

3.2车载环境感知嵌入式计算平台

早期无人驾驶车辆平台，如图5所示的Stanford的Junior计算系统通过刀片服务器和多个Core2Duo处理器等平台提供实时处理与计算，计算单元通过高速以太网接口进行信息通信。

图5　Stanford的Junior车载计算平台和奥迪自动驾驶汽车ZFAS

由于嵌入式平台计算能力的提升，现在智能车辆计算平台一般采用带有GPU单元的嵌入式处理器来构建。例如，奥迪自动驾驶汽车架构中的驾驶辅助控制器(ZFAS)中的传感器融合单元核心部件是Nvidia Tegra K1平台，极大简化了车载计算平台。Nvidia Tegra K1平台如图6所示。

Nvidia的TK1有4个ARM Cortex-A15内核，192 Kepler GPU集成CUDA，提供327 GFLOPS计算性能，处理CUDA数据时，功率小于6 W(包括SoC和DRAM)，集成了面向传感器的处理并提供CUDA异步硬件加速，如H.264编解码引擎和双MIPI CSI-2相机接口和图像处理器(ISP)。Tegra K1 VCM运行Linux、Android、QNX、Windows等操作系统，支持网络更新软件。Nvidia开发网提供算法库支持，有助于加速开发。Nvidia PX2构建的Drivenet平台，已在自动驾驶车辆上进行测试[17]。

图6　Nvidia Tegra K1平台

流行的深度学习框架如Caffe、Theano、Torch推出CUDA工具库，大幅提高了图像识别的准确率。Tegra K1模块让车载计算平台拥有更强的数据处理能力，通过运行深度学习算法来加强车辆感知能力，对各类车载传感器数据进行处理与分析，进行驾驶决策。嵌入式计算平台如图7所示。

图7　深度学习的车载嵌入式计算平台

4　智能车辆环境感知方案

我们在缩微智能车实验平台上验证了环境感知方案，如图8所示，使用TK1作为处理模块和传感器接口，使用CUDA处理相机的视觉图像，处理LIDAR激光测距扫描数据，进行车道、交通信号、障碍物和可行驶区的检测。通过串口整合GPS模块、惯性测量单元(IMU)、转向角和码盘轮速检测等传感器。车载传感器的感知效果验证如图9所示。

图8　基于Tegra K1的缩微智能车辆感知方案验证

图9　车载传感器的感知效果验证

缩微智能车辆在传感器支持下具备路径规划规避障碍物功能，具备直、弯道、桥梁、交叉路口行驶，超车换道。通过基于GPS路点任务文件进行解析和导航。基于车辆动力学模型，采用PID实现横纵向控制。遥操作也可以通过无线网络加压缩视频流来实现。

结　语

由于交通环境复杂多变，车载传感器能力各有偏重，如何在复杂交通环境下，克服传感器各自物理限制和车辆运动干扰，提高环境感知精确程度，对动态目标进行识别与估计，完成交通环境信息的多视图数据融合，是智能车辆环境感知面临的挑战。本文对上述问题进行了探讨，有助于厘清难点，重点突破。

在面向无人驾驶汽车环境感知总体任务实现的集成系统中，如何优化庞大与昂贵的传感器系统以及提高多模态数据融合处理效率，仍需要深入研究。本文提出的基于嵌入式融合平台开展深度学习的框架，有助于将人工智能技术用于车载多信息融合感知，将极大提升感知能力，对克服其难点具有参考意义。

[1] W Huang,D Wen,J Geng,et al.Task-Specific performance evaluation of UGVs:Case studies at the IVFC[J].IEEE Transactions on Intelligent Transportation Systems,2014,15(5):1969-1979.

[2] M Buehler,K Lagnemma,S Singh,et al.The DARPA Urban Challenge:Autonomous Vehicles in City Traffic[C]//Springer-Verlag Berlin Heidelberg,2009.

[3] 汤淑明,乔昕,黄武陵.无人驾驶车辆测试研究现状与未来展望[C]//国家自然科学基金委员会视听觉信息的认知计算重大研究计划2010年学术交流会,2010:320-326.

[4] 陈清阳,张小波,孙振平,等.非结构化环境下自主车辆轨迹规划方法[J].中南大学学报:自然科学版,2011,42(11):3377-3383.

[5] Michael Montemerlo,Jan Becker,Sebastian Thrun.Junior:The Stanford Entry in the Urban Challenge[J].Field Robot,2008,25(9):569-597.

[6] C Urmson,J Anhalt,D Bagnell,et al.Autonomous driving in urban environments:Boss and the urban challenge[J].2008,25(1):425-466.

[7] MengYin Fu,YuanShui Huang.A survey of traffic sign recognition[C]//Wavelet Analysis and Pattern Recognition (ICWAPR),2010 International Conference,2010.

[8] 王荣本,赵一兵,李琳辉,等.智能车辆的障碍物检测研究方法综述[J].公路交通科技,2007,24(11):109-113.

[9] 路顺杰.综合考虑视觉和雷达的车道线检测研究[D].长春:吉林大学,2015.

[10] 沈峘.智能车辆视觉环境感知技术的研究[D].南京:南京航空航天大学,2010.

[11] 王科.城市交通中智能车辆环境感知方法研究[D].长沙:湖南大学,2013.

[12] 陈龙.城市环境下无人驾驶智能车感知系统若干关键技术研究[D].武汉:武汉大学,2013.

[13] 谌彤童.三维激光雷达在自主车环境感知中的应用研究[D].长沙:国防科技大学,2011.

[14] 周圣砚.基于学习算法的智能车辆非结构化道路检测技术研究[D].北京:北京理工大学,2014.

[15] 靳璐,付梦印,王美玲,等.基于视觉和毫米波雷达的车辆检测[J].红外与毫米波学报,2014,33(5):465-471.

[16] 胡铟,杨静宇.基于模型的车辆检测与跟踪[J].中国图象图形学报,2008,13(3):450-455.

[17] Jetson TK1[EB/OL].[2016-07].http://elinux.org/Jetson_TK1.

[18] 徐迪红,唐炉亮.基于颜色和标志边缘特征的交通标志检测[J].武汉大学学报:信息科学版,2008,33(4):433-436.

Intelligent Vehicle Environment Sensing Technology and Platform Construction

Huang Wuling

(Institute of Automation,Chinese Academy of Sciences,Beijing 100190,China)

Environment perception provides the basic support for the other intelligent vehicle functions.This paper analyzes the implement of environment perception and its challenges in details,discusses the various sensors used in perception,and introduces the embedded computing platform used in data fusion.By the analysis of the current perception architecture used in our micro intelligent vehicle for verification purpose,this paper brings out a low cost,low-power consumption embedded perception system,which will be a good reference in the intelligent vehicle design.

intelligent vehicle;environment perception;vehicular sensor;embedded computing platform

TP277

A

黄武陵，中国科学院自动化研究所副研究员，中国科学院大学博士，主要从事智能车辆研究，参与和主持了多项国家863和973、交通部和自然基金课题，发表SCI/EI论文12篇，申请和获得发明专利20项。获北京市科技进步奖、北京市“金桥工程”项目奖、吴文俊人工智能科学技术进步奖、中科院教学成果奖等奖励。

(责任编辑：薛士然2016-07-07)