智能网联汽车环境感知技术的发展和研究现状
2017-01-05谢志萍雷莉萍
谢志萍,雷莉萍
(成都工业学院 机械工程学院,成都 611730)
智能网联汽车环境感知技术的发展和研究现状
谢志萍*,雷莉萍
(成都工业学院 机械工程学院,成都 611730)
针对智能车发展中关键技术之一的环境感知技术,介绍从车道电子标记识别、单一传感器感知、多传感器融合感知到基于车联网的智能汽车感知技术发展历程。详细分析了雷达感知技术、视觉感知技术、车联网技术应用于智能网联汽车环境感知的研究进展,并对未来智能网联汽车环境感知技术进行了展望。分析认为结合车载各种传感装置、利用车联网、通过信息融合,实现对复杂道路交通环境的全息感知是智能网联汽车环境感知技术的重点发展方向。
智能车;环境感知;传感器;车联网
智能网联汽车是指装备了先进的车载传感器、控制器、执行器等装置,充分融合现代通信与网络技术,具备复杂环境感知、智能化决策、自动化控制功能,使车辆与外部节点间实现信息共享与协同控制,能综合实现安全、节能、环保及舒适行驶的新一代智能汽车。它是物联网技术在交通系统领域的典型应用之一。发展智能汽车以及智慧交通是我国汽车及其相关产业通过工业化、信息“两化融合”,实现转型升级以及“中国制造2025”战略目标的必由之路。汽车的智能化与网联化是未来发展趋势。
智能网联汽车是汽车、电子、信息、通信和控制等多学科技术的综合应用,研究尚处于起步阶段。目前在智能网联汽车中,存在着若干亟待解决的关键性技术问题:如智能汽车车辆状态及行驶环境的感知能力问题;车辆状态估计和决策;路径规划问题;各类应用的安全性和稳定性问题;各类车载无线设备的频谱共存和电磁兼容性如何保障;车联网各类应用如何集成等。近年来,美、日及欧洲各国通过政策引导和研发投入,加强了智能网联汽车跨界协同技术的研发、试验验证、测试环境建设和智能网联化产品的开发。中国虽起步较晚,但通过“智能交通系统关键技术开发和示范工程”863计划的实施和国家自然科学基金委的支持,在智能网联汽车和智慧交通方面展开了深入地研究。经过不断探索和研究,国内外在智能网联汽车环境感知、自主决策、协同控制、通信和测试评价等领域取得了一些关键技术突破。本文仅描述智能网联汽车环境感知技术的发展和研究现状。
智能车辆在道路上行驶离不开对车辆状态及行驶环境的感知,车辆感知技术是智能车技术发展中的关键问题,其感知能力的进步都将促进车辆智能化技术的飞跃。从20世纪50年代起,人类就开始探索车辆智能化及自动驾驶技术,在近60年的发展过程中,智能车对车辆状态及行驶环境的感知经历了对道路上的电子标记进行感知、从单一的传感器感知,发展到多传感器融合感知。现在,随着车联网技术的出现,实现了信息在车车、车路、车人及车与互联网之间的传输,这为智能汽车对行驶环境的感知提供了新的手段。
1 基于车道电子标记识别的智能汽车感知技术
1953年,美国通用汽车公司GM和美国无线电公司RCA建立了路面具有钢线的高速公路,并通过磁极追踪路面钢线,利用声波控制汽车的速度与转向;20世纪60年代,Ohio州立大学启动关于智能驾驶的项目,通过车辆追踪地面下的电子设备进行自动行驶。这一时期,智能车是通过对道路上的电子标记进行识别以选择行驶路线,相当于车辆是在一个固定轨道上自动行驶[1],车辆不具备自适应的道路选择能力,对行驶环境的感知能力还较弱。
20世纪90年代,美国加州大学伯克利分校PATH实验室提出新的自动驾驶系统,通过在道路上铺设磁钉以及在车上安装载雷达等传感装置实现汽车队列行驶及自动驾驶[2]。该项目也采用了基于车道电子标记识别的智能汽车感知技术。但该技术的应用涉及对道路的改造,成本过大,因此很少采用。
2 基于单一传感器的智能汽车感知技术
20世纪八九十年代,随着机器视觉、雷达传感器、超声波传感器、激光传感器等传感技术的进步,大量的传感器开始在汽车上应用。这一阶段,智能汽车环境感知传感系统主要使用毫米波雷达、激光雷达、摄像头等传感器[3-4]。感知的具体方法有雷达感知和视觉感知。
2.1 雷达感知
雷达感知是指通过激光、微波或声波获取车辆周边环境的二维或三维距离信息,再通过距离或速度分析对行驶环境进行感知。它能以较高精度直接获取物体二维或三维距离信息、对光照环境变化不敏感。常用的传感器有毫米波雷达、激光雷达等。
毫米波雷达可以精确地测量目标的径向距离和速度,可使用多个接收/发送通道获取额外的角度信息。它对环境影响(如极端温度、不良光照或天气条件等)具有鲁棒性。对于许多驾驶辅助应用而言,雷达被视为最有前景的技术[5-6]。近几十年来,汽车雷达已成为主动安全和先进驾驶辅助系统(ADAS)的核心设备。毫米波雷达的应用范围涵盖了自适应巡航控制系统(ACC)、倒车车侧警示系统(CTA)和车道变换辅助系统(LCA)等。
常用的车载毫米波雷达有短程、中程和远程雷达,分别面向不同的应用。短程雷达(SRR)用于感知邻近车辆、障碍物检测、停车辅助等场景,主要安装于车辆侧方区域,常用于监视车辆后方区域,有时也作为前方远程雷达传感器(LRR)的补充。中程雷达(MRR)用于中等距离和速度的感知,主要用在CTA(倒车车侧警示系统)中,协助司机离开停车位。远程雷达(LRR)用于需要窄波束前向视野的场景,主要用在自适应巡航系统(ACC)和其他安全领域,如防撞等应用场景。短程、中程和远程毫米波雷达的通用技术特点如表1所示(不同的供应商可能有不同的技术规格)。
表1 短程、中程和远程雷达的技术规格
激光雷达(LiDAR)可用来检测路面场景中其他车辆、行人或障碍物,识别道路边界等,与毫米波雷达相比,有更好的横向分辨率。原来的LiDAR系统十分昂贵,每套价值在8 000至10万美元以上。高昂的价格制约着车载激光雷达的实用化。现在很多公司潜心于研究低价位、高性能的激光雷达。如德尔福汽车系统将与美国Quanergy公司合作,为无人驾驶汽车开发一种新型LiDAR系统,每台单价低于1 000美元。2015年,加州大学伯克利分校的研究团队透露,他们已经研发出新型激光技术,可以有效解决LiDAR的笨重设计及成本问题,从而创造出价格更低廉的无人驾驶汽车[7]。今年,Quanergy公司推出了价格特别便宜、号称是世界上第一款固态激光雷达S3。低价激光雷达的市场化,必将使其真正成为无人驾驶汽车的眼睛。
2.2 视觉感知
虽然视觉感知容易受到环境的影响,在能见度较低时效果不理想,其测距精度远不如雷达和激光扫描仪,但它能够提供边缘,具有扩展对对象的姿势和分类的巨大潜力。作为外部环境感知技术手段,视觉感知是智能驾驶环境感知领域不可或缺的重要组成部分。目前,在智能驾驶领域中,常采用单目、双目或夜视相机,从不同角度全方位拍摄车外环境,再通过图像识别技术识别近距离内的车辆、行人和交通标志等,完成车道线检测、障碍物检测和交通标志识别等任务。
2.3 基于单一传感器感知技术的研究现状
毫米波雷达、视觉传感器的出现和图像识别技术的发展提高了智能车辆对环境的自适应能力,促进了自适应巡航、车道保持、主动避撞、全景倒车辅助等系列智能化驾驶辅助技术的诞生,并实现了产业化,已经成为很多豪华车的标准配置。360°环视检测设备LiDAR的出现则直接推动了Google、福特等公司自动驾驶智能车的出现。
国外,Dickmanns等[8]利用摄像机开发了计算机视觉系统实现车辆道路环境的识别。日本丰田公司使用毫米波雷达和机器视觉共同探测前方障碍物[9]。Benz成功应用视距感知技术取代了轨道技术用于自动驾驶,并在1999年进一步推出了基于雷达的自适应巡航系统[9]。美国TRW公司研制的车载防撞微波雷达已经应用到货车和公共汽车上用于探测两侧盲区[9]。Mitsubishi开始在车上使用基于激光的测距系统,用于感知危险车辆,用于碰撞预警。
这个阶段,在“人-车-环境”感知领域,国内的研究主要集中在清华大学、吉林大学等高校,如侯德藻等[10]利用毫米波雷、激光雷达开发了碰撞预警系统及ACC巡航系统,利用CCD摄像机实现了车道保持,利用全景相机开发了环视倒车辅助系统等,并提供了具有实用性的控制技术,相关的技术在长安汽车、东风日产以及宇通、金龙等企业实现了推广应用;董因平[11]通过视觉感知系统实现了高速车辆车道预警等。部分感知算法性能达到国际先进水平,但目前尚无与国外类似的系统集成技术。如毫米波雷达探测方面,国内尚无类似博世、德尔福等公司的高性能产品,但车用高性价比雷达研究已逐步展开[12]。机器视觉感知方面,国内尚无类似Mobileye的成熟产品,但清华大学、武汉大学和海康威视、地平线机器人等提出的视觉算法性能已达国际先进水平,在2015年KITTI评测中取得多项单项第一[13]。未来,若能结合已有视觉和雷达算法基础,加强信息融合,有望在复杂环境感知和集成应用方面取得重大进展。
3 基于信息融合的智能网联汽车感知技术
一方面,单一传感器都有其局限性。如激光雷达具有方向性好,波束窄,测角、测距精度高,不受地面杂波干扰等优点,但其受大气的光传输效应影响大,不能全天候工作,遇浓雾、雨、雪天气无法工作等缺点。因此,仅仅靠单一传感器难以提供各种天气情况下路况环境的全面描述。
另一方面,据Aufrère等[14]、Montemerlo等[15]、Leonard等[16]对智能汽车的行驶环境感知研究得知:车辆自动驾驶需要感知车辆行驶过程中可视、超视距、近距离、远距离的道路环境信息,周围移动车辆、行人和障碍物,宏观交通状态、交通事故信息以及车辆自身位置和各种状态信息。因此智能汽车应配置多种不同传感手段获取车辆周边环境不同形式的信息,通过多信息融合对行驶环境进行感知,使智能汽车具有优良的环境适应能力,为安全快速自主导航提供可靠保障。
近年来,不少学者就多传感器信息融合算法、多传感信息进行驾驶员状态监测、车辆状态估计和交通环境感知展开了研究。如Perrollaz等[17]提出一种概率方法以表征融合2个摄像头(立体视觉)的不确定性;Scheunert等[18]为了避障目的,将立体视觉信息和激光扫描器信息进行了集成;Spinello等[19]提出一种协同方法来融合独立使用激光扫描器和视觉系统的传感器检测系统,通过使用一种跟踪系统将两种传感器进行融合。
随着智能驾驶辅助技术的发展,国内外的学者开始探索研究基于多传感器的智能车自动驾驶技术。如Li等[20]使用高精度电子地图、雷达、摄像头等,进行车道偏离预警;Chu和Chen等[21-22]利用多源信息融合实现了驾驶员疲劳和注意力的检测,其车辆状态估计和参数辨识效果达到国际先进水平。现在,随着计算机信息技术、通信技术、控制技术和电子技术的进步,智能汽车多传感器信息融合技术的应用取得了许多令人振奋的成果,如国内的G-BOS系统、欧洲的CVIS系统、美国的IVHS系统、日本的SmartWay系统等[23]。
4 基于车联网技术的环境感知技术
在城市复杂交通环境下,智能车用雷达、视觉、LiDAR等各种传感器对行驶环境进行感知也存在盲区,同时存在感知空间广度和时间纵向深度不足等问题。如Google的无人车,虽然采用了LiDAR系统,融合车用毫米波雷达及各种视频传感器,车辆对行驶环境的感知能力也只能达到200~300 m。智能车的单车感知能力不足已经成为制约智能车进一步发展的瓶颈。车联网技术的出现,实现了信息在车车、车路、车人及车与互联网之间的传输,为提升车辆感知能力提供了新的科学技术手段和思路。
车联网是以车内网、车际网和车载移动互联网三网合一的动态网络,如图1所示。按照约定的通信协议和数据交互标准,在车、路、人与互联网之间进行无线通信和信息交换,以实现智能交通管理控制、车辆智能化控制和智能动态信息服务的一体化网络。基于车联网的智能车信息感知技术属于通信感知,可获取其他传感手段难以实现的宏观行驶环境信息,可实现车辆间信息共享,对环境干扰不敏感。
车联网技术发展于20世纪90年代,初期着重基于广域移动通讯的telematics车载信息服务的发展。如美国通用汽车公司开发了为汽车提供逐项道路导航、远程防盗、远程事故援助等服务的Onstar系统[24];日本丰田公司推出为车辆提供紧急救援、防盗追踪、高速公路安全驾驶提醒等服务的G-Book车载智能通信系统。后期,短程通信技术逐渐兴起,国内外开始研究点对点通信模式下车与车、路、人之间的通信。
专用短程通信技术(DSRC)由于优化了数据传输的可靠性和低延迟性能[25],被广泛应用于车联网通信。如2012年美国交通部主导开展了Connected Vehicle Safety Pilot项目[26],主要研究基于DSRC技术的V2X系统在汽车行驶安全性方面的影响。密歇根大学交通研究所以DSRC为通信手段首次建立了在实际交通环境中车车(V2V)、车路互联的场景,如图2所示。
短程通信实现了车与车、路、人之间的网联化,协同化,车辆感知范围成倍扩大,信息的丰富性、实时性、准确性大幅提高。车联网的应用从信息服务逐渐转变到利用短程通信提高汽车自身性能,车联网的发展进入了新的阶段。但在道路及车辆上布置DSRC通信模块成本较高,另外由于其使用CSMA接入机制,当车辆密度较大时会出现丢包和网络拥堵等问题。
近年来,随着4G技术的发展,国外学者展开了基于4GLTE技术的车联网技术研究。如欧洲CoCar项目研究了包括UMTS和LTE的蜂窝移动通信技术应用于V2V、V2I场景的可行性,项目认为并非所有V2V应用都需要由DSRC技术来实现,一些应用移动通信网络反而更有优势。Dhilip等[26]将4GLTE技术应用到车联网中,通过分析数据吞吐量、时延性、功耗等指标证实了该技术确实能够提高车联网的网络性能。4GLTE技术应用于车联网中,满足了随着车联网中信息容量越来越大,车联网对无线通信网络的带宽、连接可靠性和输送时延的需求。但4G技术通讯需要基站支持,在基站无法覆盖的地区就无法实现车辆之间的有效联网。究竟选择哪种通信技术实现短程通信,或者开发一种更适合车联网通信的新型通信方式,是一个亟待解决的问题。
图2 美国密歇根大学UMTR主导的Safety Pilot项目实现V2X
车联网作为新兴的技术,其在汽车智能化中的应用还处于探索阶段,车联网能为汽车带来哪些感知能力的增强,如何基于联网消灭车辆感知盲区,实现超视距视野,如何与智能车及自动驾驶技术进行融合,网络信息安全如何保障等还需要深入的研究。美国通过开展IntelliDrive、VII(Vehicle Infrastructure Integration)、IVI(Intelligent Vehicle Initiative)、CVHAS等,日本通过AHS、SmartWay等项目,欧洲通过PReVENT、I-Way等项目对车联网进行了探索性研究,强调以人车路一体化来解决现代交通所存在的严重问题[27]。美国DOT报告认为车联网技术将大大增强车辆对行驶环境的感知能力,提升汽车的安全性,相关技术的应用将减少85%的交通事故,同时可以大幅度提升交通效率,美国计划在2017—2018年通过推行政策全面要求车辆前装车联网通信装置[28]。
我国对应用短程通信技术的车联网进行了一定的探索。如清华大学与长安汽车股份有限公司等合作,负责了国家863车联网专题攻关课题(2012AA111901),通过车载GPS、摄像头等传感器对车道线信息进行感知,并通过短程通信技术DSRC实现车辆状态相关信息(如加速、制动)在车车、车路之间的传递,从而开发了车联网下交叉口突发事件辨识和预警、信号灯控路口车速引导控制、车车通信下车辆跟驰危险辨识与预警等十余个典型辅助驾驶系统。2015年至今,王建强等[29]通过“基于人-车-路协同的行车安全场理论及车辆拟人化控制”等项目的进行,并广泛开展国际合作,深入研究网联智能车环境感知技术。
总之,结合车载各种传感装置,利用车联网实现车辆对行驶环境的感知能力的增强,利用车内网获取车辆状态并识别行驶行为,通过多传感器融合,车车、车路和车人信息交互,实现对复杂道路交通环境的全息感知,满足智能车辆未来在复杂交通环境下自动驾驶要求,将是智能网联汽车环境感知技术的发展方向。
[1] 杨殿阁,李克强,郑四发,等.智能交通系统中的汽车技术[J].汽车工程,2003(3):223-226.
[2] SHLADOVER S E,DESOER C A,HEDRICK J K,et al.Automated vehicle control developments in the PATH program[J].IEEE Transactions on Vehicular Technology,1991,40(1):114-130.
[3] BENGLER K,DIETMAYER K,FARBER B,et al.Three decades of driver assistance systems: review and future perspectives[J].IEEE Intelligent Transportation Systems Magazine,2014,6(4):6-22.
[4] WEI J,SNIDER J M,KIM J,et al.Towards a viable autonomous driving research platform[J].IEEE Xplore, 2013,36(1):763-770.
[5] RASSHOFER R H,GRESSER K.Automotive radar and lidar systems for next generation driver assistance functions[J].Advances in Radio Science Kleinheubacher Berichte,2005,3(10):205-209.
[6] ZADOR P L,KRAWCHUK S A,VOAS R B.Final report:Automotive Collision Avoidance System (ACAS) program[EB/OL].(1998-05-10)[2016-09-10].http://www.ece.eng.wayne.edu/~smahmud/CrashAvoidance/ACAS_FinalReport_00.pdf.
[7] 新型雷达无人驾驶汽车时代即将来临![EB/OL].(2015-09-08)[2016-09-10].http://www.21ic.com/chongdian/news/2015-09-08/640564.html.
[8] DICKMANNS E D,ZAPP A.A curvature-based scheme for improving road vehicle guidance by computer vision[C]//Cambridge Symposium-Intelligent Robotics Systems InternationalSociety for Optics and Photonics,1987:161-168.
[9] 王荣本,李斌,储江伟,等.世界智能车辆行驶安全保障技术的研究进展[J].公路交通科技,2002(2):117-121.
[10] 侯德藻,李克强,郑四发,等.汽车主动避撞系统中的报警方法及其关键技术[J].汽车工程,2002(5):438-441,444.
[11] 董因平.高速汽车车道偏离预警系统的算法研究[D].长春:吉林大学,2004.
[12] HUANG L,LU Y,YU Z,et al.Development of a multi-target tracking system based on polar coordinate for automotive wide beam radar[C]//2015 JSAE Annual Congress Proceedings,2015:1-10.
[13] CHEN X,MA H,WANG X,et al.Improving object proposals with multi-thresholding straddling expansion[C]//IEEE CVPR,2015:2587-2595.
[15] MONTEMERLO M,BECKER J,BHAT S,et al.Junior:the stanford entry in the urban challenge[J].Journal of field Robotics,2008,25(9):569-597.
[16] LEONARD J,HOW J,TELLER S,et al.A perception-driven autonomous urban vehicle[J].Journal of Field Robotics,2008,25(10):727-774.
[17] PERROLLAZ M,SPALANZANI A,AUBERT D.Probabilistic representation of the uncertainty of stereo-vision and application to obstacle detection[C]//Intelligent Vehicles Symposium(IV),IEEE,2010:313-318.
[18] SCHEUNERT U,MATTERN N,LINDNER P,et al.Generalized grid framework for multi sensor data fusion[C]//International Conference on Information Fusion,2008:1-7.
[19] SPINELLO L,TRIEBEL R,SIEGWART R.Multiclass multimodal detection and tracking in urban environments[J].International Journal of Robotics Research,2010,29(12):1498-1515.
[20] LI Q,ZHENG N,CHENG H.Springrobot:a prototype autonomous vehicle and its algorithms for lane detection[J].Intelligent Transportation Systems,IEEE Transactions on,2004,5(4):300-308.
[21] CHU W,LUO Y,DAI Y,et al.In-wheel motor electric vehicle state estimation by using unscented particle filter [J].International Journal of Vehicle Design,2015,67(2):115-136.
[22] CHEN L,BIAN M,LUO Y,et al.Tire-road friction coefficient estimation based on the resonance frequency of in-wheel motor drive system[J].Vehicle System Dynamics,2015:1-19.
[23] TOULMINET G,BOUSSUGE J,LAURGEAU C.Comparative synthesis of the 3 main Europeanprojects dealing with Cooperative Systems (CVIS, SAFESPOT and COOPERS) and description of COOPERS Demonstration Site 4[C]//Intelligent Transportation Systems, 2008.ITSC 2008.11th International IEEE Conference on.IEEE,2008:809-814.http://www.cvisproject.org/en/public_documents/videos/cvis_final_video.htm.
[24] “LEARN ABOUT ONSTAR”OnStar Services[EB/OL].[2016-09-10].https://www.onstar.com/us/en/services/services.html.
[25] MISENER J A,BISWAS S,LARSON G.Development of V-to-X systems in north America: the promise, the pitfalls and the prognosis[J].Computer Networks,2011,55(14):3120-3133.
[26] SCHAGRIN M.Connected vehicle safety pilot program [R].FHWA Technical Paper,FHWA-JPO-11-031,2011.
[27] 基于车联网的车辆信息远程搜集数据系统[EB/OL].(2015-07-30)[2016-09-10].http://www.eeworld.com.cn/tags/IVHS.
[28] Connected Vehicle Pilot Deployments-The Future of Transportation is Here[EB/OL].[2016-09-10].https://search.usa.gov/search?utf8=%E2%9C%93&affiliate=usdot&query=Connected+Vehicles.
[29] DHILIPKUMAR K V,KANDAR D,SARKAR C K.Enhancement of inter-vehicular communication to optimize the performance of 3G/4G-VANET[C]//Optical Imaging Sensor and Security(ICOSS),2013 International Conference on. IEEE,2013:1-5.
The Research and Development of Environmental Perception Technology in Intelligent and Connected Vehicles
XIEZhiping*,LEILiping
(College of Mechanical Engineering, Chengdu Technological University, Chengdu 611730, China)
Environmental perception technology is one of the key technologies in the development of intelligent vehicles. From the lane mark identification, single-sensor perception, multi-sensor fusion perception to perception technology based on connected vehicle, the development of environmental perception technology in intelligent and connected vehicles are introduced. The research of environmental perception technology in intelligent vehicle by using radar perception,visual perception and connected vehicles technology are specifically analyzed, meanwhile,the future of environmental perception technology in intelligent and connected vehicles is prospected. Eventually the trends of the environmental perception technology in intelligent and connected vehicles are discussed and the analysis shows that combining with the onboard multi-sensors, using connected vehicles and combined information to realize the holographic perception of complex road traffic environment is the major development direction for intelligent and connected vehicles using environment perception technology.
intelligent vehicle;environmental perception;sensor;connected vehicle
10.13542/j.cnki.51-1747/tn.2016.04.022
2016-09-29
国家高技术研究发展计划“基于车联网的车辆智能化技术研究”(2012AA111901)
谢志萍(1970— ),女(汉族),四川德阳人,教授,硕士,研究方向:机电控制系统,通信作者邮箱:xzpycy@sina.com。 雷莉萍(1980— ),女(汉族),江西南昌人,讲师,硕士,研究方向:机械电子工程。
U495
A
2095-5383(2016)04-0087-06