智能车的智能指挥与控制:基本方法与系统结构

刘腾　于会龙　田滨　艾云峰　陈龙

汽车自动化和网联化,作为未来人工智能的重要分支,可以提高道路交通的安全性及通行效率,极大地改变人们的生活出行方式,将成为未来数年最重要的先进技术之一[1−2].从20世纪开始,在当代的交通系统的研究中,学者们通过先进的电子信息技术和日趋成熟的传感技术来迅速地升级传统车的自主驾驶能力,从而提高车辆的智能化水平[3].网联自动驾驶智能车是智能技术发展的技术前沿,具有巨大的社会意义和市场潜力[4].

平行驾驶是ACP理论方法(人工系统(A)、计算实验(C)和平行执行(P))在自动驾驶领域的应用,平行驾驶将是新一代智能车的智能指挥与控制技术[5].基于平行驾驶的智能车可大大降低车辆成本,并有效解决现阶段智能车安全性问题,使智能车的自主驾驶行为变得可测、可控,提高了车辆系统对环境的快速反应性,减少交通拥堵及整体协同程度,减少因疲劳驾驶等原因导致的交通事故[6].

基于平行驾驶的智能车指挥与控制系统是物理定义的真实车与软件定义的虚拟车的联合[7].它是将车路传感器的物理信号,人的信号、以及各种开源信息(社会信号)嵌入到系统中,通过数据优化,将单车智能迅速扩展到车联网的协同智能上,实现车与车、车与路、车与人的网络化发展.该系统将综合运用中心控制、网络通信、大数据分析、机器学习、人工智能等关键技术,把中心控制台、智能道路及平行智能车实时互动连接起来,最终实现车路互动、多车协同、平行操控、安全行驶.

智能车指挥与控制平台由遥控平台、物理智能车平台和平行管控平台组成.平行管控平台负责监控和引导物理智能车的运行,遥控平台负责请求或紧急情况下接管物理智能车.通过以上子系统的统一协调调度,实现平行智能车在线上和线下的交互,从而改善交通拥堵、减少交通事故、提高交通效率及安全性.

1　基于ACP的平行驾驶框架

1.1　信息物理社会系统

信息物理社会系统(Cyber-Physical-Social Systems,CPSS)是在信息物理系统的基础上,进一步纳入社会信息、虚拟空间的人工系统信息,将社会网络系统也纳入到研究的范围[8],其基本构成如图1所示.该系统包括环境感知信息、人类行为信息和网络信息,为物理系统赋予了良好的控制、计算、自治和协作功能[9].

社会物理信息系统中的C可以代表两个系统,即物理世界中的信息系统和软件定义的虚拟人工世界.P则是指传统物理系统.而S则包括人类社会系统和类比物理系统构建的虚拟人工系统.该系统通过通信、大数据分析和机器学习等手段来获取系统输出,同时能够遍历物理系统中不能经常遇到的场景和状态,通过改变系统输入的方式来变换系统的形态,从而得到不同的输出,用于指导实际系统的运行和操作.

图1　信息物理社会系统的组成与联系

通过把组织人员有机地结合在自身系统当中,CPSS系统使得实际系统与虚拟系统之间的交流、互动、反馈和提升成为可能[10].未来的世界,真实的系统与其相应的“虚拟系统”一定是平行存在的,通过一对一的辅助,能够扩展到一对多和多对一的互助,随着两个系统的改善,最后会形成多对多的形态.这些虚拟系统可以称为“软件定义的系统”、“软件机器人”或“知识机器人”[11].

1.2　基于ACP方法的平行系统

平行系统可以定义为一个组合,即真实存在的实际系统与其相对应的软件定义的人工系统的有机组合.在真实世界中,复杂系统的精确数学分析模型是比较难得到的,而仿真模拟手段又有可能出现比较尴尬的情形,即无“真”可仿.例如所针对的系统极其依赖管理者的经验,难以用科学的手段加以描述.基于此,中科院自动化所王飞跃研究员于2004年提出基于ACP的平行系统,作为一种解决复杂系统管理与控制问题的科学研究与实践方法[12].

基于ACP的平行系统的基本框架如图2所示.所谓ACP,即为人工社会(Arti fi cial societies)、计算实验(Computational experiments)与平行执行(Parallel execution)的有机组合.从ACP方法的定义可知,处理复杂系统控制可分为3步:第1步,构建与真实系统等价的人工系统;第2步,利用计算实验来对复杂系统控制问题进行解算和分析;第3步,采用平行执行的方式来提升人工系统的建模精度和真实系统的实践能力[13].

人工系统可以定义为传统数学建模方法的扩展,是一种广义的知识构建的过程,为落实灵捷性(Agility)奠定基础.人工系统的建立,需要保证其本质特征与真实系统一致,同时具备部署简单、交流方便、计算快速的特征.计算实验是在模型构建的基础上,对真实系统或人工系统遇到的复杂控制问题进行处理,在两个系统中都得到较优的控制,保证能够进行交流和指导,它是保证复杂系统聚焦(Focus)的手段.最后,平行执行则是鲁棒性控制的升华,在虚实结合的大闭环中实现反馈控制,确保两个系统获得的控制能够实现收敛(Convergence)[14−15].

1.3　平行驾驶的基本框架

未来的智能网联汽车主要包含三大要素:1)物理智能车(physical vehicle);2)人类驾驶员和意图认知(human driver and cognitive);3)控制信号和环境信息(control signal and environmental information).根据ACP方法的指导,可以将上述三要素划分到三级平行世界,即物理世界、精神世界和人工世界中,如图2所示[16].

图2　基于ACP的平行系统

图3为平行驾驶的框架图.其中包含三级并存的平行世界,第一级为物理世界,第二级为精神世界,第三级为人工世界.物理世界主要指真实智能车的实际运行,精神世界主要是对驾驶的行为和意图进行识别,而人工世界又包含两层,第一层是虚拟驾驶层,用于模拟虚拟驾驶员在人工环境中的虚拟驾驶行为,第二层是信息层,主要包含社会因素、地理因素和传感器信息因素.

在人工世界中,每一辆虚拟车中的控制器会与其余的虚拟车、精神世界的驾驶员意图和物理世界的真实智能车进行多方交互,通过计算实验的方式来提升人工世界中虚拟系统的建模精度,同时指导物理智能车的实际运行.

人类驾驶员在精神世界和物理世界均起作用.随着智能车自动驾驶功能的完善,人类驾驶员所起的功能会逐渐减弱.同时,人类驾驶员可以随时接管车辆避免某些意外事故的发生或提升驾驶乐趣.

2　平行驾驶的关键技术

2.1　平行学习

图3　智能车智能指挥与控制-平行驾驶框架

图4　平行学习基本框架

平行学习是将平行系统的思想扩展并引入到机器学习领域建立一种新型理论框架以更好地解决数据取舍、行动选择等传统机器学习理论不能很好解决的问题.其基本框架如图4所示,主要包括行动学习和数据处理两大阶段.在数据处理阶段,该方法先从真实系统中获得原始数据,随后挑选与特定场景匹配的小数据,输入到类比与真实系统的人工系统中.通过改变人工系统参数输入的方式来构建大量新的数据.将人工生成的数据与特定的小数据合并,形成解决问题所需的大数据结合,用于训练和学习模型[17].

在行动学习阶段,平行学习与强化学习的思路类似,将系统的动态变化用状态迁移的方式来表现.将计算实验的过程具体化,通过预测学习、集成学习、转移学习等数据处理手段来对生成的大数据进行处理,得到能够解决特定场景的小知识集合.这些小知识能够应用于平行驾驶的特定任务和特定场景,通过平行控制或平行决策的方式来体现.

而指示学习和平行执行则是对知识在系统中的具体应用进行引导,实现人工系统的建模精度提升和真实系统的运行稳定[18].

2.2　平行感知

在视觉与感知领域中,识别算法对复杂环境的适应性是一个广泛关注的问题,它直接决定了算法能够真正的用于实际当中.复杂的交通环境经常会导致图像细节模糊,如雨雪雾等恶劣天气、强阴影、夜间低照度等环境.因此,有效的视觉感知模型,需要足够大的标记数据集做支撑,同时还要求数据涵盖不同的场景,具备多样性.平行感知方法旨在通过构建人工场景来模拟或定制各种场景要素,在虚拟系统中建立更加完备的测试数据集,其结构如图5所示.人工场景测试覆盖的环境范围更广,并且成本更低,可以作为实际场景测试的补充.

视觉系统的全面、充分验证,是困扰其实际应用的另一问题.在乡村和城市道路上测试智能车视觉系统的不同功能,如信号灯识别、交通标志识别和障碍物规避等,往往在实际场景中不能完全覆盖所有的功能.因此,这样的测试是不完备的,无法保证视觉系统在实际应用时的有效性.通过人工场景中进行计算实验,能够在遍历比实际场景丰富的应用场景.而且,这些实验过程是可以重复的、可以观测的,可以指导算法在实际系统中的应用,也能为后续的知识提取和算法优化奠定基础.

人工传感器作为一种低成本、灵活的解决方案,可以在人工系统中替代实际传感器,开展多传感器融合方面的计算实验.由于人工系统中的传感器测量范围一般比实际系统要广,因此,可以模拟物理世界中无法出现的情况;实际系统极限(危险)工况下的多传感器融合实验,比如,极小车间距、车辆紧急转弯等工况,从而使得计算实验更加充分;此外,还可以对多传感器进行选型、安装等配置方式开展计算实验.

2.3　平行规划

运动规划是自动驾驶关键技术之一.智能车在运动过程中需要通过全局规划和局部规划来决定其最优的路径、速度和加速度.基于ACP的平行系统思想,提出平行运动规划的概念,用于解决数据样本匮乏的问题,实现端到端的运动规划,如图6所示[19].

人工交通场景依据真实场景的特点构建,为运动规划模块提供充足、多样的训练样本,甚至还可以模拟紧急工况下的应急运动规划.深度规划模块包含卷积神经网络模型和长短记忆网络模型,用于生成端到端的决策规划.该模块可以在人工和实际交通场景中应用,还可以模拟人类驾驶员的驾驶风格.平行增强学习的方法被用来提高该规划模块的鲁棒性和规划精度.

图5　平行感知的基本框架

针对紧急场景的极限工况,变分自动编码和生成式对抗网络被用来规划紧急场景下智能车的运动.随着智能车在实际场景中的运行,混合生成模型实时地生成可能发生的虚拟应急场景,同时深度规划模块同时作用于真实场景和虚拟应急场景.一方面指导智能车的实际运行,同时将应急场景中的规划也用于实际场景,避免事故的发生.

2.4　平行测试

平行测试系统的核心思路是在虚拟交通世界里进行可重复的实验,通过不同智能体之间的交互作用,复现实际观测到的多种交通现象及其中的车辆动态行为,其基本框架如图7所示.

图6　平行规划基本框架

图7　平行测试基本框架

自动驾驶车辆系统研发需要对实车系统在现场进行大量测试和验证工作.而现场测试费用高、安全性差、重复性低,对车辆系统出现的异常也缺乏有效的跟踪手段.自动驾驶车辆的测试数据收集能力不足,缺乏一致的数据共享接口,难以对自动驾驶车辆的感知、决策和执行状态进行实时和精确的评估.

基于上述问题,平行测试系统中的测试数据真实、不受试验场地和时间限制,安全可控、测试条件可重复、测试结果可跟踪,使用虚拟测试方法,系统研究人员可以及时发现算法和系统运行中可能存在的不确定性错误,验证算法和系统对不同道路交通环境的适应性,跟踪算法和系统的在线运行状态.

构建人工测试环境首先需要获取环境感知数据,包括:道路GIS数据、视频图像数据、激光扫描传感器和雷达点云数据、以及数据采集车辆位置的GPS坐标轨迹和传感器参数.然后,研究自动驾驶车辆动态的仿真算法,以期能够根据输入的车辆几何模型属性和动力学特征参数,在仿真环境中快速创建和运行被测试的自动驾驶车辆和其他环境车辆,模拟它们在仿真道路交通环境下的自主行驶行为.

在此基础上,进一步搭建自动驾驶车辆的半实物实验验证平台,集成自动驾驶车辆的各种功能测试和能力评估模块,采用自动驾驶车辆仿真测试和平行交通系统仿真互动的方式,按照任务类型对车辆和行人等动态交通元素实体设置与现实交通特性一致的运动轨迹.最后,依据前述自动驾驶智能体系,分级测试典型道路交通环境下自动驾驶车辆的能力和智能水平.

3　智能车指挥与控制系统的构成

基于ACP方法的智能车指挥与控制系统主要包括3部分:平行管控平台、遥控平台和智能车平台.如图8所示,平行管控平台(C端)负责监控和引导智能车平台(A端)的运行,遥控平台(B端)负责在请求或紧急情况下接管智能车平台(A端).当智能车由于感知受限、内部故障等原因无法正常工作时,它会主动向平行管控平台提出接管请求,遥控平台的驾驶员对智能车进行遥控接管;此外,平行管控平台会实时监控每辆智能车的状态,通过计算实验进行智能决策引导智能车正常行驶.

3.1　遥控平台

如图9所示,遥控平台主要由驾驶模拟器和驾驶员组成.驾驶模拟器包括曲面显示屏、方向盘、油门与制动踏板等.曲面屏能够实时显示与真实车对应的虚拟车在虚拟交通环境中的行驶状态,涵盖车内、外多个视角和地图上的实时轨迹等.此外,真实车辆的行驶视频、道路环境视频信息、车内摄像头实时录制的车辆仪表盘的数据和HMI模块的信息也通过4G网络实时回传到遥控平台的曲面屏.

图8　智能车指挥与控制系统结构图

图9　遥控平台主要由驾驶模拟器组成示意图

驾驶模拟器的曲面屏实时展示平行驾驶管控平台所监管的自动驾驶车辆的环境信息和状态信息.例如在自动驾驶车辆的测试场,通过曲面屏地图可以实时查看当前全部车辆的位置信息,合理进行道路测试车辆的指挥与疏导分流.通过曲面屏的实时视频流信息可全局监管自动驾驶车辆的行驶状况.

正常情况下驾驶员处于待命状态,当平行管控平台或智能车平台发来请求信号时,驾驶员通过操作驾驶模拟器上的方向盘、油门和制动踏板对智能车进行远程遥控,直至收到异常解除信号.

3.2　智能车平台

智能车平台的车载设备主要包括:摄像头-1(置于车外)、摄像头-2(置于车内)、HMI设备、Estop、车载工控机、异地组网设备与无线CPE以及其他相关连线与电源设备等.各部件功能如图10所示.其中车载HMI设备如图11所示,可用来选择实时显示车辆驾驶模式、行驶轨迹、车速、油量等信息,还可通过触屏操作进行人机交互.

图10　智能车指挥与控制系统结构图

图11　车载HMI显示界面

智能车平台中集成了模式切换模块.智能车控制系统根据环境感知和定位信息进行决策规划,当传感器信息正常并且能够求解所建立的运动规划问题时,控制系统将车辆纵向和横向控制信号发送到模式切换模块.模式切换模块同时接收来自智能车控制系统、遥控平台和平行管控平台的车辆纵横向控制信号.最终,模式切换模块根据来自平行管控平台的实时模式选择命令执行上述某一类的控制信号.

3.3　平行管控平台

平行管控平台设备主要包括:NI仿真设备、工控机、服务器、图像拼接器、交换机、异地组网设备以及其他相关连线和电源设备等其他配置.各主要部件功能如图12所示.

智能车行驶相关信息及智能交通环境信息实时传送到平行管控平台后,结合虚拟系统中的相关数据,通过大数据分析学习系统进行分析预测,从而实现对智能车辆的预测、指挥及控制[20−21].平行管控平台主要包括两大部分:一是映射真实物理场景的人工系统,该部分包含虚拟车模型,虚拟传感器模型和虚拟交通环境模型.二是计算实验系统,该部分包括大数据管理与分析模块,学习与训练模块,实验与评估模块.

平行管控平台的人工系统既可与遥控平台驾驶员和真实物理环境进行信息交互,实时映射真实车的行驶状况,又可在计算实验系统的控制下在指定人工交通场景中运行,为计算实验系统提供大量人工数据用于在线预测未来一段时间真实车的实际状态,实时引导智能车的运行,同时所获取的数据也可用于离线优化相关算法.

图12　平行管控平台机柜设备

大数据管理与分析模块获取、存储来自真实车和虚拟车在不同交通环境中运行的多源原始数据和经过大数据挖掘、分类与特征提取处理过的数据.学习与训练模块以真实数据和人工数据为基础,从算法库中选择相应算法离线优化智能车的感知、决策、规划和控制算法.实验与评估模块调用人工系统,必要时调用真实系统来验证优化算法,经过验证的智能车算法更新到平行控制中心可实时与智能车平台进行信息交互指导智能车的运行,保证智能车更加安全、高效地运行.

3.4　系统可扩展性

智能车指挥与控制系统集算法研发优化,智能车监控和智能车评估测试于一体.该系统既可以ACP理论为指导作为先进感知、规划与决策算法的研发平台,又可作为保障智能车安全高效运行的监控平台,还可作为测试智能车系统综合性能的测试平台.

智能车指挥与控制系统提供了多种展示车辆行驶状态信息的接口.例如可以通过添加DID拼接屏同时展示真实交通环境和虚拟环境中自动驾驶车辆的行驶信息,可扩展为交通管理与指挥中心供交通运输与管理部门统一监控、调度自动驾驶和有人驾驶车辆,设备连接图如图13所示.

4　智能车指挥与控制系统关键技术验证

本节主要介绍智能车指挥与控制系统在一般交通场景响应式遥控接管和紧急交通场景主动接管两方面的验证思路.

4.1　一般交通场景响应式接管验证

智能车平台遇到无法处理的情况(感知受限、硬件模块故障等)时,主动向平行驾驶管控平台提出接管请求.以智能车在GPS模块失效故障为例,设计以下场景验证响应式接管的有效性.

自动驾驶车辆沿指定路线行驶,遥控平台端在曲面屏上实时显示智能车的行驶状态.同时,智能车内的摄像头将实时录制、回传车辆仪表盘的数据和HMI的信息,多维度实时反馈智能车的定位、感知、决策规划等信息.

在行驶至配置GPS信号屏蔽设备的场景时,智能车由于GPS信号丢失,可以通过车载工控机通信模块向平行管控平台提出接管请求,切换到遥控驾驶模式,如图14所示.

图13　平行遥控驾驶系统-DID拼接屏信息展示

图14　远程遥控驾驶模式切换-示意图

平行管控平台将请求接管信号发给遥控平台,遥控平台驾驶员响应请求,通过驾驶模拟器开始接管控制智能车,此时在车载HMI设备显示当前驾驶模式为遥控驾驶,如图15所示.当智能车进入远程遥控驾驶模式后,遥控平台的驾驶员根据车辆回传的传感信息和车身状态信息操作控制模拟器的方向盘和油门,控制信号通过高速无线网络实时传递到智能车平台,进而控制智能车的运行.

遥控平台驾驶员观察到故障排除信号后,操作发出退出遥控驾驶的信号,平行管控平台发送模式切换命令,智能车重新进入自动驾驶模式,如图16所示.

4.2　紧急交通场景主动接管验证

平行管控平台实时监控每一辆智能车的状态,一旦发现异常行为,发送警示信号给遥控端驾驶员,进行主动紧急遥控接管.此种情形中的智能车异常行为,一般由智能车车载软件故障导致,智能车自身并未意识到异常,进而无法自主上报至平行管控平台,设计以下场景验证主动接管的有效性.

智能车辆沿指定路线行驶,当平行管控平台监测到其中某辆车的行驶轨迹出现明显偏离(例如,车辆返回的路径与预定轨迹偏离大,或者轨迹出现锯齿或S形等),向遥控平台发出报警提示,遥控平台驾驶员开始通过驾驶模拟器给平行管控平台和智能车平台发送高级别控制信号,智能车切换到遥控驾驶模式,如图17所示.

当故障排除后,遥控平台驾驶员发出退出遥控驾驶的信号,平行管控平台和智能车平台接收到指令后使智能车恢复到自动驾驶模式.

图15　远程驾驶工作模式-示意图

图16　远程驾驶模式退出-示意图

图17　远程驾驶模式紧急干预-示意图

5　结论

基于ACP理论方法,提出了智能车智能指挥与控制系统、平行驾驶系统.介绍了平行驾驶系统的基本框架、关键技术和对应的实验平台的构成.

平行驾驶系统不仅通过车车通信、车路通信和车云通讯来降低智能车系统的开发成本,而且通过高性能计算实验控制模块使得现有的自动驾驶汽车安全系数大大提升.平行驾驶将成为涵盖路侧信息、平行网络、高性能计算实验中心和自动驾驶汽车的新一代智能车指挥与控制系统.

1 LYU C,LIU Y,HU X,et al.Simultaneous observation of hybrid states for cyber-physical systems:a case study of electric vehicle powertrain[J].IEEE transactions on cybernetics,2017,1(99):1−11.

2 WANG F Y.Arti fi cial intelligence and intelligent transportation:driving into the 3rd axial age with ITS[J].IEEE Intelligent Transportation Systems Magazine,2017,9(4):6−9.

3吕义超,陆云.我国智能网联汽车产业发展规划与发展政策浅析[J].时代汽车,2017,3(2):6−8,11.

4殷媛媛.国内外智能网联汽车发展趋势研究[J].竞争情报,2017,13(5):51−58.

5 WANG F Y,ZHENG N N,CAO D P,et al.Parallel driving in CPSS:a uni fi ed approach for transport automation and vehicle intelligence[J].IEEE/CAA Journal of Automatica Sinica,2017,4(4):577−587.

6 LI L,LYU Y,WANG F Y.Traffic signal timing via deep reinforcement learning[J].IEEE/CAA Journal of Automatica Sinica,2016,3(3):247−254.

7邓建玲,王飞跃,陈耀斌,等.从工业4.0到能源5.0:智能能源系统的概念、内涵及体系框架[J].自动化学报,2015,41(12):2003−2016.

8 WANG F Y.The emergence of intelligent enterprises:from CPS to CPSS[J].IEEE Intelligent Systems,2010,25(4):85−88.

9王飞跃.软件定义的系统与知识自动化:从牛顿到莫顿的平行升华[J].自动化学报,2015,41(1):1−8.

10王飞跃.人工社会、计算实验、平行系统—— 关于复杂社会经济系统计算研究的讨论[J].复杂系统与复杂性科学,2004,1(4):25−35.

11 王飞跃,王晓,袁勇,等.平行工业时代:移动智造[J].高科技与产业化,2015(3):32−35.

12王飞跃.关于复杂系统研究的计算理论与方法[J].中国基础科学,2004,6(5):3−10.

13王飞跃.平行系统方法与复杂系统的管理和控制[J].控制与决策,2004,19(5):485−489.

14王飞跃.平行控制:数据驱动的计算控制方法[J].自动化学报,2013,39(4):293−302.

15 白天翔,王帅,沈震,等.平行机器人与平行无人系统:框架、结构、过程、平台及其应用[J].自动化学报,2017,43(2):161−175.

16 WANG F Y.The emergence of intelligent enterprises:from CPS to CPSS[J].IEEE Intelligent Systems,2010,25(4):85−88.

17李力,林懿伦,曹东璞,等.平行学习-机器学习的一个新型理论框架[J].自动化学报,2017,43(1):1−8.

18 LIU T,TIAN B,AI Y,et al.Parallel reinforcement learning:A framework and case study[J].IEEE/CAA Journal of Automatica Sinica,2018,1(12):1−9.

19 HU X M,CHEN L,TANG B,et al.Dynamic path planning for autonomous driving on various roads with avoidance of static and moving obstacles[J].Mechanical Systems and Signal Processing,2018,100(2):482−500.

20 WANG F Y.Parallel control:a method for data-driven and computational control[J].Acta Automatica Sinica,2013,39(4):293−302.

21王飞跃.指控5.0:平行时代的智能指挥与控制体系[J].指挥与控制学报,2015,1(1):107-120.