复杂情境下远程驾驶设备设计与研究

曾恩、黄充

（江西制造职业技术学院，南昌 330095）

0 引言

当前远程驾驶技术已经得到了广泛的应用，如Waymo、百度Apollo 和文远知行等将远程驾驶技术用于自动驾驶出租车上[1]，朱剑等研究了远程驾驶的环卫车[2]。山东实景互动网络科技有限公司开发的实暻飞车将远程驾驶技术用于旅游观光及娱乐，王远渊等将远程驾驶技术与船舶进行结合[3]。孙自昌采用远程驾驶无人机对高压输电线路检查[4]。李晓腾对无人驾驶压路机进行了设计[5]。冯兵兵研发了一套农机装备远程驾驶控制系统[6]。姚寿文等对坦克车辆远程驾驶技术进行了论述[7]。从应用上来看，目前远程驾驶技术已经在生活、娱乐、工业、农业和军事等方面落地。

但目前研究都集中于远程驾驶设备功能和性能方面的提升，都忽略了人在远程驾驶中的重要作用。当遇到非结构化道路以及复杂情境时，现有远程驾驶设备不能实现精准控制，往往出现翻车或不能通过等现象。将人的主动性与远程驾驶进行结合，利用人的反应、知识和经验能力等反馈到车辆的运动上，可以提高远程驾驶的能力和适用性。

1 项目简介

项目所研究为一种基于5G 通信能适用于复杂情境的远程驾驶设备。复杂情境包括非结构化地形以及复杂情形，为将远程驾驶设备用于此类场景中，需要人通过远程驾驶的方式，根据所接收到的车辆现场感知信息进行精准操控。操控者在面对复杂情境时能快速反应，并做出相应判断和动作。而且在非结构化道路中，如狭窄、陡峭和涉水路段时，车辆通过性需要根据不同地形进行调整，因此还需要设计具备全地形通过能力的车辆底盘，通过远程操控调节车辆底盘结构，实现对现场地形的适应。

本研究通过远程驾驶结合与5G 通信技术，可以有效实现远程遥控车辆，在高危和恶劣环境中，工作的安全和效率得到大幅度提高。将其应用于巡查等方面，例如在果园、林区等相关区域，可以提高巡检效率和降低灾害风险；将其应用于矿山、油田等区域，可以在对盲炮等不确定风险进行有效排除；将其应用于救援救灾的前期探查中，可以快速判断事故灾害的发生原因。本研究在为提高救援效率、降低人员风险和保障人民财产安全上起着重要作用。

2 项目方案

2.1 设计分析

当前远程驾驶之所以不能适用于复杂情境中，一方面在于通讯延迟较高，车辆不能及时进行反应；另一方面在于人无法感知到车辆的运动状态和周边情境，某些情况下车辆的底盘结构不能通过复杂地形。因此要实现人在远程驾驶中的精准操控，必须将车辆的运动状态和周边环境实时准确地反馈给驾驶员。本项目采用5G 远程通信和相关算法来降低通讯中的延迟，采用头追头显形成主动视觉提供驾驶员视角，采用六自由度运动平台和姿态反馈技术提供体感反馈。

2.2 总体方案设计

该远程驾驶设备由远程控制系统和车载控制系统两大模块组成。远程控制系统包括转向、加速和制动等操作系统，以及视觉和运动反馈系统。操控人员可以通过视觉感知系统实时感知车辆周边环境，运动反馈系统可以实时复现车辆运动状态。车载控制系统包括车载通信系统、执行系统、车辆运动和环境感知系统（图1）。

图1 远程驾驶设备设计方案示意图

远程驾驶设备的总体控制策略为：操控人员的操作下，远程驾驶控制系统通过5G 通信技术远程控制车辆端，其中包括小车的行驶功能和视角调节功能；车辆端将视景信息和运动姿态以及执行情况反馈给远程驾驶控制系统。远程驾驶控制系统接收车辆传递的信号，并通过运动平台和头显眼镜复现车辆运动和视景情境，让操控人员在远程驾驶控制端能够根据车辆实际情况进行精准操控。

需要说明的是，该项目目前处于阶段性研究中，该远程驾驶设备在后期开发中，还要对车辆底盘及控制系统进行设计。这是为了使其在复杂的非结构化地形具有良好通过性，从而让远程驾驶更好适应于复杂地形和场景。

2.3 方案技术实现方式

2.3.1 远程控制端组成

远程控制端主要包含远程驾驶舱、显示系统和后台服务器3个模块，主要功能是将驾驶员的头部动作信息和驾驶操作信息转换为相关信号发送给车载执行端，实现对车辆的操控。另外车载端传输回的视频信息显示在显示屏和头显系统中，传回的车辆姿态信息通过伺服电动缸进行反馈。车辆的执行信息通过方向盘、加速和制动进行反馈，驾驶员根据反馈的多种感知信息进行精准操作（图2）。

图2 远程驾驶控制系统

显示系统采用了三联屏结构，屏幕与后台服务器的接口用以太网和公网进行连接，从而展示服务器中运行的远程驾驶车端视频和车辆信息。

远程驾驶舱要实现转向、加速、制动和姿态反馈的功能。其主要零部件包括伺服电动缸、方向盘、加速和制动踏板以及信号采集系统。六自由度运动模拟器通过模拟位置、速度和加速度这3 个参数并进行叠加，从而近似模拟出车辆的真实姿态。操控人员根据显示系统上显示的车端回传视频与舱内车辆姿态体感对远端车辆进行操作。

驾驶端的后台服务器需要与远程驾驶舱、显示系统基于以太网连接，并通过具有固定IP 地址的专线连接运营商核心网，与车端基于5G 数据通道进行数据交互。

2.3.2 车载执行端

车载执行端主要包括车载视频系统、车辆执行系统和姿态传感器。

2.3.2.1 车载视频系统

车载视频系统包括摄像头、视频处理系统。在车辆的顶部装载有舵机云台和摄像头，以便提供更真实的主动驾驶视野。舵机云台可以全方位跟随驾驶员的头部运动进行转动，摄像头在舵机云台上运动，为驾驶员提供操控视野并跟随人的注意力形成聚焦，从而更良好地观察行驶过程中路面和周围环境情况。

摄像头所观察采集到的视频图像数据要及时传递到远程控制端，就需要在车载执行端通过视频处理系统对图像进行量化、采集、编码和压缩处理。视频处理系统的硬件采用英伟达NX 控制器，处理后的信号通过5G 上传到云端再传入远程控制端。

2.3.2.2 车辆执行系统

车辆执行端上搭载的执行器主要包括转向、加速和制动控制执行器。转向控制执行器由转向电机、方向盘、啮合带传动机构和转向电机控制器组成。车辆接收到转向信号时，转向控制器把方向盘转动的角度转换为PWM 控制信号对转向电机进行控制。转向电机带动带轮及啮合带进行转动，啮合带与方向盘下端固定连接的带轮一起转动，从而实现转向的控制。

车辆的加速由车辆执行端的舵机驱动踏板，踏板动作带动传感元件进行移动，所移动的距离转换为相应的电压信号，再经过数据转换计算为踏板的角度变化值。车辆的减速动作是通过线控制动的方式实行。当制动踏板踩下后，位置传感器感知到踏板的位移，通过电信号发送给电动泵，然后产生压力对汽车进行制动。

2.3.2.3 姿态传感器

车载端所采用WITJY901s 姿态传感器，可以精准地测量出车辆三维运动姿态，基于四元数传感器数据算法进行运动姿态解算，实时输出零漂移三维姿态数据，再经过5G 通信进行传输，发送到服务器，经六自由度运动平台对姿态进行复现。

2.3.3 通信技术

设备采用了Socket 套接字通信技术、PID 算法与USB 抓包技术结合。Socket 作为UNIX 的进程通信机制，可以实现不同虚拟机或计算机之间的通信。UDP 协议没有繁琐的三次握手建立连接过程，在远程控制这种要求实时响应的场景中有较好的传输效果。PID 算法可建立精确模型的确定性系统。USB 抓包技术首先将驾驶模拟器与电脑通过USB 接口连接，当操作驾驶模拟器进行相应的驾驶动作时，通过Bus Hound 软件对驾驶模拟器输出信号进行抓取。通过上述技术的结合应用，系统可以快速分析确定驾驶模拟器输出数据的规律，实现了车端与驾驶端之间数据传输在200 ms 以内，高清视频传输在250 ms 左右。

2.3.4 主动视觉的形成

主动视觉主要由头追和头显组成的头显系统提供。远端控制系统中驾驶员的头部运动姿态经过解码计算，然后发送给车载执行端的控制系统，各种控制信息通过模块接受并解码，转换成PWM 信号输出给舵机，从而控制舵机的转向和俯仰，挂在舵机上的摄像头随地面遥控信号动作。车辆上的摄像头随着地面控制人员的头部运动而运动，再将摄像头中传来的图像信息，进行字符叠加，再通过5G 通讯技术及图传模块传送到远端控制系统接收。远端控制系统接收模块的图传信息后，在操控人员所戴的头显系统中显示图像，实现感知并接收车辆运动时的驾驶员视觉（即主动视觉）。驾驶员可以主动观察车辆周围环境情况并聚焦目标。

3 技术优势

通过以上技术方案，该项目远程驾驶设备采用先进通信技术，可以有效减少数据传输过程中的延迟，从而实现各种运动的同步。在运动同步的基础上，结合头追头显技术形成的主动真实视觉和运动平台模拟的真实体感，将视觉和体感进行交互，从而实现对车辆的远程精准控制。这意味着在复杂道路环境中，可以将人的经验、知识、能力以及主动性，与车辆的控制良好结合，达到人机共融的效果。通过实践验证，该设备可以解决各种复杂道路工况条件下，现有远程驾驶技术根本无法通过和控制的难题，从而为高危和恶劣环境中的巡检侦察等用途提供有效解决方案。

4 结束语

市场上的设备目前都未有将姿态反馈技术和主动视觉融入于远程驾驶中，应用场景都是较为简单的操作和良好的道路工况，所控制车辆只能进行简单的前进后退等动作。当面对复杂情境时，驾驶员不能精确感知到车辆的状态，也就无法通过复杂路况，容易出现翻车等意外。本远程驾驶设备通过采用主动视觉和姿态反馈，实现远程驾驶的人机共融，满足在非结构化道路和复杂情境中的精准控制，可以在森林、果园等的日常巡检中、各类救援救灾的前期探测中、矿山的爆破等危险情况的侦察中进行良好的应用。因此将远程驾驶技术用于复杂地形和情境，具备重大经济价值和社会价值。目前项目组的一套初期产品已在电子科技大学高等研究院进行交付使用，得到了良好的反馈评价（图3）。

图3 异地控制车辆