智轨电车人机交互技术研究

彭 桢，陈小玄，李一叶，白 云

（中车株洲电力机车研究所有限公司，湖南 株洲 412001）

0 引言

智轨电车集成了各种类型的应用系统，主要包括提供能源的电池系统和辅助电源系统、提供动力的牵引系统、提供安全保障的制动系统等，在其运行过程中需要人机交互系统来对整车状况进行展示，并对部分系统实现控制。

在人机交互系统设计方面，轨道交通行业偏向传统工业化设计，其美观性和实用性会有所折扣；现代汽车行业的设计与智轨电车新型交通工具的特性又有些不符。为此，本文结合二者的特性，研发出了一套适用于智轨电车的人机交互系统。该系统主要是按照信息特征差异化与功能优先级来进行分布设计，将智轨电车的智能特性和科技前沿的功能体验通过专业设计的交互界面展现出来。

本文对智轨电车人机交互系统进行了较为详细的介绍，主要包括人机交互系统的整体架构、主要技术点和主要功能，最后对智轨电车人机交互系统迭代升级的趋势进行了展望。

1 智轨电车智能人机交互系统结构

智轨电车人机交互系统结构如图1所示。其智能交互与显示控制装置采用1024×768像素的显示模块，并支持触摸屏输入功能；CPU核心模块内嵌智能人机交互功能，包括人脸图像识别、司机疲劳监测算法、语音识别功能及文本转语音输出等；通过外接红外摄像头和拾音器，可进行智能人机交互数据的采集和输入，通过外接喇叭，进行智能人机交互识别结果的声音输出；通过以太编组网交换机（Ethernet consist network exchanger,ECNN）模块，一方面可介入整车以太网编组网，从环视视频采集系统获取360°车身环视视频信号流，实现车身前后路况及360°环视视频监控功能，另一方面，可从整车网络控制系统获取并整合各子系统的运行状态及关键信息，实现综合显示监控功能，对其他系统的控制功能也经由整车网络控制系统转发出去。

图1 人机交互系统架构图Fig.1 Structure diagram of the human-machine interaction system

智轨电车人机交互系统应用界面总体结构如图2所示，主要包括主界面及车辆状态、空调状态、牵引封锁、运行区间、故障记录、紧急广播、图标帮助、车辆维护和在线充电等重要模块。其中，车辆状态模块又包含了9组重要的独立界面，即整车网络拓扑的通信状态、制动系统、控制系统、辅助电源系统、电池系统、胎压系统、转向系统、高压拓扑和IO数据界面。

图2 系统应用界面架构图Fig.2 Application interface structure diagram of the human-machine interaction system

2 人机交互技术

智轨电车人机交互系统采用一种功能强大的PLC软件编程工具—CoDeSys进行开发，CoDeSys支持IEC 61131-3标准；其数据传输采用列车实时数据通信协议（train real-time data protocol, TRDP）。TRDP协议被用于轨道交通实时以太网络,保障了智轨电车整车网络中数据传输的实时性和可靠性。

智轨电车人机交互系统应用界面采用深色背景为主、多种色彩为辅的设计风格，其中红色为报警状态，黄色为警告提示，绿色表示正常，蓝色为激活状态，灰色表示禁用状态。在界面设计时，同类信息在同一区域显示，强相关性的信息宜放在相邻区域，并结合操作者角色和功能使用频度等因素进行功能模块的划分，以多种形式展现在人机交互界面上，使应用界面更加整洁、有序；同时，重要信息要素直接展现在主界面上，让驾乘人员一眼就能看到整车系统健康状况，非常直观、方便。

智轨电车人机交互系统作为智轨电车控制系统中的重要部件，其核心功能主要是信息显示与控制输入、语音识别、司机疲劳监测等，下面将概述这些核心功能的设计原理和应用情况。

2.1 疲劳监测功能

疲劳监测主要是利用摄像头实时采集驾驶员驾驶过程中的面部特征、眼部信号、头部运动性等变化的视频信息并进行记录分析，通过计算机图像识别技术判断驾驶司机是否存在疲劳驾驶的情况并及时通报司机和指挥中心，从而最大程度地对疲劳驾驶这种危险行为进行有效提前预警。

司机疲劳程度的判定指标一般选择PERCLOS[1-2]，见式（1）。由此可见，从监测视频序列中准确地提取驾驶员眼睛开合程度是最重要的。

在智轨电车驾驶员驾驶过程中，人机交互界面实时播放摄像头采集到的驾驶员面部表情和眨眼频率信息，通过对视频数据逐帧分析并提取有效图像，利用前期提取的特征点来准确定位驾驶员眼睛部位，并截取眼部图像；针对每只眼睛，选取眼角特征点并在相应区域进行简单扩展，同时通过均值滤波的方式来减小检测中的噪声影响，得到原始眼部图像；对获取的眼部图像进行直方图均衡处理，以去除光照的影响，从而得到用于检测眼睛开闭程度的标准化图像。从标准化的眼部图像中提取方向梯度直方图（histogram of oriented gradient,HOG）特征，利用训练出的分类器模型对眼部图像进行检测并给出开、闭眼概率；通过滞环比较并结合相邻若干帧内的识别结果进行平滑滤波，从而得出本帧检测结果；最后结合一段持续时间内的逐帧检测结果，得出驾驶员的疲劳程度结果。对疲劳驾驶程度较低的司机，将在人机交互界面上通过图标进行提示；对中等程度或以上疲劳程度的驾驶员，将通过声光报警的形式来进行警示，即状态图标闪烁并发出类似“嘀...嘀...嘀...”或者“危险-危险”的提示声音[3]。

智轨电车疲劳监测功能主要分为人脸图像采集及检测、图像预处理、图像特征提取以及疲劳监测模型训练4个部分，如图3所示。通过红外摄像头采集到驾驶员的人脸信息，并对图像进行预处理，如图像的平滑、增强、恢复和滤波等；在模式识别中，需要进行特征的抽取和选择，如眨眼频次、打哈欠频次等特征信号，然后通过训练出的疲劳监测模型进行匹配和识别，得出疲劳监测的结果[4]。

图3 疲劳监测原理图Fig.3 Schematic diagram of fatigue monitoring

2.2 语音识别功能

语音识别（automatic speech recognition, ASR）是一种由计算机通过所建立的神经网络模型，经过识别和理解过程把语音信号转化成为相应的文本或者命令的技术。目前，语音识别功能在车联网方面得到了广泛的应用，智轨电车上的应用主要有语音激活和语音控制等。

语音激活功能是通过驾驶员述说关键词来激活语音识别模块，使显示屏界面状态图标转变为激活状态；在语音激活状态下，述说界面关键词可以进行界面跳转，比如当操作员讲出“车辆状态”后，显示屏交互界面将自动跳转到车辆状态界面。

语音控制功能是通过讲述完整性操作命令语句来对车辆进行操作，如讲述“空调温度降低2 ℃”，系统将自动完成车辆空调降低2 ℃的设置操作；讲述“拨打电话给主控制室”，系统将自动连接通话到智轨控制中心等。这些操作将减少驾驶过程中司机手动操控时手离方向盘类危险行为的发生次数，提高驾驶过程的安全性。

语音识别功能在智轨电车上得到推广应用，并在现有的语音操作和语音识别的基础上新增了语音注册登录等功能。通过采集用户的声纹信息来进行声纹注册并设置相应用户权限，使采用声纹登录的驾驶员才能正常驾驶操作对应的智轨电车，通过声纹登录的维保人员可以访问相应权限的界面进行操作。通过文字转语音技术，可以很方便地进行语音广播，而不需要通过专业的播音人员进行语音文件的录入，节省了资源成本，同时也降低了人机交互系统的开发难度；再者，还可以对播报语音的音色、音调及语速等要素进行配置，使所播放的语音能够适应更多的场合。

目前主流的语音识别方法是统计建模[5]。语音识别系统主要由前端处理、声学模型、语言模型及解码器4个模块组成，如图4所示。解码过程主要利用训练出的声学模型和语言模型，通过搜索比较得到最佳的输出序列。经过前期处理，提取出语音序列中的语音特征并将其作为声学模型的输入。声学模型整合了声学和发声学的知识，将输入的可变长特征序列转化为声学模型的分数。语言模型的输入主要是文本，通过该模型学习文本中词与词之间的关系，预估词序列的可能性。在路径搜索过程中，语言模型帮助声学模型对文本路径做出更准确的判断。对给定的特征向量序列和若干假设词序列，解码器分别计算声学模型的分数和语言模型的分数，并将总体分数最高的词序列当作识别结果。

图4 语音识别原理图Fig.4 Schematic diagram of speech recognition

在语音识别系统框架建立后，最主要的工作是采集数据并进行标注。对于不同的语言种类，需构建不同的语音数据库，并依据建立的语音数据库训练出不同的模型来实现不同语言种类的语音识别[5]。

2.3 车身环视集成显示功能

传统基于图像的倒车影像系统只在车尾安装摄像头，只能涉及车尾周围有限的区域，无法覆盖车辆周边和车头的盲区，这无疑增加了驾驶的安全隐患；而对于长度超过30 m的智轨电车而言，这根本不能满足需求，为扩大驾驶员视野，就必须感知360°全方位的车身环境。智轨电车车身环视功能将车身周围一定范围内的物体直观地呈现给驾驶员，显著减小视觉盲区对驾驶安全的影响，为智轨电车在转弯、乘客上下车及低速行驶等特殊情况下的驾驶提供保障[6]。智轨电车车身环视界面如图5所示。

图5 车身环视界面示意图Fig.5 Schematic diagram of the surround view visual interface

智轨电车车身环视集成显示功能是采用在车身周围架设能够覆盖车辆周边所有视场范围的多个广角摄像头，对同一时刻采集到的多路视频影像处理成一幅车辆周边车身俯视图并在交互界面上进行实时展示。驾驶员通过查看车辆周边环境，同时结合车载雷达信息，可以实时掌握车辆周边障碍物的相对位置和距离；在车辆转弯、乘客上下车及低速行驶等情况下，显示屏将自动弹出环视监测界面，可以有效提高驾驶员遇到紧急情况时的判断能力，从而提高驾驶过程的安全性。

车身环视集成显示功能直观展示了智轨电车车辆周边情况，可以让驾驶员根据观察到的车辆周边情况从容地操作车辆，有效减少剐蹭、碰撞、陷落等事故的发生；同时将监控视频实时存储，在不小心发生剐蹭、碰撞等事故时，可以通过回溯历史视频来对事故原因进行分析，有效减少后续相同事故的发生。

2.4 综合状态展示功能

智轨电车人机交互系统中综合状态展示功能主要是基于对整车各子部件状态数据的采集，然后以图标、数值、进度条、文本标签等形式展示在人机交互界面上，以方便驾驶人员实时掌握整车的运行状态。其信息展示界面有以下两类：

（1）在主界面上呈现行车过程中需重点关注的状态信息，如图6所示。以直观的文字信息展现终点站、下一站、驾驶模式、时间等基本信息；以条形控件来展现电池电量情况，并根据电池电量的数值差异以不同颜色进行展示，蓄电池电量低于总电量的30%时将展示为红色以起到警示作用；参考轨道交通和汽车行业的设计经验，设计相应的图标，形象直观地展示车灯状态、充电状态、辅助驾驶状态等；在车厢分布图中，以图标形式分别展示车厢中各子部件分布情况和当前状态，如车门状态、辅助电源状态、无轨导向状态及制动状态等；车厢分布图下方区域是紧急故障提示，将展示出当前车辆最紧急的故障信息。

（2）智轨电车整车各子系统的关键数据信息，其根据业务需求和相应特点进行设计并以独立界面进行展示。其中整车网络通信状态以拓扑图的形式来展示；电池系统的关键数值状态以表格分区形式来展示；根据智轨电车模型中轮胎的分布来展示胎压系统的胎压状态数值；以仪表盘的形式来展示转向系统中铰接盘角度偏移状况等。

总之，在整车状态综合展示方面，智能人机交互系统能根据各子系统的特征，设计特定的展现形式，让数据展现更加直观；同时参考了轨道交通行业的界面设计和施工经验，让综合状态展示功能符合轨道交通行业的标准。

2.5 控制输入功能

智轨电车人机交互系统控制输入功能主要用来实现空调系统控制、乘客信息系统控制、在线充电控制、校正时间控制及基本设置等。为使控制输入功能操作便捷，在界面设计时均采用简单的组件实现，如使用按钮组件来实现控制功能的输入或者解除，以单选框或者复选框组件来实现设置项的选择。控制信号多数以脉冲信号、少部分为电平信号的形式反馈到整车网络控制系统，然后由整车网络控制系统下发指令到相应的子系统完成对整车各子系统的控制；同时，为了降低驾驶员或维护人员的使用难度，在较为复杂的控制输入功能中会使用特殊颜色的文字标签作为引导，指导司乘人员逐步进行操作，实现友好的人机交互。

在空调系统控制上，为了简化操作，可以通过一个按钮来实现单节或多节车厢空调的同步设置。针对乘客信息系统控制，可进行线路和站点的设置，并支持手动控制站点的跳站及广播播放。对于在线充电控制，可通过无线WiFi控制受电弓完成供电系统充电操作。在校正时间控制方面，选取不同的时间维度进行设置，对设置的数值会进行初步验证，验证不通过，将会以红色警告文字信息进行提示；验证通过后才能进行时间设置，并通过整车网络控制系统同步以校正各个子系统部件的时间。在基本设置方面，不仅能够对车号进行设置，还能对显示屏的显示亮度、外接喇叭的声音大小进行控制。

智轨电车整车部分子系统控制输入功能设计参考了汽车行业的图标设计风格，并结合智轨电车的特点，设计出个性化的图标，让智能人机交互系统更加贴合实际生活应用。

3 发展展望

为了简化系统，智轨电车人机交互系统与信号系统、车载视频监控系统、电台通信系统等进行统一融合。由于系统融合中涉及到的展现信息具有多样性和复杂性，同时也有部分内容存在冗余，因此需要对其界面和展示内容方面进行重新规划设计，并需要通过更大分辨率的显示屏来进行更加细致化地呈现。

为了实现更加合理的布局、更多智能的应用及更加新潮的人机交互体验，对智轨电车人机交互系统的改进将从以下3个方面进行优先考虑：

（1）从优先级和功能相关性进行优先显示和布局。对于信号系统中的车辆定位、站台安全门的控制、信号优先策略控制等重要信息，需要优先直观地体现在主界面上；利用车载监控视频信息将车厢内部的实时监控视频流以四画面、单画面形式播放，并可以根据摄像头分布情况查看相应位置的监控视频，但这需要在人机交互显示屏中占用大量显示区域和资源；利用电台通信信息，实现车辆之间、车辆与控制中心之间以语音、短信等形式进行的通信，可以像智能手机一样设置一键拨号功能，直接拨号至指挥调度中心。以上设计同时需要综合考虑网络通信和资源分配等问题。

（2）增加更多智能化的应用。如人脸注册、登录将以人性化设计进行展示，能实时监测和识别驾驶员是否为拥有此车驾驶和操作权限的人员；提前做出安全制动等措施，保障车辆驾驶安全；声音操控能更好地体现声音交互的动态化，通过声音识别来进行快速联络、快速操控，从而有效减少行车过程中司机的手动操作次数；对于手势识别，将常用的手势图标设计成半透明式，匹配识别时将更加现代化；智能方向盘在保证方向盘正常操作的同时，能实现车载显示屏常用界面跳转操作和简单控制等功能；抬头显示（head up display，HUD）将影像通过前挡风玻璃投射到距离人眼7~8 m的位置，使司机在行车过程中不需要低头观察车载显示屏即可查看车辆重要信息，如速度、转向、重大故障等，从而提高行车的安全性。

（3）更新潮的人机交互体验。智轨电车智能人机交互系统设计需紧跟汽车行业发展潮流，采用分辨率为2560×1024的显示屏来呈现，如借鉴特斯拉的大屏中控显示；采用汽车产业工业化设计理念进行设计，为驾驶员和维保人员提供更方便、更美观的交互界面（图7）。

图7 未来智轨电车人机交互显示界面示意图Fig.7 Schematic diagram of the prospective HMI interface for autonomous-rail rapid tram

4 结语

在长达两年多的智轨电车运营过程中，智轨电车人机交互系统得到了驾驶员和维保人员的一致好评，尤其体现在协助快速定位和解决实际问题方面。如在通信状态界面，可一目了然地观察车辆子部件的通信故障，方便维保人员缩小故障排查范围，快速定位故障源并修复；通过与现场人员保持紧密沟通，不断对系统进行优化升级，简化了复杂的操作，如充电过程中减少充电架定位操作，让充电操作更加简洁方便；人机交互界面也更加人性化，如对整车所有车厢空调分开控制，使司机的空调体验更加人性化等。通过不断优化升级中，智轨电车人机交互系统日趋完善，功能越来越强大。