车联网环境下智能驾驶系统人机交互的探究

摘 要：随着我国制造业的转型升级，汽车也随之向智能化、网络化的方向发展，汽车新技术的应用催生了新的汽车人机交互方式，由原来的中控仪表、简易按钮的方式转向生物信息技术、触控屏幕、语音、手势等新型的人机交互方式。对相关文献进行研究，重点从信息采集、信息反馈、人机交互关键技术、人机交互优化等方面总结技术成果及应用现状，分析了生物信息交互技术、触控屏幕交互技术、语音交互技术、手势交互技术的工作原理，并阐述了汽车人机交互的优化措施。

关键词：车联网 人机交互 智能车联 界面交互

智能网联汽车首次在《中国制造2025》中提出，随着汽车的智能化、网络化，传统汽车的人机交互方式也发生了改变，催生了新的驾驶方式和人机交互方式，打破了传统中控仪表、触摸屏的形式。人机交互也在原来的车载信息显示、非驾驶活动的基础上，新增了驾驶安全、车载应用程序、人机界面拓展、道路环境信息、人机控制权转换等内容。本文对相关文献进行研究，分析国内外车联网环境下智能驾驶系统人机交互技术研究文献，重点从信息采集、信息反馈、人机交互关键技术、人机交互优化等方面总结技术成果及应用现状。

1 信息采集

车联网环境下智能驾驶系统人机交互的数据采集来源于三方面，分别是对人类操作意图的信息采集、车身工况的信息采集和汽车周围环境的动态信息采集。如图1所示。

人机交互首要解决的问题是车机系统如何采集及识别人类的操作意图。车机对人类数据的采集，主要有生物信息采集、视觉数据采集、触觉数据采集及语音数据采集。生物信息采集人类的脑电波、心电图、肌电图和眼睛虹膜等生物电信号，并归纳、分析、表征这些生物电信号来获取人类的操作意图。其涉及的硬件包括可穿戴设备、生物电信号传感器等。视觉采集通过摄像头来捕捉人类的面部表情、动作姿态、眼睛运动等信息，包括了表情、手势、头部姿态、凝视等细微的信息，其识别的主要方法是通过深度学习等人工智能算法拟合出可以表征人类操作意图的模型，并通过模型预测的人类的操作意图。由于其需要大量的算力，因此预测精度、响应时间、硬件条件成为视觉采集与识别的关键因素。触觉采集利用人类手指触碰车机系统的触摸屏留下来的触碰轨迹，以识别人类的操作意图，而触摸传感器的分辨率和灵敏度决定了触摸的识别精度。语音采集是车机系统利用麦克风、语音芯片等采集人类的语音，并通过深度神经网络等自然语言处理技术，识别出人类的操作意图。由于汽车行驶在不同环境，对声源的定位、干扰信息的过滤、语音的分析理解是其关键的重点。

除了采集识别人类的操作意图外，还需要采集汽车本身的行驶数据和来自驾驶汽车的周围环境。采集汽车的行驶数据主要是通过汽车CAN总线技术采集汽车的发动机、底盘线控、蓄电池、电动机驱动等数据。采集汽车周围环境信息的方式主要有：应用雷达扫描车身周围环境；应用视觉摄像头监测汽车前后左右4个方向的静态环境及其动态的行人、车辆信息；运用车联网、云端等技术，共享道路交通信息、停车场的动态信息等。

2 信息反馈

基于车联网环境下的智能驾驶系统在采集并理解人类的操作意图后，通过自身的运算和决策，并将结果反馈给人类，从而完成人机交互。因此系统向人类进行信息反馈，也是人机交互的重要环节。除传统的仪表板、触摸屏显示外，其反馈方式还有：方向盘振动、平视显示屏、增强现实（AR）、语音助理等。

方向盘振动是指将人机交互处理的结果通过方向盘振动的方式反馈给用户，达到信息反馈的目的，SUC U等[2]通过方向盘振动的方式，协助盲人进行无人驾驶汽车转向控制。CHUN J等[3]为提高老年人的驾驶的警告效果，通过集成方向盘和安全带的触觉方式展开研究，取得较好的效果。

平视显示屏的英文为“Head Up Display”，也叫抬头显示器，其相当于一个投影设备，使用由红、绿两个LED组成的光源向TFT投影显示屏来投射信息内容，由于其显示位置在驾驶人平视的范围上，减少了低头查看其他信息的频率，对防止交通事故有一定的价值。刘春晖等[4]以宝马7系车为例，研究了平视显示屏的结构、安装位置及工作原理，对平视显示屏的普及起到一定的作用。林宇清[5]研究了奔驰S级平视显示屏的关键部件，以及如何将车速、导航信息显示在挡风玻璃上。赵洁[6]设计了一款智能汽车平视显示屏辅助驾驶系统，该系统基于人因工程学设计显示界面和显示内容，将警告和引导信息显示在前挡风玻璃上，实现了安全智能的体验。

增强现实（AR）是一种将虚拟信息与真实事物融合在一起显示的新技术。刘涛[7]阐述了基于增强现实技术的车机交互界面的设计优势，构建了新型系统沟通模型，为汽车交互设计奠定了坚实的基础。李德科[8]利用AR虚实结合的特点，构建基于城市的汽车场景，研究将车载信息与城市实景融合的交互要素及体验要素，取得显著的效果。王璐[9]应用增强现实技术提出一种汽车显示辅助人机界面，构建AR-HUD人机交互界面的信息模块，为进一步探索汽车显示系统提供了新思路。因此，通过增强现实技术，可以将虚拟信息叠加到真实世界中。在汽车中，增强现实技术可以用于导航、驾驶辅助和信息娱乐等领域，提高驾驶安全性。

3 人机交互关键技术

汽车人机交互的关键技术主要包括以下几种。

3.1 生物识别交互技术

生物识别技术如面部识别和指纹识别也被应用于汽车人机交互中。这种技术可以用于身份验证，以实现个性化的车辆设置和安全访问控制。生物识别系统一般由软件和硬件两部分组成。软件部分则负责处理和比对从传感器获取的数据，以进行身份识别。硬件部分通常包括传感器，例如摄像头、扫描仪等，用于捕捉和获取生物特征信息。

生物识别技术工作原理包含如下步骤。第一，生物特征的采集和获取：通过传感器，例如高分辨率的摄像头或扫描仪，捕捉和获取个体的生物特征，例如指纹、虹膜、人脸等。这些特征通常具有唯一性、稳定性、可测量性等特点；第二，特征提取和处理：软件部分会对获取的生物特征进行提取和处理。这一步骤通常包括噪声去除、图像增强等操作，以使生物特征更加清晰和易于处理；第三，比对和识别：经过处理的生物特征数据会被与数据库中的数据进行比对。比对通常使用算法和模式识别技术，例如指纹识别、虹膜识别、人脸识别等。如果比对成功，系统会确认个体的身份，并允许其访问或使用相应的资源。生物识别技术的工作原理基于人类的生物特征，这些特征通常具有唯一性、稳定性、可测量性等特点。通过比对这些特征，生物识别系统能够准确地验证个体的身份，并为其提供安全可靠的访问控制。

黄淦[10]应用脑电和肌电两种生物表面电信号研究人机交互的接口及算法模型，并通过试验证明了其有效性。黄文浩[11]为实现面部动作肌电信号的人机交互技术，分别从前额单通道的面部动作肌电模式识别算法，基于头部多通道的面部动作肌电模式识别算法研究人的面部动作，具有一定的识别精确度。由于生物识别技术对传感器的精度、识别算法要求较高，因此需要从这两方面深入研究。

3.2 触控交互技术

触控屏幕技术，又称为“触摸屏”，是一种可接收触头等输入讯号的感应式液晶显示装置，是现代汽车中常见的人机交互界面。通过触摸屏幕，驾驶员可以直观地操作车载系统，实现导航、音乐播放、电话拨打等功能。它由触摸检测部件和触摸屏控制器组成。触摸检测部件安装在显示器屏幕前面，用于检测用户触摸位置，接受后送触摸屏控制器。而触摸屏控制器的主要作用是从触摸点检测装置上接收触摸信息，并将它转换成触点坐标，再送给CPU。同时，它也能接收CPU发来的命令并加以执行。人们用手指或其他物体触摸安装在显示器前端的触摸屏，然后系统根据手指触摸的图标或菜单位置来定位选择信息输入。触摸屏可以取代机械式的按钮面板，并借由液晶显示画面制造出生动的影音效果。作为一种简单、方便、自然的人机交互方式，触摸屏赋予了汽车崭新的面貌，是极富吸引力的全新汽车人机交互设备。

薛遥[12]招募老年驾驶员，通过触摸屏采集他们的人机交互完成时间，构建线性回归模型，对导航设置、观看时速、拨打电话等动作进行分析，从界面、功能、交互3方面给出汽车人机交互的建议，取得较好的效果。王畅等[13]研究了新型全屏触摸屏对驾驶风险的影响，发现全触屏HMI交互界面的任务总时长、注视切换次数、视线离开前方总时间以及车道位置标准差的平均值有所增加，增加了驾驶人的视觉负荷，存在一定的风险。张惠等[14]为提高触摸屏的使用体验，研究不同人群对界面颜色的接收和偏好，发现红色系列颜色的图标适合油量、安全报警等标志，以蓝色系和绿色系为主的图标适合背景色彩、仪表灯及道路显示等标志。米良宇[15]针对老年人驾驶的生理、心理和认知水平，从老年人的视觉、认知、行为反应三方面探讨了老年人对触摸屏的驾驶负荷，并给出了相应界面适老化的设计模型和设计策略，在一定程度上降低了老年人的驾驶风险。可以看出，触控交互技术虽然丰富的汽车人机交互内容，但也给安全驾驶带一定的风险，在设计界面上需要在内容与安全风险平衡两者的利弊。

3.3 语音交互技术

通过语音识别技术，驾驶员和乘客可以通过语音与车辆内部的信息系统进行交互。只需简单说出指令或询问问题，系统就能准确理解并作出相应的响应。这种方式比传统的按钮操作更为便捷，使驾驶员能够更专注于驾驶，提高驾车安全性。触摸屏的应用丰富了汽车的中控功能，信息得到一定的扩展，但随着信息量的增加，给正在驾驶的驾驶员造成一定的干扰和负担，从而影响行车安全。语音交互则通过声音和听觉来达到人机交互的功能，可避免占用驾驶的双手或眼睛，从而保证了行车安全性。

语音交互系统主要由嵌入式系统的语音信号处理模块、本地和云端语音引擎、对话管理模块等部分组成。第一，嵌入式系统的语音信号处理模块负责接收用户语音以及相关的参考信号，通过信号增强将其分贝提供给本地和云端语音引擎来进一步处理。第二，本地和云端语音引擎，包括语音识别模块和语义理解模块，将分别处理用户语音并将识别结果返回给各自的对话管理模块。第三，对话管理模块则将根据识别结果来选择对应的操作，这包括了通过语音播报接口将处理信息反馈给用户、通过车辆控制接口或者云服务接口获取服务资源或者进入新的对话以获取更多信息。

在语音交互过程中，系统首先通过麦克风等传感器接收用户的语音信号，然后通过语音识别技术将语音信号转化为文本信息。接着，系统通过自然语言处理技术对文本信息进行语义理解和分析，提取出关键信息，如命令、请求、情感等。根据这些关键信息，系统进行相应的操作或生成相应的回复。

吴彦希等[16]针对车载语音系统与用户的信息交流，提出了一种交互设计策略，从内容、功能、形式、情感四方面构建汽车语音交互模型，对车载语音系统的交互和优化具有一定的参考意义。刘权等[17]为了给用户提供个性化的汽车交互体验，分析了语音交互链路、汽车场景自定义交互技术和主动交互技术，具有一定的参考意义。田喆等[18]为提高车载语音系统的用户体验水平，搭建了车载语音交互系统测试平台、设计了测试项和测试方法，保障了车载语音交互系统的有效性。张黎[19]从会话、视觉、情感三方面设计汽车语间交互系统，将语音控件分为必要控件、重要控件和公共控件进行设计，最后总结出设计模型和策略，具有一定的参考意义。由于语音交互不需要驾驶员动手操作，在一定的程序上降低了认知和操作负荷，在保障驾驶安全的基础上提升了人机交互的体验 。

语音交互需要应对各种挑战，如噪音、不同人的口音等；对自然语言进行理解和分析，如词法分析、句法分析、语义理解等；对收集到的声音进行处理，消除噪声和其他干扰因素，提高语音识别的准确性；结合语音、手势、触摸等多种交互方式，提供更丰富、更自然的交互体验；根据用户的语音习惯、偏好和需求，对语音交互系统进行个性化配置，提高用户满意度和忠诚度。因此，语音交互技术解决上述问题才能更好也提高人机交互的安全感和体验感。

3.4 手势交互技术

借助摄像头和传感器等设备，系统可以感知驾驶员或乘客的手势动作，并将其转化为指令。通过简单的手势操作，驾驶员和乘客可以轻松控制空调、音响、导航等功能，提供更便捷的操控方式。这些技术的结合使用，使得汽车人机交互更加智能、便捷和安全。

人机交互要解决的另一个问题是要降低认识负荷和保证行车安全。触控的交互方式容易吸引驾驶员的注意力，从而影响行车安全，而手势识别技术在不依赖附加设备的情况下，利用摄像头或传感器对人体手部运动进行捕捉分析，从而判断人类意图的一种全新交互技术。手势交互的摄像头或传感器位置可布置在前挡风玻璃、仪表板或车顶上。

其工作原理包含四个步骤：第一，手势输入模块：这是手势交互的第一步，包括一个或多个传感器，如深度摄像头或红外传感器，用于捕捉和获取手势信息，用户在车辆内部的特定区域做出手势，传感器捕捉这些手势并将其转换为数字信号。第二，手势识别模块：这是系统的核心部分，负责对手势进行解析和识别。它将捕捉到的数字信号被送入手势识别模块，通常利用机器学习算法和预先训练的模型来识别不同的手势，对手势进行解析和分类。例如，不同的手势可能代表调整音量、切换电台或导航到特定地点等操作。第三，指令执行模块：一旦识别出手势，该模块就会根据预设的规则或逻辑，向车辆的各个子系统发送控制指令。例如，如果识别出手势是“增大音量”，指令执行模块就会调整音响系统的音量。第四，反馈模块：当指令被执行后，系统会通过声音、灯光或图形界面等方式向用户提供反馈，确保用户知道自己的手势已被识别并转化为相应的操作。例如，当用户做出“导航回家”的手势时，系统可能会在仪表盘上显示家的方向，并通过语音告知用户已开始导航。

汽车手势交互的优点在于其自然性和直观性，使得驾驶员在行驶过程中能够快速、准确地与车辆进行交互，从而提高驾驶的安全性和便利性。随着技术的不断发展，我们可以预见汽车手势交互将会在未来发挥更大的作用。

李伟丽[20]基于车载手势设计样本图集，提出了用户参与式手势的设计方法和评估流程，通过用户访谈、卡片分类法，最终定义了一套可用性较高且用户满意度较好的车载手势集。周叶凡[21]提出了一种基于计算机视觉的双流卷积交互神经网的驾驶手势识别算法，并利用驾驶员的拿食物、手机、文件等图像数据进行目标检测训练，检测精确度达到87.5%，有效实现车内导航、娱乐应用、车内环境调节等控制。刘林[22]通过手机摄头采集车内手势图像数据集，使用MobileNet网络训练该数据集，手势识别率达到96.4%，有效实现了车内驾驶舱场景内的手势识别系统。手势交互技术一般为基于传感器的手势交互和基于计算机视觉的手势交互，由于基于传感器的手势交互存在传感精确度、交互距离、容易受干扰的问题，基于计算机视觉的手势识别技术具有成本低、识别率高等优点，所以手势交互技术有向基于计算机视觉手势交互的方向发展。

4 人机交互优化

为了优化汽车人机交互，可以考虑以下几个方面。

首先，要注重用户界面设计。设计应简洁明了，提供的功能和信息应一目了然。在界面布局和交互方式上，应充分考虑驾驶员的认知和行为习惯，使操作更加符合驾驶员的使用习惯。其次，语音识别技术是提高驾驶安全性的重要手段。通过提高语音识别的准确率和响应速度，可以减少驾驶员在行驶过程中进行操作的时间和精力，从而更加专注于驾驶。此外，手势识别技术能够提供更加自然、直观的人机交互方式。通过对手势的识别和响应，可以实现车辆控制、导航、多媒体控制等功能，提高驾驶的便捷性和舒适性。同时，智能感知技术的应用也是必不可少的。通过摄像头、传感器等设备获取车辆周围的环境信息，并进行处理和分析，可以实现自动驾驶、自动泊车等功能。这不仅能够提高驾驶的安全性，还能减轻驾驶员的负担。另外，人机协同也是优化汽车人机交互的重要方向。通过建立人机协同的交互方式，可以实现驾驶员和车辆之间的紧密协作，提高驾驶的安全性、舒适性和效率。最后，用户体验也是评价人机交互质量的重要指标。通过用户调研、反馈等方式获取用户对人机交互的评价和建议，针对问题进行优化和改进，可以不断提升用户体验，提高用户满意度。

总之，汽车人机交互的优化需要从多个方面入手，包括用户界面设计、语音识别技术、手势识别技术、智能感知技术、人机协同和用户体验等方面。通过不断改进和创新，可以提升驾驶的安全性、舒适性和效率，为用户带来更加便捷、智能的驾驶体验。

5 结语

汽车人机交互是是驾驶员操作汽车的必不可少的环节，智能网联环境下的汽车更离不开人机交互技术，本文从人机交互的信息采集、信息反馈、关键技术及优化策略等方面探讨了汽车人机交互技术的相关工作原理。分别从对人类操作意图、车身工况和汽车周围环境等进行信息采集分析，从方向盘振动、平视显示屏、增强现实（AR）、语音助理等方面阐述了信息反馈的方式，详细分析了生物识别交互、触控交互、语音交互、手势交互等技术的优缺点和工作原理，最后提出了一些人机交互技术的优化策略，为汽车人机交互技术的发展提供一定参考。

基金项目：广东省普通高校特色创新类项目“车联网环境下智能驾驶系统人机交互的优化设计”（2023KTSCX220）。

参考文献：

[1]黄淦. 生物表面电信号建模、分析及其在人机交互中的应用[D].上海：上海交通大学，2013.

[2]SUCU B，FOLMER E. The blind driver challenge：steering using haptic cues[C]//Proceedings of the 16th international ACM SIGACCESS conference on Computers & Accessibility.New York，N.Y.，USA：ACM，2014：3-10.

[3]CHUN J，LEE I，PARK G， et al.Efficacy of haptic blind spot warning applied through a steering wheel or a seatbelt[J].Transprotation Research Part F：Traffic Psychology and Behaviour，2013，21：231-241.

[4]刘春晖，魏金铭.新款宝马7系平视显示屏HUD技术剖析[J].汽车电器，2014（07）：29-32，36.

[5]林宇清.奔驰S级平视显示功能[J].汽车维修与保养，2017（12）：69-71.

[6]赵洁.新型智能汽车平视显示屏辅助驾驶系统设计[J].内燃机与配件，2020（24）：218-219.

[7]刘涛.基于增强现实技术的车机交互界面设计研究[D].沈阳：鲁迅美术学院，2023.

[8]李德科.基于汽车场景库构建的AR-HUD交互设计研究[D].上海：华东理工大学，2022.

[9]王璐.基于增强现实的汽车驾驶交互显示系统设计研究[D].沈阳：沈阳航空航天大学，2022.

[10]黄淦.生物表面电信号建模、分析及其在人机交互中的应用[D].上海：上海交通大学，2013.

[11]黄文浩.基于面部动作肌电信号的人机交互研究[D].杭州：杭州电子科技大学，2020.

[12]薛遥，江月亭，汪善平.汽车人机交互界面的适老化设计研究[J].机械设计，2023，40（S2）：220-225.

[13]王畅，张岩，赵晨，等.新型全触屏人机交互模式对驾驶风险的影响特性[J].科学技术与工程，2023，2765432af01069c452e966d5abbb98781e016c5e1f7668ba34b518b29a07ed7d23（22）：9673-9679.

[14]张惠，聂志玲，肖宏伟，等.无人驾驶汽车智能座舱人机交互界面色彩设计[J].吉林大学学报（工学版），2023，53（05）：1315-1321.

[15]米良宇.基于认知负荷理论的汽车人机交互界面适老化设计策略研究[D].郑州：郑州轻工业大学，2023.

[16]吴彦希，杨随先，刘行.汽车语音交互模型及设计策略[J].包装工程，2022，43（10）：73-79.

[17]刘权，徐伟，李深安.汽车智能语音发展趋势：从被动到主动的交互升级[J].汽车电器，2021（10）：5-8.

[18]田喆，窦汝鹏，赵猛，等.车载语音交互系统测试方法研究[J].中国汽车，2021（07）：44-51.

[19]张黎.面向语音交互的车载人机界面交互设计研究与应用[D].北京：北京邮电大学，2022.

[20]李伟丽.面向新能源汽车的手势交互界面设计研究[D].成都：西南交通大学，2022.

[21]周叶凡.驾驶场景下基于深度学习的手势识别技术研究[D].合肥：安徽大学，2022.

[22]刘林.基于深度学习的手势识别算法及系统实现[D].西安：西安石油大学，2023.