汽车智能座舱多模态人机交互设计研究综述

摘 要：目的：如今在智能化、信息化、互联通信数字技术迭代加速的时代背景下，汽车人机交互关系已从互相独立的物理仪表交互关系迈向场景化的多屏、多模态交互关系。传统的汽车人机交互设计已不能满足出行场景下人们对于智能座舱的多样需求。本文通过研究总结目前关于汽车多模态交互设计的文献概况，梳理汽车交互设计的发展历程并从多模态设计的设计原理、基本技术和评估方法进行整理归纳。结果：通过对文献研究，总结出目前汽车座舱交互设计在新时代背景下的局限，与汽车交互设计向多模态交互设计发展的未来趋势。结论：目前智能座舱多模态人机交互设计面临着没有系统化的设计规范原则和多感官资源调度，该如何避免增加认知负荷的两个主要问题，并提供更个性化的服务：车辆与车辆之间的信息交流和车辆与其他载体间交互的未来发展趋势。

关键词：交互设计 智能座舱 智能汽车 汽车HMI 多模态人机交互

1 绪论

当今，在智能化、信息化、互联通信数字技术迭代加快，物联网、人工智能以及大数据为代表技术飞快发展的时代背景下，汽车座舱已不再是单纯的驾驶空间，人与车的交互关系产生了很大的变化。随着智能汽车的普及，车载功能变得更加复杂，汽车座舱成为了人们的第三生活空间，承载了出行、娱乐、社交等更多样的功能，因此消费者对汽车人机交互系统的体验也提出了更高的需求[1]。为应对出行场景下人们日趋复杂的需求，针对汽车交互设计趋势的研究具有重大的意义。随着物联网技术的进步，汽车人机界面（HMI）的功能类别和交互逻辑正在迅速演变。从最初的简单命令行界面发展到多样化的虚拟用户界面，从语音对话系统到基于手势控制的系统，这些变化相互促进，形成了一个动态发展的趋势。也因此在车空间内供给驾驶员的信息随时间发展愈发多层次，需要驾驶员调动更多的感官接收信息。多模态交互设计可以将多个感知信息进行系统化的设计，使不同模态下建立一个包含多种感知方式的交互系统，充分考虑人的感知对于场景环境的资源调配，能够方便用户以多种方式与汽车交互系统进行互动[2]。关于汽车交互设计尤其是在汽车多模态交互设计领域研究并不多，没有呈现完整的发展脉络，因此笔者对目前关于汽车多模态交互设计的相关文献进行综述分析，可以帮助相关从业者、研究人员了解汽车多模态交互设计的研究现况与发展趋势，希望能为该领域未来的研究提供阶段性的参考。

2 汽车座舱交互设计研究现状与历史发展

2.1 文献研究现状

关于汽车座舱的交互设计研究与新能源汽车兴起有着密切的关联。中国新能源汽车产业在世界处于先进水平，截至2022年第一季度，中国新能源汽车的全球销售占比已经达到了60%[3]。此外，国家鼓励推动新能源汽车产业的发展，国务院办公厅于2020年11月2日发布了《新能源汽车产业发展规划（2021-2035年）》，这标志着中国的新能源汽车正式迎来了快速发展的阶段。通过知网论文的发表周期趋势可以看到，“汽车交互设计”领域的相关文献于2018年以后出现非常明显的增加。近五年所发表的论文篇数在300篇左右，其中应用类、资讯类的文献占比较多，研究类文献占比很少。研究的系统性、脉络不清晰，更多集中研究汽车HMI界面的设计，研究成果较为有限。而知网搜索“汽车多模态交互设计”的相关文献结果仅有11篇，主要集中在2022到2023年间发表。

2.2 汽车座舱人机交互设计

交互设计不仅仅涉及用户界面的外观，更重要的是构建完整产品框架以完成用户任务，并对最终用户体验负有责任。交互设计包含许多重要的基础理论，包括分布式认知理论、Norman行为阶段理论、交互界面设计的八条黄金法则等等。汽车座舱人机交互设计是交互设计中的一个细分领域，在遵守如上交互设计原理的基础上，针对汽车人机交互设计有着更为详细的原则。

蔡萌亚等以马斯洛需求模型为基础[4]，将汽车交互设计由低到高对汽车座舱交互设计研究进行梳理，其中包含HMI设计与驾驶安全、HMI设计与人车合作信任、用户认知与情感化三个方面；兰卉将汽车交互设计分为物理交互、界面交互以及自然交互三个方面[5]。

汽车人机交互设计所触及的交互触点颇多，总的来说分为软件交互与硬件交互两个部分，也可以分为与驾驶行为直接相关和与驾驶行为不直接相关的交互。

汽车人机交互设计需要注意用户多感官交互。包括有视觉感知、听觉感知、触觉感知以及注意力对于汽车人机交互设计的影响。当前新能源汽车交互设计趋势有多个方面值得注意，其中包括注重用户体验、塑造智能空间、交互唯独拓展以及注重多模态交互。

3 智能座舱多模态人机交互设计相关研究

多模态人机交互的目标是通过语音、图像、文本、眼动和触觉等多种信息形式，在人与计算机之间进行信息交流[6]。随着技术迭代与汽车座舱的发展，人们对于汽车驾驶需求与出行乘坐体验变得越来越多样化、复杂化，在汽车人机交互中复杂的操作增多，例如与聚屏的点击、手势交互、语音交互等，而多样多层次的交互使得用户在驾驶的过程中有分心的可能，驾驶的不安全因素大大增加。汽车交互设计如何更系统规范与合理变得十分重要。多模态的人机交互设计将多模态感知进行融合，设计使其构成完整交互系统，让用户在复杂的、多层次的人机交互环境下也可以合理安排注意力操作车辆。因此智能座舱多模态交互设计将会是新能源汽车人机交互设计未来的发展趋势，有着大好的前景。

刘聪等从视觉、听觉、触觉和嗅觉四个方面总结梳理了不同多模态交互方式适用场景[7]，为汽车多模态人机交互提供了一定的设计参考；易博等将情景意识因素融入多模态汽车交互设计的研究中[8]。关于智能座舱多模态人机交互设计的相关研究，可以总结为三个方面：一是关于智能座舱多模态交互设计的原理，二是智能座舱多模态交互基本技术，三是智能座舱多模态交互设计的评估方法。

3.1 智能座舱多模态交互设计原理

多模态交互包含四个交互方式。（1）视觉交互。视觉交互方式是一种最基础的交互方式，一般人在平时使用视觉感官来接受环境信息占比最大。因此在人机交互中视觉起着决定性作用。（2）触觉交互。触觉交互一般指与汽车座舱物理触点的交互行为。（3）语音交互。语音交互使驾驶者在驾驶过程中不必用手点击屏幕、增加视觉负荷，从而导致分散注意力，它是一种自然的交互方式，随着AI技术日趋成熟，语音交互也将从被动交互专项转变为主动交互（4）手势交互。手势交互作为一种较少见的交互方式，对于其应用的情景需要进行谨慎把关。

多模态人机交互系统可以分为输出和输入响应两个部分，其中输入和输出通道涵盖了书写、姿态、语音、震动（Leap Motion）等多种模态。在多模态交互的研究中，设计通常以用户为中心，因为系统通过各种设备获取用户的数据或提供反馈，并将其作为信息输入到端口以生成互动响应[9]。

3.2 智能座舱多模态交互设计关键技术

3.2.1 可视化模态技术

（1）使用眼动仪对人视线感应进行测量，分析总结如何调配驾驶员视线以获得更高的架势专注度的数据。也可以在驾驶员在驾驶的过程中，检测驾驶员视线，在其注意力不集中时发出警告。

（2）多屏、联屏与聚屏。以往使用物理交互触点的方式显然已不适用当下多样需求的出行场景，中控屏的出现很好的将各种驾驶交互需求纳入一个合理的交互系统中。如今众多开发者将车内屏幕的数量增加，以满足不同的操控需求。

3.2.2 声场模态技术

声场模态技术即车载语音交互技术是一种利用语音作为主要交互方式，在车内进行操作与反馈的方法。这项技术能够借助语音识别功能，将驾驶者的口头指令转换成系统可执行的命令，并利用语音合成技术，将车辆系统的响应信息以声音的形式传达给驾驶者。这项交互模式具有相当多优势：（1）驾驶员无需触摸屏幕或按钮便可完成指令，提升驾驶过程安全性。（2）语音交互方式使驾驶员可以同时多任务处理，一边驾驶一边操作，不会分散注意力。（3）听觉感觉与语音是更为自然的交互方式，车载语音交互不会过于增加用户的学习成本。使用语音助手让驾驶员在驾驶过程中的非驾驶交互行为更加安全。

3.2.3 混合现实实物

目前有越来越多的厂商尝试增加与汽车座舱搭配的混合现实实物交互来增加用户的出行体验。例如今年的CES展览上，宝马与消费级增强现实（AR）眼镜制造商XREAL合作，展示了AR眼镜的驾驶应用，重点放在了智能座舱的非娱乐性能上。

索尼和本田合作开发的Afeela曾在2023年CES上引起极大关注。而在2024年的CES上，Afeela再次亮相，这次以索尼PS5游戏手柄操控汽车的方式吸引了观众的目光。

3.3 智能座舱多模态交互设计评估方法

在对于不同的模态技术进行了解研究之后，发现应用的过程中更要重视如何评估多模态交互设计的可用性与易用性。目前，人机交互实验室中常用的三种测试方法包括实车测试、高保真汽车模拟器驾驶测试以及低保真汽车模拟驾驶测试。

实车测试提供了最为真实的驾驶环境，能够准确地捕捉到驾驶员在实际驾驶过程中的行为模式和心理状态，并且测试结果直接反映了系统在真实世界中的性能，为后续改进提供了坚实的基础，具有相当高的真实性和可靠性，但成本高昂并且存在安全性问题。

高保真汽车模拟器驾驶测试允许研究人员在受控环境下进行测试，可以精确控制变量，便于重复试验，可控性强，另外能够模拟各种复杂的交通状况和极端天气条件，而无需担心实际驾驶中的风险，但尽管模拟器可以高度模拟真实驾驶体验，但在某些细节上仍可能与实际驾驶有所差异，从而影响测试的有效性。

低保真汽车模拟驾驶测试使用低成本的模拟工具可以快速构建测试环境，适用于概念验证和初步设计阶段，也由于设置简单，可以快速调整和改进设计方案，加快研发周期。由于低保真的特性，测试可能无法准确反映最终产品的用户体验，特别是在涉及高级感官交互（如触觉反馈）的情况下。

每种测试方法都有其独特的优势和不足之处，选择合适的方法应基于具体的研究目的、可用资源以及期望达到的测试精度。在实际应用中，通常会结合使用这三种方法，以获得更全面的数据支持，确保研究成果的可靠性和实用性。

4 智能座舱多模态人机交互设计应用

2012年Pfleging等在自然用户界面的设计工作坊中试图创建了一个人车交互界面框架的设计生态。他们认为，汽车交互不仅仅涉及中控屏幕，还需要考虑到后排空间和车外空间的交互。

研究表明，多模态交互方式更符合人类习惯，特别是在处理高优先级消息时，采用多模态的冗余增益能够加速响应时间。例如，视觉与听觉或视觉与振动触觉的警告相比于单一模态的警告具有更迅速的反应速度。多重资源理论[12]很好阐明了信息输入与输出的调配如何产生与降低认知负荷。

5 结语

目前汽车行业已然全面迈入智能座舱时代，初步形成了以用户体验为中心、智能交互为技术核心的发展趋势。过去单点的交互方式无法满足如今多层次、多样化的出行场景，多模态人机交互设计的研究应用成为智能座舱设计中的重中之重。但是，距离将汽车多模态交互设计系统化梳理，将多模态交互设计融入到智能座舱设计的大范围实际应用还有相当的差距，现在智能座舱多模态交互设计还面临着以下挑战：

（1）汽车座舱多模态交互设计还没有系统化的设计规范原则。如今智能座舱多模态交互设计的研究还处于初级阶段，多模态交互的安全性需要大量的实验检验。

（2）多感官资源调度，需考虑如何避免增加认知负荷。

同时，结合以上研究现状与问题分析，总结智能座舱多模态交互设计发展趋势如下：

（1）为用户在出行场景提供更个性化的服务。

（2）车辆与车辆之间的信息交流。如何通过进一步设计，使路上司机与司机之间可以更高效进行信息交流，从而提高安全与效率。通过交互与其他交通参与者共享信息，实现更流畅的交通流动。

（3）车辆与其他载体间的交互。车辆与其他载体之间的交互趋势包括加强互联性，使车辆能够与周围的交通、基础设施以及其他车辆进行更有效的通信和协同操作。随着自动驾驶技术的发展，车辆与其他载体的交互将更加智能化和自动化，使得车辆能够更好地适应和响应周围环境。

这些趋势将共同推动着车辆与其他载体之间的交互进入一个智能、互联、自动化的新时代。

参考文献：

[1]李玉昆，孟健，郁淑聪.展望未来智能汽车人机交互：多模态融合感知技术成为趋势[J].汽车与配件，2022（21）：56-58.

[2]刘佳馨.基于多模态交互的汽车内饰空间体验设计研究[D].湖北：华中科技大学，2022.

[3]人民网，国家发改委：我国新能源汽车产销连续9年位居全球第一［EB/OL］.http：//finance.people.com.cn/n1/2024/0118/c1004-40161886.html，2018-10-18.

[4]蔡萌亚，王文丽.汽车智能座舱交互设计研究综述[J].包装工程，2023，44（6）：430-440.

[5]兰卉.我国新能源汽车交互设计现状及发展趋势研究[J].汽车与新动力，2023，6（5）：57-60.

[6]陶建华，巫英才，喻纯，等.多模态人机交互综述[J].中国图象图形学报，2022，27（6）：1956-1987.

[7]刘聪，朱兰芹.基于多模态交互的汽车人机交互设计研究[J].汽车电器，2022（8）：3-5.

[8]易博，张帅，李文馨，胡岚.基于情景意识的多模态汽车交互设计研究[J].内燃机与配件，2023（5）：82-84.

[9]刘佳馨.基于多模态交互的汽车内饰空间体验设计研究[D].湖北：华中科技大学，2022.

[10]翟家兴.基于多模态生理数据的汽车造型美学评价方法研究[D].长春：吉林大学，2019.

[11]赵廉峣.基于多模态信息融合情景计算的无人驾驶环境下动态目标感知方法研究[D].广东：深圳大学，2020.

[12]Christopher D. Wickens and Jason S. McCarley. Applied Attention Theory[M]. CRC Press，2019