基于智能交互的汽车主动响应式交互设计

李璟璐，孙效华，郭炜炜



基于智能交互的汽车主动响应式交互设计

李璟璐，孙效华，郭炜炜

(同济大学设计创意学院，上海 200092)

随着主动响应式交互向车内引入，汽车可以预测用户意图并主动发起功能，从而减少分心、增加灵性，提升驾驶安全性与车内用户体验。在汽车主动响应式交互的设计中，机制层面的用户意图预测模型的准确度成为影响主动响应式交互体验好坏的关键。但是对于如何提高用户预测模型的预测准确度还缺乏行之有效的手段，目前预测模型的结果不是十分准确，相关研究还比较少。智能交互是提升机器人性能的有效手段，将其引入到主动响应式交互的设计中，能通过其获取提升用户意图模型预测准确性所需的信息，帮助突破目前算法上存在的瓶颈。提出了运用智能交互提升预测准确性的路径和基于智能交互的汽车主动响应式交互设计的框架与注意点，并结合具体案例设计进行了阐释。

主动响应式交互；智能交互；意图预测模型

相较于由用户发起动作与随之而来的反馈所构成的交互，由智能系统预测用户意图并主动发起响应的主动响应式交互有了很大的发展[1-3]。但由于汽车主动响应式交互中预测模型与规则的局限性，预测模型的结果往往不是十分准确，影响预测用户意图的结果，可能导致失败的交互过程与不佳的用户体验。汽车主动响应式交互需要对不同用户进行个性化意图预测，但很难从一开始就建立起对用户适用的预测模型，因而用户预测模型应具备在人机交互过程中不断提升的能力[4-5]。目前，这方面的国内外的研究还比较少。智能交互(smart interaction)是指为提升机器人性能而设计的人和机器人的交互过程，为了提升预测模型的准确度，本研究将智能机器人领域的智能交互概念引入汽车主动响应式交互中，通过设计人与车辆系统的互动，以获得提升预测准确性所需的有效信息，从而提升主动响应式交互中个性化的用户体验。

1 汽车主动响应式交互的技术背景与存在问题

汽车主动响应式人机交互是指系统能够及时感知用户及其所处环境的状态与变化，准确推测用户行为和意图，并主动响应用户的需求。其本质是将计算、通讯和感知能力嵌入汽车，使得汽车具备感知、推理和决策等基本功能，并使得主动响应式人机交互不再完全依赖于用户的直接输入，而是变为数据收集、分析处理和判断决策过程[6]。

1.1 技术机制

如图1所示，在汽车主动响应式交互中，人工智能(artificial intelligence，AI)引擎的核心是用户行为意图预测规则和模型的构建与学习，其包含离线学习和在线预测两个阶段。离线阶段，主要从收集的用户、环境与车相关的数据建立用户、车以及环境的知识图谱，从而建立用户行为意图预测的规则和模型。在线阶段，即通过传感器实时感知用户及其环境上下文的数据，并对数据进行分析，及时感知用户和上下文环境的变化，结合得到的预测模型和知识图谱，推理用户可能的行为意图，实现对用户意图的预测并作出决策，通过车内不同的介质，发起动作。

图1 汽车主动响应式交互的技术机制

以主动响应式的推送功能为例，根据用户以往对于新闻类型的喜好及环境信息拥堵的情况下愿意获取新闻信息的行为，在行驶拥堵的状态下，有用户感兴趣的新闻类型时，可向用户发起新闻信息推送。

1.2 存在问题

在上述的汽车主动响应式交互的技术机制中，预测规则和模型是建立汽车主动响应式交互的关键因素，其构建需要丰富的领域知识和数据，目前主要存在以下问题：

(1)模型的初始训练样本具有局限性,很难覆盖全部实际客观情况，例如样本数据缺失、数据量较少或错误数据。

(2) 预测模型所需要的个性化数据积累困难。由于汽车主动响应式交互是通过预测用户的意图发起响应，为建立成功的汽车主动响应式交互，是否发起、什么时机发起、以何种方式发起都与个人的偏好密切相关，用户意图的预测必须建立在大量个性化数据的基础上，但这些数据往往难以获得，需要较长时间的积累。

(3) 在驾驶情境下，预测规则和模型的灵活性欠佳。驾驶情境十分复杂且多变，如果预测规则和模型是固定的，不能随变化的环境而不断调整会导致错误的不断积累，预测性能也会随之逐渐下降甚至最终失效。

2 运用智能交互提升预测准确性的路径

针对以上主动响应式交互中的问题，本文提出通过引入智能交互提升预测准确性的路径：在明确智能交互的特点以及提升预测模型准确性所需的信息后，将智能交互引入主动响应式交互的机制中，提升预测准确性，以优化原有的主动响应式交互。

2.1 智能交互及其特点

智能交互是指为提升智能系统(如智能机器人)的性能而设计的人与智能系统的互动过程，是目前智能机器人领域提升机器人性能的有效手段。智能交互是机器人的自适应学习(adaptive learning)中的重要一环。自适应学习是指在人与机器人的交互过程中，通过积累用户的反馈或主动好问式地向用户询问模型学习和提升所需要的关键信息，并据此适当地修改模型及其参数，提升模型预测准确性，从而支持模型的不断地学习与修正，继而完善和进化。智能交互主要运用于服务机器人的个性化服务中，例如，对于家庭服务机器人，需要适应不同的家庭环境，并为每名家庭成员提供个性化服务，然而在开始之初，机器人不可能完全建立对每个家庭成员的认知，这就需要能通过智能交互的方式主动学习家庭成员的信息与偏好，逐步建立相关认知和增强对每个成员的了解，从而更好地为不同的家庭成员服务。

在提升汽车智能系统的模型预测和推理决策的能力中，可以通过与用户发生自然的多模态互动的智能交互方式，获取到系统所需要的信息。这样可以解决上述的模型预测准确性不高以及环境适应性较弱的问题，优化预测模型的预测结果。

2.2 提升预测准确性所需的信息类型

提升模型预测准确性的关键性数据和信息，主要有以下3类：

(1) 用户使用习惯与行为偏好信息。用户使用习惯指用户在车内的行为习惯(相对固定)，包括使用车内媒介的行为、驾驶以及与行程相关的行为，是与建立用户知识图谱模型相关的信息，常与预测规则或模型直接关联，如：用户通常在周五下班回家时，会选择绕路景致优美的线路；在高速公路行驶时通常开窗；车内有旁人时不接听电话。行为偏好指用户在涉及判断、决策时的倾向，存在不确定性，如口味偏好、性价比偏好、购买习惯偏好等，例如在推荐餐馆时，需要知道个人的口味偏好，以及在当前情境下的选择偏好；在推荐用户加油时需要了解用户该加油时的油量值。

(2) 上下文语境信息。是指当下情境的表现，包括用户当下的语境以及状态，以及环境的上下文，是补充环境、车和人知识图谱模型时所需要的实时数据以及相互关联的重要信息。如用户当下的情绪状态、用户决策时的上下文语境。例如到达某地点，用户对于此地是否熟悉，当前行程是否紧急，用户当前驾驶时的情绪状态与心理状态等。

(3) 模型学习的训练样本数据信息。包括汽车对于某项功能或某决策执行后，比对实际情况与推理结果及用户对于其正误的反馈，对缺失的信息进行的补充。如，监测到前方驾驶区域有行人时的提示是否有误；对于提供信息的准确度是否有误，让用户对未知人脸图像进行身份标注，获取用户不同侧面的图像信息等。

2.3 引入智能交互的技术机制

为了获取提升预测准确性所需的信息，在汽车主动响应式交互中引入智能交互, 以增强模型预测准确性和环境适应性。通过智能交互的帮助，及时、主动地获取对模型提升有用的数据和信息来修改预测的规则和模型，支持汽车主动响应式交互中预测模型的不断学习与修正，继而完善与进化，使得汽车与人之间在双向信息交流过程中，逐步加深彼此的了解，可最大程度地实现“想用户之所想”，从而解决汽车主动响应式交互的技术机制中目前面临的3大问题。问题1由第三类信息解决，问题2由第一类信息解决，问题3由第二、三类信息解决。

在汽车主动响应式交互中，人与系统所进行的智能交互，大致有两种方式，如图2所示。①直接反馈式，系统根据实际的客观情况对模型的推理结果进行观察、比对，获取用户对预测结果的反馈，根据反馈结果来修改模型。例如告诉机器是对还是错，或是从模型预测结果所提供的多个选项中选择结果；②主动向用户询问，为了完成某种特定任务，机器通过自我评估，判断信息的缺失、模糊和错误情况，据此主动向用户询问，并搜集相关信息进行模型的学习和提升，进行所谓“好问式学习”。

图2 引入智能交互的主动响应式交互技术机制

3 基于智能交互的主动响应式交互设计

3.1 主动响应式交互的应用场景

汽车主动响应式交互的功能之一是汽车主动向用户发起一次互动并完成的过程。主动响应式交互可能是一次互动的开始，也可能服务于某项任务的任何阶段。

主动响应式交互的功能体现在行车过程中的8类应用场景，即：推送、推荐、提醒、建议、任务托管、自主调控、询问、关怀。为了完成某一个特定任务，可能贯穿多个连续或不连续的主动响应式交互的应用场景，如用户停车这一任务中可能包含推荐停车场、提醒空车位、辅助停车中自动调控等应用场景。在8类应用场景中，还分别包含若干下级应用场景。通过对驾驶过程中用户需求的分析，筛选出了对于场景类型中最重要且服务流程相对差异化的场景作为典型应用场景，如图3所示。在每一类的主动响应式交互的应用场景下，均需遵循引入智能交互的框架与方法进行设计。

图3 主动响应式交互的典型应用场景

3.2 基于智能交互的主动响应式交互设计框架

基于智能交互的主动响应式交互的设计由搭建具体场景下引入智能交互的主动响应式交互的框架；明确提升预测模型准确度所需要的信息；为获取所需信息的智能交互设计3步组成。

如图4所示，主动响应式交互的基本架构由编号①~③的3个灰色区域组成，即：数据输入、用户意图预测模型与发起响应动作，输入的数据包括触发主动响应式交互发生的关键数据及高度相关的上下文数据。通过智能交互的引入，获得提升预测模型准确度所需要的信息，更新预测模型，完成对用户意图更准确的地预测。

图4 引入智能交互的主动响应式交互框架图

提升预测模型准确度所需要的信息，在上述的提升模型预测准确性的关键性数据和信息类型中，是由具体的主动响应式交互应用场景所决定。

智能交互包含其内容、方式与出现点3类要素。“智能交互的内容” 是指智能交互设计中出现什么信息以及行动，以获取系统判断信息缺失、模糊和错误情况的内容，且系统根据实际的客观情况对模型的推理结果进行观察比对后，获取用户对预测结果的反馈与评估。“智能交互的方式” 是指根据内容对当下情境的主要任务的影响程度，选择合适的出现形式，依托车内的多模态环境的介质进行。“智能交互的出现点” 是指在制定的触发条件或判断逻辑后，内容出现的情境与时间点。智能交互的设计中有可能包括一个或多个相对独立的智能交互，灵活出现在主动响应式交互的过程中。在每一个完整的智能交互中，都以学习到提升预测模型准确性的具体信息为“学习目标”。

3.3 智能交互模块设计的注意点

在主动响应式交互的智能交互设计中，要注意以下几点：

(1) 保证智能交互的低打扰性。在设计时可以将智能交互的任务分散到多个情境与状态下，避免用户一次经历过多的交互流程，减轻用户的负荷。

(2) 多通道的智能交互设计。在智能交互设计中，选择一个通道为主要获取通道，其他为辅助，以补充主要通道的信息，尽量避免重复信息的堆砌。

(3) 类人的交互隐喻。智能交互设计时，尽量以类人的、礼貌的方式进行，自然贴近人与人之间的交流逻辑。根据智能交互出现的不同情境，隐喻的类人角色可以有助手型、伴侣型。助手型的特征是提供便捷、高效的相关服务。伴侣型的特征是提供更多知心关怀的相关服务。

(4) 引导用户输入。由于智能交互中所涉及的多为开放性问题，尽量增强系统对用户回答的引导性，以确保获取的信息对系统有用。具体而言，可以经过系统处理信息后引导用户进行是或否的判断性回答，也可以通过筛选答案后再向用户询问。

3.4 设计案例

在上述的主动响应式交互的典型应用场景中，以建议用户去加油的主动响应式交互为案例。车辆需要在油量较低且行程方便时建议用户前往某加油站加油，并具体阐述基于智能交互的主动响应式交互设计。

在主动响应式交互的框架中，当用户驾驶车辆的油量小于一定阈值，车辆位置数据已知，且获取附近有加油站，其模型预测用户在此情境下的意图是去符合自己需求的加油站加油。

提升预测准确性所需要的信息包括：用户偏好信息、当前车辆位置信息与油量、当前行程信息。用户偏好信息包括油量紧急程度偏好、加油站品牌偏好。当前行程信息包括当前时间是否紧急、目的地路程与交通状况、沿途有无合适的加油站。

如图5所示，在建议用户去加油的场景中主动响应式交互的逻辑，深色点表示需要智能交互介入的需求点。当车辆油量低于用户焦虑的阈值时，判断当前行程是否紧急，若行程不紧急，时间相对灵活，判断用户是否有品牌偏好，如果没有品牌偏好，则推荐到沿途最近的加油站加油；若有品牌偏好，则建议到沿途喜好的品牌加油站，在具体情况中根据上下文情况做调整。如果判断行程紧急，需进一步判断当前油量能否到达目的地，如果可以到达目的地，告知用户情况以缓解用户焦虑，并建议回程加油；如果当前油量不能到达目的地，判断用户是否有品牌偏好，若没有品牌偏好，则推荐到沿途最近的加油站加油，若有品牌偏好，则建议到沿途喜好的品牌加油站，在具体情景中需根据上下文情况做调整。

图5 建议加油主动响应式交互逻辑图

智能交互的目标为：学习用户的油量紧急度偏好下用户会焦虑的油量阈值、用户有无加油站品牌偏好、偏好什么品牌。在获取用户的油量紧急度偏好的智能交互设计中，“智能交互的内容”是获知用户在什么油量的情况下会产生焦虑。在用户历史行为的基础上进行确认。“智能交互的方式”是通过自然的语音对话与辅以用户面部识别。“智能交互的出现点”是在驾驶环境稳定的情况下，如等候红灯时。

如图6所示，用户历史加油行为多发生在油量20%的情况下，当汽车油量在20%以下，监测到用户关注油量表的频率变高，在驾驶环境平稳的情况下，汽车发出轻微提示音，主动询问用户，并引导用户进行回答：“油量只剩20%了，该去加油了吧？”，如果用户回答：“是的”，汽车确认用户的油量紧急度偏好为20%，如果用户以否定回答则需要进一步询问。此时智能交互的角色隐喻为助手型，为用户提供更有效的服务。

图6 为获取提升准确度所需信息的智能交互设计Scenario

在获取涉及用户品牌偏好的智能交互设计中，“智能交互的内容”可包括在日常加油历史行为的基础上确认用户平常有无固定的加油站品牌偏好，以及在某品牌加油站加油的行为发生变化时，询问用户行为变化的原因。“智能交互的方式”都是通过自然的语音对话方式询问。“智能交互的出现点”是在平时加完油安全行驶的路上，或与平时选择加油站的行为出现变化时。用户在去中石油加油站加完油，在等红灯时，系统发出轻声提示音“你平时都去中石油加油站，看来你很喜欢这个品牌？”，如果用户给予肯定回答，则学习到用户有品牌偏好及偏好品牌，学习到用户有固定品牌偏好，即偏好去中石油加油站加油，如果给予否定则需要进一步询问。

当某天用户突然没有去平时常去的中石油加油站加油，而是选择中石化加油站加油，在保证驾驶安全的情况下，汽车发出轻微提示音，主动询问用户：“咦？你今天怎么没有去中石油加油站加油呀？”，用户回答“今天中石化有折扣”，汽车回答“原来是这样～”。汽车学习到用户在有折扣时，会优先选择有折扣的品牌。此时智能交互的角色隐喻为助手型，为用户提供更有效的服务。

通过智能交互，系统学习了用户的油量紧急度阈值为剩余20%油量，用户有加油站品牌偏好，并在有品牌折扣时优先考虑有折扣的品牌。当判断当前行程安排有相对灵活的时间，允许前往加油的前提下，系统将会在油量20%的情况下建议用户加油。在沿途中石化油加油站有折扣优惠的情况下，建议去中石化加油站加油。发起多通道的智能交互，系统发出急促的“滴滴”轻声提示，语音播报“您当前的油量低于20%，建议前往沿途的中石化加油站加油，享受7折优惠，是否加入行程？”同时在数字仪表盘上显示低油量的提示，在中控屏幕上显示油量情况及具体建议——导航去建议加油站。用户可以通过语音回答或者中控屏幕操作决定采取建议或拒绝建议，如图7所示。

图7 加油建议主动响应式交互设计表达

下一阶段，将围绕用户加油建议场景，实现基于智能交互主动响应式的演示系统，完成从数据采集、用户模型学习和意图预测，主动响应到智能交互完整流程，开展用户测试和实验，以验证在此场景下智能交互设计的有效性。

4 结束语

预测模型预测用户意图的准确与否决定着主动响应式交互的体验好坏，将智能交互作为一种手段引入汽车主动响应式交互中，能够有效解决这一问题。依据引入智能交互的设计框架，将获取提升准确度所需的信息作为设计目标，遵循设计方法合理组织智能交互的设计要素，能够帮助设计研者设计出预测准确度高的主动响应式交互的方案，从而在特定的情境下精准发起更加贴近用户意图的功能与响应，使用户获得更加自然与个性化的用户体验。

[1] BO B. Responsive media: media experiences in the age of thinking machines [EB/OL]. (2017-05-10) [2018-06-19]. http://creativecommons.org/licenses/by-nc-sa/4.0/.

[2] BRUSS M, PFALZGRAF A. Proactive assistance functions for HMIs through artificial intelligence [J]. Atz Worldwide, 2016, 118(12): 40-43.

[3] BADER R. Proactive recommender systems in automotive scenarios [D]. München: Technische Universität München, 2013.

[4] SENFT E, LEMAIGNAN S, BAXTER P E, et al. Leveraging human inputs in interactive machine learning for human robot interaction [C]//Companion of the 2017 ACM/IEEE International Conference on Human-Robot Interaction. New York: ACM Press, 2017: 281-282.

[5] CAKMAK M, CHAO C, THOMAZ A L. Designing interactions for robot active learners [J]. IEEE Transactions on Autonomous Mental Development, 2010, 2(2): 108-118.

[6] BADER R, SIEGMUND O, WOERNDL W. A study on user acceptance of proactive in-vehicle recommender systems [C]//Proceedings of the 3rd International Conference on Automotive User Interfaces and Interactive Vehicular Applications. New York: ACM Press, 2011: 47-54.

Proactive HMI Design Based on Smart Interaction

LI Jinglu, SUN Xiaohua, GUO Weiwei

(College of Design and Innovation, Tongji University, Shanghai 200092, China)

With the introduction to proactive HMI, the vehicle can predict users’ intentions and start functioning, thereby reducing distractions, increasing spirituality, and improving driving safety and user experience. With proactive HMI, the accuracy of the use intention prediction model at the mechanism levels to become the key to affecting the quality of the proactive HMI experience. However, there is lack of effective means for improving the accuracy of the user prediction model, and there is not sufficient relevant research. Intelligent interaction is an effective method to improve the performance of robots. By introducing this technology into the design of active responsive interaction, users’ intentions can be obtained to help to break for the bottlenecks of current algorithms. This paper proposes a framework of automobile active responsive interaction design based on smart interaction and using intelligent interaction to improve prediction accuracy, the key points that deserve attention are also listed, and the specific design case is illustrate.

proactive HMI; smart interaction; user intention prediction model

TP 391

10.11996/JG.j.2095-302X.2018040668

A

2095-302X(2018)04-0668-07

2018-04-09；

2018-06-11

上海市设计学Ⅳ类高峰学科资助项目(DA17003)

李璟璐(1990-)，女，山西太原人，博士研究生。主要研究方向为交互设计。E-mail：lijinglu@tongji.edu.cn

孙效华(1972-)，女，河南安阳人，教授，博士，博士生导师。主要研究方向为交互设计。E-mail：xsun@tongji.edu.cn