基于驾驶模拟器的HMI可用性测试实验环境研究

2020-10-21刘雨佳王建民王文娟张小龙

北京理工大学学报 2020年9期

刘雨佳，王建民，王文娟，张小龙

(1.同济大学设计创意学院, 上海 200092；2.同济大学艺术与传媒学院汽车交互设计实验室, 上海 201804；3.宾夕法尼亚州立大学信息科学与技术学院, 帕克分校, PA16802)

智能网联汽车是汽车和信息、通信等产业跨界融合的重要载体和典型应用，是全球创新热点和未来产业发展的高峰. 随着汽车技术发展，车内人机交互界面(HMI)也在不断的发展，尤其在近几年，车内HMI越来越受到用户以及汽车厂商的重视. HMI设计需要经历不断的测试和改进，进行实车测试和评估时，能准确地考虑人与汽车、人与界面的人机关系；同时，被测试者会有最真实的反应，测试也是最有效的. 然而实车测试的时间周期会比较长，耗费较大的人力、物力和其他资源，重要的是，会有一定的安全风险. 所以越来越多的设计者提出了在驾驶模拟器上进行前期的车内HMI测试,搭建一个基于驾驶模拟器的HMI可用性测试实验环境成了一个急需解决的问题. 虽然目前对于HMI测试的方法已经有了很多研究工作，但是针对驾驶模拟器的可用性测试方法还处于探索阶段. 本文从物理平台与软件系统两个维度来考虑搭建实验环境，并提出一个针对模拟器的HMI测试方法，并以车道偏离警示系统功能为例验证方法的可行性. 通过对可用性测试实验环境的搭建，还可以扩展到验证基于高级驾驶辅助系统中功能的HMI设计，如盲区监测功能等技术.

1 从驾驶模拟器到整体实验环境

汽车驾驶模拟器一般是根据典型汽车的功能需求把汽车零部件与车载仪表盘等屏幕组合在一起，将虚拟驾驶仿真系统技术运用在上面，通过模拟和显示汽车的基本功能，为驾驶员提供真实的操作环境. 科研型驾驶模拟器不仅能保证在极限行驶工况下给驾驶员提供一个安全的实验环境，还能更便捷准确地采集到实验所需的数据[1]. 大型驾驶模拟器实验成本高，而小型驾驶模拟器功能具备不完全，因此，进行汽车人机界面设计的研究，去搭建中小型科研型驾驶模拟器来进行研究具有很好的可行性. 虚拟现实等技术的成熟，也极大地推动了驾驶模拟器的研究工作，促进了可用性评估方法的完善[2]. 但在一个完整的可用性测试过程中，涉及的不仅仅是模拟器的搭建开发与被测驾驶人员的研究，还包括其他人与人(如：辅助驾驶人员与记录人员等)，人与机之间的相互关系. 考虑到HMI测试过程中所有相关人员与环境的协调关系，需要搭建一个基于驾驶模拟器的HMI可用性测试实验环境. 在这个实验环境中，包括物理实验平台的搭建，系统软件的设计、选取与应用，考虑相关人员的相应位置关系，人与机器的交互关系，最后通过实验对其功能进行了验证.

2 智能驾驶模拟器的物理实验环境搭建

2.1 实验环境功能分区

在HMI可用性测试中，通常涉及到多角色的相互协作，所以在考虑实验环境搭建的过程中，需要对环境进行功能分区(图1). 根据实验中不同功能的需求，将分为4大区域：接待区、主测试区、辅助驾驶区和操作监控区.

2.1.1接待区

接待区是进行实验前的活动区域. 实验人员在这里进行被试人员的招募与实验引导，讲解必要的流程与介绍实验相关的器材.

2.1.2主测试区

随着智能网联的发展，未来智能汽车作为人机交互的载体，其发展方向愈加智能化. 在这个区域内不仅要考虑物理的台架设计，还要考虑人与人、人与台架的交互方式. 台架内交互区域的选择可以从用户、活动和技术三个角度着手. 用户即明确车内交互区域的使用者，被测试人员坐在主驾驶位置，接受由实验人员发布的任务，如有必要的话，还有辅助驾驶人员坐在后排，观察被试者行为，协助实验顺利进行. 测试车前方有环幕，可以显示出预设的各种道路工况和动态的交通场景. 活动指的是用户在车内的主要行为与任务，不同行为与任务所涉及到的车内区域也不同. 驾驶员在车内最主要的任务是驾驶，因此和驾驶相关的信息输入输出都集中在驾驶员前方区域，驾驶员操作最方便的区域，而其余像空调调节、车窗开关的操作就设计在驾驶员侧方区域. 技术的发展支持了车内交互区域的延伸，而现在的增强现实技术更是将交互区域延伸到了车外，车内的可交互区域也变得越来越多.

2.1.3辅助驾驶区

在实验过程中为了营造更加真实的环境，需要加入若干辅助驾驶车辆模拟真实的道路场景. 当多辆驾驶车同时运行时，各辆测试车之间通过网络连接，辅助驾驶人员和被试驾驶员可以互相看到其他进入同一场景的驾驶车辆，可以配合完成不同的驾驶场景. 实现网络连接后，该驾驶仿真系统则可以有更大的灵活性，只要在同一局域网下，则可以任意接入驾驶车辆，实现多车测试，更加真实地模拟真实交通环境.

2.1.4操作监控区

操作监控区中有记录人员和测试工程师两种角色. 记录人员能够在观察屏上看到驾驶者操控硬件设备的实时录像、场景的全局地图以及当前驾驶车辆的局部地图，这样能够更加清晰地看到驾驶车辆在地图中的位置信息，并且观察到车辆周围的环境；同时，也可以通过录像中驾驶员的动作来提出驾驶意见. 在观察屏中记录了车辆数据实时曲线图，包括速度、加速度、方向盘转角、刹车、仪表盘、HUD、中控屏等数据，数据实时曲线图数据保存后与视频有统一的时间线，便于后期的数据分析.

测试工程师是指在被试测试过程中检查软件有没有缺陷，测试系统是否具有稳定性、易操作性等性能，和切换驾驶场景的专门工作人员. 他们保证了实验的顺利进行，并且可以在实验结束后与记录人员一起分析数据.

2.2 智能驾驶汽车台架设计

未来驾驶座舱将为驾驶者提供更高效更便捷的信息操作及多通道的交互方式. 汽车驾驶模拟器对于科学实验与教学研究具有重要意义，不仅能保障被试者的安全，还能通过实验获得与实车实验相近的实验数据. 本文针对未来驾驶座舱的理念，提出了一个可变、可调、可拆装式的中小型台架设计.

2.2.1总体设计

设计的中小型科研驾驶模拟器主要有基础支架部分、多屏显示布局、转向操作机构、电子踏板和转角传感器等组成.

2.2.2基础支架设计

基础支架是承接其他组成部分的重要连接部分，由不同规格铝型材组成，彼此通过角件连接. 基础支架包括基座、支撑架、丝杆脚轮等. 支撑架与基座彼此分离，座椅和屏幕可在基座上进行角度与位移的变换. 基础支架最大特点是便于拆装和转移.

2.2.3多屏联动显示布局设计

智能汽车需要准确感知并理解人类驾驶员意图并主动地介入驾驶任务，还需要通过多通道的交互途径，整合不同屏幕，在合适的时间、合适的场景中、传达合适的信息给驾驶员，从而提高驾驶体验和驾驶效率. 车内交互设计不同于传统人与计算机界面的交互，计算机只有一个屏幕，所有的交互活动都在这个屏幕上进行，但车辆是一个三维空间，车辆信息无法集中于一个特定的区域，因此为了使车内繁多的信息更加快速清楚地传递给驾驶员以及使驾驶员快速进行信息输入，需要在车辆的三维空间维度上选择合适的区域进行设计，之后落实到每个区域内的具体人机界面.

共享经济的到来也给智能座舱带来了很大的影响，未来座舱更倾向于“舱”的概念，车内多屏联动更趋于“零屏”——舱内一切皆为屏. 可定制、个性化、情感化、数字化、共享化、多模式的设计是未来座舱发展的趋势. 通过对车内多屏联动显示布局与车内可交互区域进行拆分与设计，大致可以分为以下：仪表盘、中控屏、信息系统显示屏、HUD、内外后视镜、辅助信息显示屏、后排屏和车窗屏等,如图2所示，实验台架实景如图3所示.

① 仪表盘. 仪表盘是车架内最主要的信息输出空间，车辆各种状态信息、系统工作信息、以及驾驶员操作反馈都主要显示在仪表盘上. 仪表盘位于驾驶员前方视线之下，使得驾驶员能够较为方便地实时监控车辆信息. 由于仪表盘大小有限，因此主要承担与驾驶任务相关的车辆信息.

② 中控屏. 中控屏是信息系统显示屏上方的一块屏幕，由于它比信息系统显示屏高，位于方向盘右侧，因此驾驶员在获取信息时不需要低头，只需要略微转头便可获取，因此它相较于信息系统显示屏更适合显示一些行驶过程中与驾驶任务相关或者一些非驾驶任务的信息，比如车辆倒车时获取倒车影像显示在屏幕上.

③ 信息系统显示屏. 信息系统显示屏由于其位置不在驾驶员视线主要位置内，且距离驾驶员双手操作位置稍远，因此信息系统显示屏主要承载了一些非驾驶任务信息，如音乐控制、空调控制、系统参数设置等.

④ HUD. 车辆驾驶中执行额外的任务或汽车界面信息过载会对驾驶员驾驶产生不利影响，特别是在当驾驶员工作负载已经很高或驾驶员具有较低的响应能力的时候. HUD显示的好处就是它直接出现在驾驶员视线前方位置，避免了驾驶员低头或者转头，因此信息可以被快速获取；同时驾驶员仍然可以继续关注前面路面信息. 因此一些简要的导航和紧急信息可以通过HUD显示呈现给驾驶员，使驾驶员最快地获取情况，从而及时做出反应.

⑤ 内外后视镜. 内外后视镜是驾驶员获取后方信息的主要方式，但驾驶员视线仍然存在盲点，而盲点信息最主要影响驾驶员变道行为，因此在变道场景的设计中，可以将盲点信息与内外后视镜结合起来设计考虑，使驾驶员在查看后视镜的时候立即获得周围环境信息，减少因为盲点信息造成的危险情况.

⑥ 辅助信息显示屏. 辅助信息显示屏承担一些辅助设置信息的功能，例如娱乐功能，一般由副驾驶员操作，这样就能使用单独屏幕而不会相互影响，实现多行为操作. 或是将其与仪表盘、中控屏结合，形成“一字屏”，整体更加趋于一体化.

⑦ 后排屏. 后排屏是放置在前排座椅的头枕后部的显示屏，在模拟器中可以给乘客播放视频、游戏娱乐等用途，也可以给辅助驾驶人员使用以协助测试者.

⑧ 侧窗屏. 整体侧窗屏的概念倾向于针对未来驾驶座舱，座舱的侧立面都可视作侧窗屏. 座舱里人员在座位上可以通过生物交互、全息交互、语音交互等操作整体侧窗屏以切换自己想要的模式(例如旅行模式、办公模式、亲子模式等)，情感化设计实现不同的群体的不同需要. 侧窗屏还可以延伸到车外，通过指纹、面容ID、移动端控制来实现解锁汽车. 针对局部的屏幕，像是主驾驶人员旁的侧窗屏，可用作查看盲点区域和呈现附近信息，为用户提供更多地多方位导航信息.

3 实验平台软件系统构架

此实验平台软件系统的实现是基于开发引擎——Unity3D平台，对汽车基础功能进行模拟，设计并实现汽车虚拟驾驶仿真系统，模拟不同交通环境下车辆的驾驶行为，实现具有可交互性和高扩展性的虚拟驾驶行为[3].

为实现整个系统，需要满足以下的功能需求：① 汽车功能模拟. 能基本实现一个典型的汽车具有的功能. ② 汽车驾驶场景演示. 将汽车初始状态以及智能车辆的产生位置和数量进行不同的组合，形成不同交通环境下的驾驶场景. ③ 局域网内的网络连接. 实现网络连接后，该驾驶仿真系统则可以有更大的灵活性，只要在同一局域网下，则可以任意接入驾驶车辆，实现多车测试，更加真实地模拟真实交通环境来进行驾驶安全教育. ④ 观察屏. 驾驶人员或者其他人员能够在观察屏上看到驾驶者操控硬件设备的实时录像、场景的全局地图以及当前驾驶车辆的局部地图，这样能够更加清晰地看到驾驶车辆在地图中的位置信息，并且观察到车辆周围的环境. 虚拟驾驶仿真系统按照实现的功能模块可以划分为测试车模块、环境场景与交通设置两大部分，整体功能框架图如图4所示.

测试车模块主要用来展示汽车的基本功能和结构能. 汽车构造系统是一个非常庞大且复杂的系统，为了更好地建立汽车的仿真模型，给汽车驾驶场景的建立提供完整的汽车功能模型，对汽车构造系统进行了抽象简化与建模[4]. 测试车与辅助车的输入方式不仅有油门、刹车、方向盘、转向，同时还有智能的交互输入方式——手势交互与语音交互. 系统收集到测试车的信息后，可以反馈到智能驾驶座舱里的屏幕中. 多辆测试车之间通过局域网连接，驾驶人员可以看到其他驾驶人员驾驶的车辆.

环境场景与交通设置模块主要为汽车提供驾驶环境，包括声音、天气、场景、智能车辆、道路、天空盒、等模型，还对建筑物等模型设置碰撞体，同时设置智能车辆在不同场景中的行驶路线、速度和数量，尽量符合真实驾驶环境. 周围环境与设施包含场景中虚拟的驾驶车辆，红路灯、建筑房屋、地形树木等交通辅助设施. 收集的数据信息主要为纵向数据(速度、加速度、位置等)、横向数据(方向盘转角，水平偏移等)和状态信息(高级辅助驾驶系统、道路环境等)[5-6]. 后期分析时可以根据具体实验需求，遴选所需数据.

4 基于模拟器的智能驾驶汽车LDW功能的HMI测试方法分析

随着大数据、计算机视觉、机器学习、云计算等技术等不断发展，推动了汽车的自动化和智能化，越来越多的汽车正在开发ADAS. 通过收集数据，识别，检测和跟踪静态和动态的对象，并结合导航地图数据以执行系统操作和分析，从而让驾驶人员提前察觉到可能发生的危险，有效提高了汽车驾驶的舒适性和安全性. 上述的测试实验环境可以适用ADAS中的各项功能，以下以LDW为例分析HMI的测试方法.

4.1 LDW功能分析

LDW通过在汽车上的一个物理按键被激活，如果驾驶员在驾驶过程中偏离了原来的行驶车道，但没有转向操作(如打转向灯)，系统就会发出相应的信号警示，从而减少因车辆偏离行驶车道而造成的交通事故[7]. 常见的 LDW警报方式有在仪表盘及HUD的提示、声音、方向盘的振动、方向盘的回正力、安全带的缩紧等.

4.2 基于LDW功能的HMI测试实验

实验假设在使用LDW功能后，不同的纵向驾驶速度下对系统可用性、驾驶员心理、行为因素有不同的影响.

4.2.1场景设计

在对LDW进行应用场景设计前，要先确定测试法规，这里选取的美国高速公路安全管理局NHTSA(National Highway Traffic Safety Administration)制定的标准. 车道线的宽度在 10～15 cm 之间，车辆两侧分别为黄色不连续虚线与白色连续实线. 主要场景选定直道左偏,如图5所示. 车辆在最早报警线(距离车道线0.75 m)与最迟报警线(距离车道线0.30 m)之间发出警报，对应屏幕上的界面随着发生改变，并且伴随着语音提醒.

针对 LDW 的HMI测试，这里主要测试了三种纵向速度下的被试行车反应. 车辆以纵向速度分别为40，55和70 km/h的速度进行测试，允许在±2 km/h之内. 只要车辆在最早报警线与最迟报警线之间发出警报即视此次测验为有效.

当被试开启LDW功能以指定驾驶速度在当前车道平稳行驶后，因无意识车道偏离受到HUD上界面提示后，转动方向盘使车辆回正，界面提示消失, 如图6所示. 每位被试一共以3次测试每完成一次测试，填写系统可用性量表(SUS)、总体工作负荷量表以及进行简短的实验后访谈.

共有12名被试参与了这项实验，5名男性、7名女性. 他们年龄在20～30岁之间，平均年龄24岁(SD=3.3),驾龄在一年以上. 并且，被试没有眼疾或行为上的疾病. 测试前介绍了LDW的功能，并进行了10～20 min的练习以熟悉模拟器的驾驶.

4.2.2实验设备和测量

此次实验在上述可用性测试实验环境中完成. 实验装置主要硬件部分如下：① 一套罗技G29：包括方向盘和三脚踏板，被试通过方向盘上的物理按键开启LDW功能；② 一台计算机：控制G29驾驶模拟器，供被试使用；③ 三台显示器：用于操作监控区实验人员观察实验场景与数据. 实验装置软件部分为Unity 5.0及Unity相关插件：营造真实的驾驶环境. 车辆速度、THW值、方向盘转角、刹车、加速等驾驶信号可以通过Unity获得并导出.

4.2.3实验结果

根据模拟器采集的回正时间数据可知，不同速度下的平均回正时间有着显著的差异, 如图7～8所示. 经过对比分析，40 km/h速度下，回正时间为4.1 s，高于70 km/h速度下1.0 s. ANOVA(α=0.05)检验了3组数据之间的显著的差异性(F(2,33)=43.80,p<0.05).

系统可用性量表SUS是广泛用于测试产品、系统的可用性的量表，具有很高的信度. 其包含十项题目，奇偶题目穿插正面积极与负面消极描述，5点量表(1为强烈反对，5为非常同意). 得到原始数据后需将其转化为百分制的分数. 将12名被试的可用性量表总分数据统计表、三组速度的对比分别如图9～10所示.

速度为40 km/h的平均得分为74.0分(SD=10.6)，高于55 km/h速度下得分69.1分(SD=9.61)与70 km/h速度下得分66.3分(SD=10.7). 说明参与实验的被试人员认为低速时LDW功能的体验更好些.

根据上述结果与试验后访谈情况，被试在不同驾驶速度下使用LDW功能有着显著的差异，表现在：速度越高时，心理负荷增高，界面可用性略降低，同时回正时间明显减少. 因此，在设计LDW的HMI时，应注意尽量避免过多占用被试的行为资源，简洁明了为主，同时提高系统性能，增强系统可用性.