基于虚拟物理交互技术下的卡车HMI交互系统研究
2024-08-05谢煜璇卢国明刘梦丽贾倩文
关键词:虚拟物理交互技术;卡车HMI 系统;用户交互;驾驶体验优化
中图分类号:TP37 文献标识码:A
0引言
卡车是公路货运的重要载体,其舱内人机交互界面(HMI)系统的性能对驾驶体验和行车安全有着重要影响。但现有的卡车HMI系统在操作逻辑、反馈时滞、视觉盲区等方面普遍存在不足。随着虚拟物理交互(Virtual Physical Interaction Technology,VPIT)技术的兴起,通过模拟真实物理世界的交互方式,为优化卡车HMI系统提供了前景广阔的新途径。本文拟结合VPIT技术,针对当前卡车HMI系统的痛点,提出一种全新的交互系统解决方案,并通过实验验证该方案的效果。
1虚拟物理交互技术原理
VPIT是一种创新的人机交互范式,旨在通过模拟真实世界中的物理规律和现象,为用户提供更加直观、自然和高效的交互体验。VPIT系统利用计算机图形学、物理引擎和人工智能等技术,在数字环境中精确模拟物体的质量、重力和摩擦力等物理属性,使得用户能够像在现实世界中那样操纵虚拟物体。例如,用户可以通过手势拖拽、旋转虚拟物体,系统会实时计算并呈现出逼真的运动轨迹和物理反应。
VPIT系统的实现涉及以下多项关键技术:物理仿真技术,用于准确模拟现实世界的物理规律;手势识别技术,能捕捉用户的手部动作并转化为相应的交互指令;多模态交互技术,融合视觉、听觉、触觉等多种感官反馈,提供身临其境的交互体验;机器学习技术,使系统能够不断优化并适应用户的操作习惯。此外,高性能的图形渲染、传感器技术等也是VPIT系统不可或缺的部分。这些技术的融合应用,赋予了VPIT极高的灵活性和可扩展性[1]。
2卡车HMI系统现状分析
2.1系统架构与组成
当前大多数卡车的HMI系统由多个子系统组成,包括中控台显示系统、多功能方向盘控制系统、语音控制系统等。其中,中控台显示系统是HMI的核心,通常由一个或多个液晶显示屏组成,用于展示导航、车辆状态、多媒体娱乐等信息。方向盘上集成了诸如音量控制、拨号等多功能按键,驾驶员可在驾驶过程中进行操作。此外,部分高端车型还配备了语音控制系统,支持语音指令对系统功能进行控制。
2.2用户体验痛点分析
尽管现有卡车HMI系统在功能上较为完备,但在用户体验方面仍存在诸多不足。交互方式单一且复杂,驾驶员需要在行驶中频繁操作按键或触摸屏幕,分散了太多注意力。反馈延迟较大,系统对驾驶员的操作指令无法及时做出响应,造成操控体验低劣。信息展示形式呆板,过于枯燥的平面菜单和图标设计严重影响了用户体验。大多数HMI系统无法根据驾驶环境和用户习惯进行自适应调整,无法满足不同需求[2]。
2.3安全性能局限性
现有卡车HMI系统在安全性能方面也存在一些明显的局限性。卡车的庞大车身会带来严重的视觉盲区,而大多数辅助系统无法及时、准确地检测和提醒驾驶员关于盲区内的障碍物信息;而且复杂的操作界面会强行分散驾驶员的注意力,导致驾驶员视线和注意力长时间离开道路,从而增加了发生交通事故的风险。对于一些应急情况,现有HMI系统反应迟缓,无法及时引导驾驶员采取正确的应对措施,也会造成一定的安全隐患。
3基于VPIT的卡车HMI系统设计
3.1系统整体架构
本文提出的基于VPIT的卡车HMI交互系统采用模块化设计,分为视觉呈现模块、手势控制模块、多模态反馈模块和决策引擎模块(图1)。视觉呈现模块利用AR技术将车辆数据以3D虚拟场景投影到驾驶员视野;手势控制模块通过深度相机捕获手部动作,转化为控制指令;多模态反馈模块融合视觉、听觉和触觉三种反馈;决策引擎模块根据车辆环境数据协调系统工作。我们针对各模块进行了实时性、准确性等方面的评估,结果如表1。
3.2视觉信息呈现与交互模块
该模块核心是基于AR的3D用户界面,将车辆实时数据渲染为虚拟场景并覆盖至驾驶员视野。界面根据环境动态调整布局,如夜间自动降低亮度。驾驶员可通过手势与界面交互,如挥手控制导航界面切换。手势识别融合骨架和深度两种检测机制,在复杂背景下使用Mask R-CNN分割手部。我们对该模块在不同场景的表现进行了测试(表2)。
3.3多模态反馈与手势控制模块
系统融合了视觉、听觉和触觉三种反馈模式,提供多层次的交互体验。如遭遇盲区障碍物时,将同步作出视觉警示、听觉提醒和振动触觉反馈。听觉反馈通过基于HRTFs的3D音频渲染技术生成;触觉反馈由线性动力学模型模拟。手势控制融合肌电与视觉检测,精准识别多种手势指令[3]。我们测试了各模态在不同条件下的有效性(表3)。
3.4关键算法优化
我们针对系统的视觉渲染、手势识别和反馈融合三个核心环节进行了算法优化,测试结果数据如表4。可以看出,分布式渲染框架将任务分散至GPU集群,可实现52FPS的高吞吐量;基于HDP-HMM的手势分类算法平均延迟36.0ms;DDPG深度强化学习用于反馈时序自适应调节,延迟仅18.0ms。大量测试数据和评估指标验证了我们方案在多个模块和算法层面的高性能表现,能有效应对复杂驾驶场景,显著提升HMI系统的交互体验。
4仿真实验与性能评估
4.1仿真平台与测试场景设计
为全面评估基于VPIT的卡车HMI系统方案,我们构建了一个高保真虚拟仿真平台,核心是基于Unreal Engine 5开发的交互式3D环境,支持VR、AR和MR等虚拟现实技术无缝集成。真实卡车驾驶舱3D模型被导入其中,驾驶员可身临其境地体验逼真驾驶(图2)。
除视觉效果的高度仿真外,平台还对车辆物理模型、道路交通规则等进行了精确建模。我们使用三维激光扫描技术获取20辆不同车型的精细3D模型,平均精度0.2mm。并采集40余项真实数据构建高保真物理仿真系统,与真车动力学误差控制在5%以内[4]。
平台设置了14种典型驾驶测试场景,包括城市道路、高速公路和山路等,覆盖各种复杂情况。每个场景可任意调整天气、时间、交通流量等参数,模拟极端环境。我们基于真实交通事故数据,构建20余种高风险事件随机植入场景,如行人穿行、车辆变道等,用于测试系统应急性能。
该平台与VPIT卡车HMI系统深度集成。驾驶员可通过外设体验全新交互模式。我们采集20名驾驶员1500小时真实驾驶数据引入平台,用于标定和优化系统参数,确保与真实场景高度一致,模拟误差控制在3%以内。
4.2用户体验测评
为全面评测我们提出的VPIT卡车HMI系统方案的实际表现,我们组织了一项覆盖50名专业卡车驾驶员的大规模用户体验测试。所有参与者均具备3年以上的卡车驾龄,并被随机分为两组,一组使用传统HMI系统,另一组使用我们新开发的VPIT系统,进行为期4周的驾驶测试。
测试过程中,每位参与者需要在14种不同的虚拟驾驶场景下完成89次预设的典型驾驶任务,包括转弯驶入路口、变道绕过障碍物、紧急制动等操作。此外,他们还需要在6种极端情况下应对系统随机植入的高风险事件,如行人突然穿行车道、前车紧急变道等,用于评估两种系统在应急情况下的反应性能。
为全面收集用户体验数据,我们采取了主观评分和客观测量相结合的方式。主观评分方面,参与者需要对系统在操作便捷性、视觉质量、反馈合理性等8个维度进行1~5分的评价打分,最终我们获得了6120份有效评分数据。客观测量方面,我们使用专业医用设备记录了参与者在测试过程中的心电、脑电等14项生理指标数据,采样频率为100Hz,共计21TB原始数据。同时,仿真平台还自动采集了参与者的转向角度、油门/制动踏板行程等12种操控数据,以及与障碍物的时空距离信息,共计17GB行为轨迹数据[5]。
4.3性能数据分析
大量实证数据验证了我们方案在用户体验、驾驶安全性等多方面的卓越表现。主观评分方面,VPIT系统在操作便捷性、视觉质量、反馈合理性等8个维度的平均得分显著高于传统系统,差异在p<0.001水平上极其显著,说明用户高度认可VPIT自然流畅的交互方式、出色视觉效果和合理多模态反馈。生理数据分析显示,使用VPIT系统时,参与者平均心率76.2次/min、脑电波α波35%,低于传统系统(83.5次/min、62%),说明VPIT能有效降低认知压力,减少注意力分散,提高驾驶安全性。
在89次常规任务中,VPIT系统组平均反应时间367.0ms,比传统系统527.0ms快30.4%。在6种极端情况下,VPIT组碰撞事故12次、误操作23次,传统组则高达36次和68次,安全风险明显更高。我们分析了与障碍物最小距离这一关键指标。在20种高风险事件中,VPIT系统组平均最小距离1.8m,而传统系统组仅1.2m,差距高达50%,再次证明VPIT系统对提升驾驶安全性的卓越作用。以上大量实证数据分析充分验证了我们方案在用户体验和驾驶安全性等层面的卓越性能,为其在卡车领域的应用奠定了坚实理论实践基础,将推动HMI系统迈向更安全、人性化的新阶段。
5结束语
本文针对传统卡车HMI系统存在的痛点,提出了一种创新的基于虚拟物理交互技术的卡车HMI交互系统解决方案。该系统充分利用了VPIT技术的优势,如模拟真实物理反馈、多模态交互等,从视觉呈现、操作控制、反馈机制等多个层面对原有HMI系统进行了优化和改进。通过仿真实验的验证,所提出的VPIT卡车HMI系统在提升操作效率、减少视觉盲区、增强驾驶安全性等方面都取得了显著效果。可以预见,基于VPIT技术的卡车HMI交互系统必将成为未来发展的主流趋势,对行业的技术进步和创新具有重要意义。在后续研究中,我们还将进一步优化算法性能,探索VPIT技术与自动驾驶等新兴技术的融合应用,以期为智能网联汽车时代的到来做好充分准备。
作者简介:
谢煜璇,硕士,研究方向为智能电动车辆感知决策、多感官交互设计。