一种基于力反馈的技能虚拟训练系统构建研究

田亚平 周晓珊 马春龙

摘 要：为了解决当前市面上虚拟仿真训练系统在触/力觉方面显示能力不足的问题，以一站式、全方位、多维度优化为设计目标，设计并实现了融合力（触觉）反馈的技能仿真训练系统。该方案结合力反馈方法、眩晕缓解措施、效果评价体系，最大程度上实现了用户和产品之间的交互性。通过与相关企业和院校合作，设计并实现了一款篮球投篮仿真训练系统，该系统对投篮发力进行数字化反馈式训练，表明效果较佳，具有一定推广价值。

关键词：虚拟仿真;触觉反馈;篮球仿真训练;虚拟现实技术

DOI：10. 11907/rjdk. 192699 开放科学（资源服务）标识码（OSID）：

中图分类号：TP319文献标识码：A 文章编号：1672-7800（2020）008-0134-05

Abstract： In order to solve the problem of insufficient display ability of touch/force perception in the current virtual simulation training system on the market， a skill simulation training system integrating force （touch） feedback is designed and realized with the design goal of one-stop， all-round and multi-dimensional optimization. This scheme combines the force feedback method to alleviate vertigo， and the effect evaluation system maximizes the interaction between the user and the product. Through the cooperation with related enterprises and universities， a system for basketball shooting simulation training was designed and implemented， and the system conducted digital feedback training on shooting force training and the effectiveness and extensibility of the scheme are proved.

Key Words： virtual simulation; tactile feedback; basketball simulation training;virtual reality technology

0 引言

目前，虚拟现实技术在国内市场得到了广泛应用，需求遍布医疗[1-3]、教育[4-5]、军事[6-8]等各领域。《“十三五”国家战略性新兴产业发展规划》提出，要加快虚拟现实、增强现实、全息成像等核心技术创新发展;教育部办公厅《关于2017-2020年开展示范性虚拟仿真实验教学项目建设的通知》明确提出，建设示范性虚拟仿真实验教学项目，能有效推动高校积极探索线上线下教学相结合的个性化、智能化、泛在化实验教学新模式，支撑高等教育教学质量全面提高。

在市场上推广使用的虚拟现实技术包括以下两种类型：①桌面式虚拟现实系统，可在电脑屏幕中呈现三维虚拟环境，通过鼠标、手柄等进行交互， 虽然这让使用者严重缺乏体验感，但由于成本相对较低而得到广泛应用[9];②完全沉浸式虚拟现实系统，使用者需要佩戴沉浸式输出设备（比如头盔、定位手柄等），以及头部、身体追踪装置，从而确保其身体运动和环境反馈之间的精确匹配。其可以将使用者的视觉、听觉与外界隔离，排除外界干扰，全身心投入虚拟世界中[10]。但是上述虚拟现实系统在交互上存在一定不足，尤其是技能训练产品缺少触感的直接交互，无法通过产品体验得出运动效果的评价反馈，也无法实现所见即所感，及人与虚拟环境的双向交流[11]。鉴于此，本文以一站式、全方位、多方面为设计目标，设计并实现了融合力（触觉）反馈的技能仿真训练系统。该方案结合力反馈方法、眩晕缓解措施、效果评价体系，最大程度上实现了用户和产品之间的交互性。使用Kinect与传感器对用户运动和生理数据进行实时采集，利用科学有效的分析方法准确捕捉、描述用户动作细节，为训练结果提供相应的原因分析，用户通过可视化显示界面实时查看自己的训练数据。

1 系统方案设计

1.1 系统总体设计

如图1所示，本文方案是对于仿真训练的一体化设计，包含内容制作与触觉、视觉、听觉的一体化处理方法，以及科学、全面的效果评价体系。该方案共有5层结构，分别是：数据处理层、存储层、人机交互层、效果评价层以及评价反馈层。数据处理层在内容制作上采用Unity3D技术以及缓解眩晕感的措施对产品进行软件搭建;存储层对内容、各项设备记录和分析的数据进行存储;人机交互层主要通过力反馈设备将听觉、视觉、触觉有效输出并反馈到人体，让人在技能训练的同时，切实感受到力度感、沉浸感;在效果评价层和效果评价反馈层提供基于受训者本身的科学全面的效果评价，及时有效地为用户反馈训练健身数据，得出训练矫正方案，让用户掌握最正确的技能训练方式，实现数字化安全训练。

1.2 系统核心技术

1.2.1 多自由度力触融合反馈方法

多自由度力触融合反馈方法指在人机交互过程中，计算机对操作者的输入作出响应，并通过力触觉设备作用于操作者的过程，即操作者通过交互设备向虚拟环境输入力或运动信号，虚拟环境以视、听、力或运动信号的形式反馈给操作者。力触觉反馈交互系统主要由操作者、六自由度力触交互设备、计算机、受控环境以及相关数据采集、通信等配套部分组成。其中，受控环境既可以是真实环境也可以是计算机仿真模拟的虚拟现实环境。力触融合交互设备采用六自由度力觉生成，解决复杂形状物体多点多区域不穿透接触交互模拟和刚体交互的六维力与力矩联合计算问题，通过传感器、数据采集模块实现操作者动作识别，受控环境根据操作者动作作出相应响应，并向计算机提供被操作对象的运動及交互力信息;计算机根据系统相应的控制算法，进行运动分析、反馈力计算及界面显示，最终通过力触融合交互设备的电机输出转矩合成空间反馈力并作用于操作者。

力触融合反馈方法是从生物力学的角度，基于拓补学中正六边形模型而建立的皮肤表面形变模型，可以近似仿真皮肤表面，并且在模型中，为每个质点都设计了一个弹簧模型，用于力反馈计算和系统稳定性增强。并且，通过建立虚拟皮肤表面实时力触融合反馈交互系统（见图2）[12-14]，实现碰撞检测和触觉反馈功能，在力觉上所用的触觉交互设备能够准确跟踪人手三维运动，将由虚拟模型计算的虚拟力实时反馈给操作者，在力觉上提供逼真的沉浸感。其最大输出反馈力为3.3N。

1.2.2 多环节多层面集成的眩晕现象缓解优化策略

本文方案整合现有眩晕抑制技术，并在此基础上进行优化，采用多环节多层面的4种眩晕缓解集成优化策略。在缓解眩晕后，采用基于自有的力触觉融合反馈方案以更加真实具体地反馈现实场景的力，并在训练效果评价时，减少眩晕感带来的身体不适，避免非训练内容导致的心率加快等干扰因素，使得效果评价更加精准，可有效反馈训练结果。

如图3所示，在本文设计的一站式方案中，采用多环节多层面的集成优化策略以缓解眩晕现象。

（1）基于模拟晕动症本质[15-16]的解决方案。在本文一站式解决方案的人机交互层，计划预留出1㎡左右的现实空间，让用户在虚拟世界中360°自由移动，包括下蹲、跳、坐下等丰富的肢体动作，以便用户用自己的真实行动操控训练场景中的角色移动，从而避开模拟晕动症产生的源头。这种映射越是自然，晕动症状就会越轻微。

（2）利用低余晖效应[17]降低晕眩感。余晖效应是视觉暂留现象，指人眼在观察事物时，光信号传入大脑神经需要一段短暂时间，光信号消失后，视觉形象并没有立刻消失。在准备足够的现实空间后，在人机交互层的视频输出设备中同时使用两种方法降低余晖效应：①头显采用有机电激光显示器，确保色彩分量同时点亮，从而降低余晖效应;②方案中所采用的头显设备会具有很高的刷新率，达到90Hz以上，使得虚拟物体运动更加接近真实世界，从而有利于缓解眩晕感。

（3）内容开发使用Unity3D的VRPanoramaCamera 渲染[18]降低眩晕感。在对硬件进行处理后，在一站式方案数据处理层的内容制作上使用Unity3D的VRPanoramaCamera 和Vistual Studio 2015对内容采取一系列眩晕渲染降低措施，最终使得内容以人眼最能接受的灯光和环境风格呈现出来。

（4）通过渲染与矫正头显分辨率缓解眩晕感。针对数据处理层的实时渲染部分，分两步对头显分辨率进行处理，一是对中间直线式图像进行渲染，二是进行透镜失真和色差非线性校正，使得头显分辨率更加适应虚拟环境中的使用者。

1.2.3 时空多维度评价与效果监控体系

在本文一站式方案中，技能仿真训练和科学健身效果评价系统采用分层结构（见图4），即运动训练数据采集层、运动训练数据分析层、运动训练数据评价层。每一层在物理上做到互相独立，却在逻辑上紧密相连，上层以下层为基础。这样极大地提高了本方案的兼容性和可扩展性，为后续方案升级提供了便利。

在训练数据采集层上，利用Kinect与传感器对用户运动与生理数据进行实时采集[19]。其中，运动数据包括力、速度、加速度、角度、频率;生理信息包括心率、呼吸频率、体温、心电图。根据用户训练情况，建立基于时间序列的运动参数数据库，时刻记录着用户运动成长数据，为成长曲线搭建提供数据基础。

在训练数据分析层上，本文方案训练效果分析方法有运动动作识别、训练匹配度识别、基于曲率的运动平滑度度量、训练过程中的原因分析法。这些科学有效的分析方法能够准确捕捉描述用户动作细节，为运动训练结果提供相应的原因分析，涉及原因归类为训练动作（力、速度、加速度、角度、频率）、生理状态（心率、呼吸频率、体温）与自身条件（性别、年龄、身高、体重、肺活量、血压），为学员（客户）调整自身运动训练提供理论依据。

在训练数据评价层上，本文方案使用3方面的效果评价。一是对用户训练过程中运动状态的周期性数据评价与生理信息的实时监控，实现数字化安全训练;二是对用户与运动训练数据库中的数据进行对比分析，构建用户成长曲线，包括动作匹配度曲线、周运动量统计图、评价等级曲线，便于用户找到更加有效的训练方法;三是对运动完成过后的加权运动训练效果评价，采用层次分析法兼顾不同用户之间的信息差异，包括性别、年龄、身高、体重、肺活量、血压，针对不同用户实现科学合理的效果评价。

2 系统核心设备硬件配置

根据市场产业化需求，在第三方虚拟现实交互硬件上，本文一站式方案采用HTC Vive公司的头戴式设备、操控手柄以及空间定位追踪设置，如图5所示。HTC Vive[20] 是由HTC与Valve联合开发的一款VR头显（虚拟现实防眩晕头戴式显示器）产品，于2015年3月在MWC2015上发布。 由于有Valve的SteamVR提供技术支持，因此在Steam平台上可以体验利用Vive功能的虚拟现实训练。目前，Vive在虚拟仿真上已经全面支持高精度仿真操作及体验交互，成为仿真领域的硬件首选。

在训练动作捕捉上，采用Kinect光学捕捉装置[21]，如图6所示，相比于传统穿戴式动作捕捉设备，其具有布置方便、操作简单、成本较低等优点。同时，在场地选择上具有极大自由性，能够满足绝大部分用户要求。在训练方面，本文在采用光学动作捕捉的同时，增加穿戴设备，例如关节定位器、数据手套等，提高运动精确采集，满足用户对训练的高要求，使得训练具有严格的数据基础。

Kinect、HTC Vive与主机之间通过共享数据库实现数据共享，Kinect通过光学定位将采集到的信息输入数据库，主机再從数据库中取出相关数据用于环境渲染以及相关力反馈、碰撞体积计算，并将计算或者渲染结果传输到HTC Vive，给予用户真实的实时体验。

3 设计方案应用案例

为了检测所设计方案的有效性和可推广性，项目组与相关企业和院校合作，设计并实现了一款篮球投篮仿真训练系统。

篮球训练往往基于教练对于年轻运动员的经验教授，然而大多数教练因为年龄或身体原因，很难实现运动教授过程中的精准化示范，并且其中不排除有教练的习惯性动作，使得运动员不能第一时间抓住训练重点。此外，篮球运动具有瞬时性，运动员很难看清篮球在手部、空中、篮框上面的运动与弹跳。为了解决精准化示范与动作细节分析难题，本文一站式解决方案中实现了投篮高手虚拟仿真系统。

如图7所示，该系统解决了运动员投篮时的动作捕捉、分析、纠正问题。传统投篮训练仅仅是基于经验训练，因而具有较强的偶然性，缺少科学有效的分析与反馈。而本文设计的虚拟仿真系统使用摄像头和身上、手部设备精准捕捉运动员动作，将这些数据输入计算机数据库进行处理，最后得出详细的运动参数分析报告。并且，系统能够将动作放慢到常人能够反应的速度，对投篮动作中的细节进行放大并加以分析，运动员能够基于细节分析有针对性地调整自己的动作。同时，系统将许多标准投篮动作融入数据库，便于运动员比较、学习。该虚拟仿真训练系统解决了传统投篮训练的尝试性与偶然性，更加具有科学性、针对性，训练效率更高、效果更好。

4 结语

沉浸式VR技能仿真训练作为一种新型学习形式，已被日渐推广商用。为了有效实现技能虚拟仿真训练中“所见即所触”，将人体中触觉感官有效融入虚拟训练场景中，本文方案结合力反馈，采取一系列眩晕缓解措施，并采用效果评价体系，很大程度上实现了用户和设备之间的交互，大大加强了用户沉浸感。作为一站式解决方案，其综合各类方法步骤，可为今后相关设计创新提供理论依据。未来，将通过加强与相关企业和院校合作，在开发篮球仿真训练系统的基础上，设计并实现几款用于诸如军事、医疗的仿真训练系统，让力触觉沉浸式VR训练系统得到进一步推广与应用。

参考文献：

[1] 梁爽，邹任玲. 基于镜像疗法的上肢手功能康复游戏系统设计[J]. 软件导刊，2018，17（6）：116-119.

[2] 王子梅，徐秀林，安美君. 基于虚拟场景的踝关节训练软件系统开发[J]. 软件导刊，2019，17（5）：98-101.

[3] 孙梦真，喻洪流，符方发，等. 上肢康复训练机器人训练与康复评估系统设计[J]. 软件导刊，2017，16（5）：83-85.

[4] 季至宇. VR与AR技术教育应用研究[J]. 软件导刊，2017，16（10）：220-222.

[5] 丁飞，张登银，师晓晔，等. 基于VR/AR的互动式教学研究与实践[J]. 软件导刊，2017，16（5）：213-216.

[6] 冯荷飞，孙前. 基于开源库的插件式军用仿真引擎研究[J]. 软件导刊，2014，13（10）：99-101.

[7] 张志勇，刘鹤松，张锐，等. 基于虚拟现实技术的军校本科学员战斗应激反应训练研究[J]. 高等教育研究学报，2018，41（4）：117-120.

[8] 黄婧. 基于虚拟现实技术的战斗模拟训练系统[J]. 光电子技术，2019，39（3）：219-224.

[9] 张嘉鹭，邢邦圣，马军，等. 基于Cortona 3D的动车组转向架虚拟仿真检修实验系统的设计[J]. 实验技术与管理，2018，35（6）：130-134.

[10] 陈华明，吴建平，方芳，等. 虚拟现实技术在历史教学中的应用[J]. 软件导刊，2017，16（5）：190-192，197.

[11] CAMERON C，PARK J K，BEIM D. Human-computer interaction experiments in an immersive virtual reality environment for elearning applications[DB/OL]. http：//aaee.com.au/conferences/AAEE2009/PDF/AUTHOR/AE090121.pdf.

[12] 王党校，焦健，张玉茹，等. 计算机触觉：虚拟现实环境的力触觉建模和生成[J]. 计算机辅助设计与图形学学报，2016（6）：881-895.

[13] 李会军，谢桂平，宋爱国，等. 基于力触觉手柄的虚拟环境力反馈交互系统稳定性分析[J]. 仪 器仪表学报，2019，40（6）：162-170.

[14] 聂新明，王晨，赵新生，等. 力触觉融合式儒家六艺活态传承微型学习技术环境的构建[J]. 现代教育技术，2019，29（8）：93-99.

[15] 张杨昊，李孝禄，许沧粟，等. 具有运动真实感的VR健身单车设计及测试[J]. 体育科学，2018，38（7）：50-55.

[16] 易琳，贾瑞双，刘然，等. 虚拟现实环境中视觉诱导晕动症的评估指标[J]. 航天医学与医学工程，2018，31（4）：437-445.

[17] 严宝平. 虚拟现实硬件的发展与游戏应用[J]. 常州大学学报（社会科学版），2017，18（1）：110-115.

[18] 秦超龙，宋爱国，吴常铖，等. 基于Unity3D与Kinect的康复训练机器人情景交互系统[J]. 仪 器仪表学报，2017，38（3）：530-536.

[19] 杜惠斌，赵忆文，韩建达，等. 基于集员滤波的双Kinect人体关节点数据融合[J]. 自动化学报，2016，42（12）：1886-1898.

[20] 汪泽伟，于有光，杨付正. 基于HTC Vive的全景视频显示质量评估[J]. 液晶与显示，2018，33（1）：85-91

[21] 李诗锐，李琪，李海洋，等. 基于Kinect v2 的實时精确三维重建系统[J]. 软件学报，2016，27（10）：2519-2529.

（责任编辑：孙 娟）