基于3D虚拟引擎的无线数据触觉手套系统*

蔡奕松　鄢武　孙克争　孙永永

开发设计

基于3D虚拟引擎的无线数据触觉手套系统*

蔡奕松1鄢武1孙克争1孙永永2

（1.广东省科学院智能制造研究所 广东省现代控制技术重点实验室，广东 广州 510070 2.佛山树客智能机器人科技有限公司，广东 佛山 528315）

开发基于3D虚拟引擎的无线数据触觉手套系统，实现人手位姿可视化重现，增强沉浸式可视化触觉体验。该系统采用柔性线路的分布式IMU网络组采集人手位姿数据，并在3D虚拟引擎中重现人手的位姿和接触力。实验结果证明：该系统实现了对不同形状物体的稳定抓取、推移和放置等功能，对VR场景的实际开发应用、虚拟教学和技能培训以及人工智能数据采集训练具有重要意义。

可视化重现；分布式IMU网络组；3D虚拟引擎；数据采集训练

0　引言

随着虚拟现实技术的不断发展，通过融入人体更多感官的刺激，可丰富使用者对虚拟世界体验的沉浸感[1]。特别在虚拟零件装配和虚拟数据训练过程中手部精细动作的捕捉，对虚拟手可视化重现的灵活性和精确性都具有重要意义。

传统的外骨骼力反馈手套虽然可以捕捉人手位姿，但结构笨重，不便于手部的精细操作。为进一步提高沉浸式体验，本文开发一款轻便型无线数据触觉手套，利用分布式的IMU网络组在VR虚拟场景中重现手的位姿和接触力，实现对不同形状物体的稳定抓取、推移和放置等功能，可广泛应用于虚拟现实教学和数据训练等。

1　系统总体架构

基于3D虚拟引擎的无线数据触觉手套系统可捕获每个手指关节位置姿态[2]，结合虚拟场景，为用户提供触觉和视觉反馈。该系统主要包含无线数据触觉手套、3D虚拟引擎和3D头戴式显示器3部分，结构组成如图1所示。

图1 基于3D虚拟引擎的无线数据触觉手套系统结构组成

1.1 无线数据触觉手套

无线数据触觉手套可实时检测人手的位姿和接触力，为用户提供触觉反馈，并与3D虚拟引擎进行交互。无线数据触觉手套主要包含：

1） IMU网络组，由15个IMU模块组成，用于手指位置和姿态捕获，并经卡尔曼滤波处理后通过I2C总线连接到信号调理器；

2）位置跟踪器，用于手部位置的定位，并在3D虚拟引擎中重现手部位姿；

3）振动模块，由6个扁平振动电机组成，给人手提供不同频率的振动触觉反馈；

4）信号调理器，提供IMU网络组I2C总线的复用处理和振动模块的驱动电路；

5）主控制单元，在无线数据触觉手套和3D虚拟引擎之间传输数据，处理信号调理器传输的IMU网络组；基于手指结构模型参数利用IMU网络组和位置跟踪器的信号，通过正运动学变换解算出每个手指关节的位姿；提供振动模块的驱动信号。

另外，无线数据主要通过WiFi或蓝牙，将主控制器解算的每个手指关节的位姿和触觉信息打包发送到3D虚拟引擎。无线数据触觉手套如图2所示。

图2 无线数据触觉手套

1.2 3D虚拟引擎

3D虚拟引擎主要包括手部位姿虚拟重现和接触检测及反馈等模块。手部位姿虚拟重现模块主要通过无线网络利用主控制单元采集分布式IMU网络组的数据信号，包括每个手指关节和手掌的位置和姿态数据，在3D虚拟引擎中完成重现手部动作功能。接触检测及反馈模块主要提供手部每个指关节包括手掌与虚拟物体的接触和颜色标注功能，再通过无线数据为主控制单元提供触觉反馈信号。

1.3 3D头戴式显示器

3D头戴式显示器主要有HTC，Oculus，华为VR Glass等。3D头戴式显示器为用户提供虚拟场景的实时显示及虚拟场景的声音反馈。用户佩戴无线数据触觉手套后，可在3D虚拟引擎引导下与虚拟场景的物体进行交互体验，还原用户在虚拟场景的真实视觉和声觉[5]。

2　系统功能实现

基于3D虚拟引擎的无线数据触觉手套主要由15个IMU和1个位置跟踪器组成的网络组，通过手部位姿虚拟重现模块在VR虚拟场景中重现手的位姿和接触力。

分布式IMU网络组通过柔性电路连接，并和振动模块一起连接到信号调理器；信号调理器与主控制单元通过柔性电路连接控制；位置跟踪器通过无线方式连接到主控制单元。

当用户佩戴3D头戴式显示器看到虚拟场景中的虚拟手与虚拟物体发生接触时，3D虚拟引擎调用接触检测及反馈模块并通过无线网络反馈信号给主控制单元；主控制单元驱动振动模块为用户提供振动反馈，模拟用户的真实触感，这是人机交互过程；当接触的点在几何上形成稳定抓取物体时，虚拟物体可跟随手的运动，同时3D虚拟引擎会触发每个手指的振动模块为用户提供稳定抓取的振动反馈。

3　实验验证

为验证人手位姿和接触力可视化重现的可行性，测试捕获人手精细的抓取动作。实验在3D虚拟引擎中设计具有实际重量的虚拟杯子模型，通过对虚拟杯子的抓取任务来验证系统的可行性。实验证明：通过无线数据触觉手套的位姿捕捉，用虚拟手任意抓取、移动放在桌上的虚拟物体，并且无线数据触觉手套可反馈真实触觉。具体地，系统可通过无线数据触觉手套实现用户手部位姿包括手臂动作的实时捕捉和触觉反馈，可通过手部位姿虚拟重现模块和接触检测及反馈模块在3D虚拟引擎中三维动态重现出来。当虚拟手接触虚拟物体时，手部接触指关节显示红色并通过手套上的振动模块给用户真实的触觉。当抓取稳定时，手套振动提示用户，增强用户的沉浸式体验效果，从而实现对人手的位姿和接触力情况的可视化重现。人手位姿和接触力情况可视化重现如图3所示。

图3 人手位姿和接触力情况可视化重现

4　结语

基于3D虚拟引擎的无线数据触觉手套系统可实时捕获手部的位姿和接触力，并通过无线网络在3D虚拟引擎中可视化重现全手掌的位姿和接触力；实现对虚拟物体的抓取、放置和推移等任务；通过振动模块将用户与虚拟场景中虚拟物体交互的感觉实时模拟反馈给用户，给用户带来丰富的触觉体验，具有广泛的应用前景，如职业学校机床零件组装等虚拟装配环境的人机交互技术培训教学[3]；采集制造业熟练工人手部动作，然后用于指导培训新手[4]；采集运动员手部精细动作数据用于人工智能数据训练[5]等。

[1] 余世政,杨冕清,李德状,等.应用于VR场景的力反馈外骨骼手套设计[J].机电信息,2019(8):43-45.

[2] 刁梁.面向虚拟现实应用的数据手套研制[D].南京:东南大学,2016.

[3] 包依勤,陶圣杰,宋万里,等.基于HTC Vive的虚拟校园系统的研究与设计[J].物联网技术,2020,10(11):57-60.

[4] 郑轶,宁汝新,唐承统,等.虚拟装配环境中的人机交互技术研究[J].北京理工大学学报,2006(1):19-22.

[5] 王萍.人工智能与大数据对运动训练的促进作用研究[J].饮食科学,2018(8):243.

Wireless Data Tactile Glove System Based on 3D Virtual Engine

Cai Yisong1Yan Wu1Sun Kezheng1Sun Yongyong2

(1.Institute of Intelligent Manufacturing, Guangdong Academy of Sciences, Guangdong Key Laboratory of Modern Control Technology, Guangzhou 510070, China 2.Foshan Shuke Intelligent Robot Technology Co. Ltd, Foshan 528315, China)

The wireless data tactile glove system based on 3D virtual engine is developed to realize the visual reproduction of human position and posture and enhance the immersive visual tactile experience. The system uses the distributed IMU network group of flexible circuit to collect the position and posture data of human hand, and the position and contact force of the human hand are reproduced in 3D virtual engine. The practice shows that the system can grasp, move and place different shape objects stably, which is of great significance to the actual development and application of VR scene, virtual teaching and skill training and artificial intelligence data acquisition training.

visualization reproduction; distributed IMU network group; 3D virtual engine; data acquisition training

TP249

A

1674-2605(2021)02-0006-03

10.3969/j.issn.1674-2605.2021.02.006

广东省重点领域研发计划项目（2020B090925001）；佛山市科技创新团队项目（2018IT100173）。

蔡奕松，男，1992年生，本科，助理工程师，主要研究方向：虚拟现实技术，力控制技术。E-mail: ys.cai@giim.ac.cn

鄢武，男，1991年生，硕士，工程师，主要研究方向：计算机图形学、深度学习。

孙克争，男，1988年生，硕士，助理研究员，主要研究方向：机器人运动规划。

孙永永，男，1984年生，本科，主要研究方向：VR教育机器人。