面向多点交互的多模态振动反馈触觉再现系统*

陆 熊，林闽旭，高永强，黄晓梅，陈春晓，刘 佳

(1. 南京航空航天大学 自动化学院， 江苏 南京 211106； 2. 南京信息工程大学 自动化学院， 江苏 南京 210044)

近年来，随着人机交互技术的快速发展，传统的电脑接口设备(鼠标、键盘)已经不能满足人机交互的需求。而力触觉再现技术作为新兴的人机交互技术，能使操作者主动感知、触摸虚拟物体，增强了虚拟现实环境中的真实感和沉浸感[1-2]。力触觉再现技术凭借自然交互独特的优势，被广泛应用在术前手术规划[3]、空间遥操作[4]、自动驾驶[5]、游戏娱乐[6]等领域。力触觉再现方法的实现，需要借助力触觉接口设备。传统的力触觉再现方法主要是基于数据手套式和基于力反馈操作杆式。Jadhav等[7]设计了一个可穿戴式软体机器人触觉反馈手套，用于虚拟环境中力的反馈，但力的控制方法复杂，造价昂贵。基于气动纤维增强技术，Wang等[8]提出了一种使用软体制动器的力反馈手套，可以充分发挥人手的灵活性，其反馈力可达4.09 N、系统响应时间约为130 ms。Kim等[9]使用Leap Motion控制器研发的可穿戴触觉系统能提供振动触觉和热觉反馈，但其系统与虚拟环境交互仅限于触碰，并未实现更进一步的交互。基于力反馈操作杆式的设备因输出作用力大，位移检测精度高等优点被广泛研究。Mashayekhi等[10]开发了6自由度的操作杆式力反馈设备，其采用了固定式电机结构和新型的弹簧系统，能有效补偿95%的重力转矩，提供更大的反馈力。 Qin等[11]利用磁流变液技术研制的6自由度的力反馈手控器可以实现多手指交互，提供更真实和自然的触觉反馈。Manawadu等[12]对比了使用Leap Motion手势输入和具有力觉与振动触觉反馈的操作杆输入在半自动驾驶汽车控制中的应用。实验结果表明，触觉设备能够为驾驶员提供直接和即时的反馈，因此与单纯的手势输入相比，具有明显的可靠性和有效性。但操作杆的反馈方法需要力矩电机和机械结构，影响操作者力触觉感知的真实性[13]。并且由于操作杆的存在，操作空间被限制在一定的范围内。此外还有一些新型的基于空气压力[14-15]、基于电磁力[16-17]的触觉再现方法可实现更自然的人机交互。虽然这些新型的方法一定程度上提高了交互的真实性，但设备结构以及控制算法复杂，造价相对昂贵。

本文针对力触觉再现领域中存在的问题，设计开发了基于Leap Motion和振动反馈相结合的力触觉再现系统，可以实现多指尖振动触觉反馈的多点人机交互。介绍了该力触觉再现系统整体的框架设计以及各个模块的构成和作用，采用深度图像提取指尖位置信息，再通过振动模块进行虚拟物体的感知和放置实验，验证了该系统的有效性和可行性。

1 触觉再现系统整体设计

基于Leap Motion和振动反馈的多模态力触觉再现系统主要包括人手指尖位置检测模块，实时获取人手指尖的关节信息；虚拟环境的设计模块，用于产生力触觉反馈的交互场景；蓝牙通信模块，主要负责进行数据的发送和接收；振动触觉再现模块，产生不同频率的振动反馈，使操作者感受到不同力的大小。系统框图如图1所示。

图1 系统框图Fig.1 Block diagram of the system

1)手指位置检测模块采用的是美国Leap公司基于双目视觉原理[18]开发的Leap Motion(80 mm×30 mm×12 mm)运动体感器，其体积小，重量轻，检测范围为摄像头上方25～600 mm的操作空间，数据的获取频率为115 Hz，深度图像的像素分辨率为640×240，检测精度约为0.01 mm。

2)虚拟环境是基于CHAI3D力触觉反馈函数库构建的。基于CHAI3D函数库进行虚拟环境场景的搭建以及执行力的碰撞检测算法，是实现力触觉反馈交互的关键。

3)蓝牙通信模块主要包括上位机蓝牙通信模块和佩戴在手背上的下位机蓝牙通信模块。采用具有低功耗的NRF51822处理器，最大可以实现30 m的远距离通信，并且该模块体积小，易于佩戴。

4)振动触觉再现模块采用的是纽扣马达(直径8 mm，厚度3 mm，质量0.5 g)，振动幅度随着工作电压的增大而增大。脉冲信号的频率越高，振动越快。

2 系统中各模块设计

2.1 手指位置检测模块

指尖位置检测模块是整个力反馈系统的交互枢纽，指尖位置坐标的精度也直接影响了力反馈的交互效果。因此手指位置检测采用了高精度体感器，Leap Motion 采用双目视觉原理，通过3个红外LED发射红外光，遇到物体后反射回来，经过红外滤光片过滤多余的光线。由于两个摄像头之间的距离和位置是已知的，运用三角测量法可以计算出位置数据。图2是Leap Motion的实物图和内部原理图。

Leap Motion使用的是右手笛卡尔坐标系，通过USB和PC建立连接，可以获取每个手掌上24个关键点的位置坐标，为多指尖交互提供解决方案。另外Leap Motion的检测范围是一个倒金字塔，塔尖位于Leap Motion 中心。在力触觉反馈系统中，基于获取到的指尖位置坐标，通过平滑滤波处理得到相对稳定的坐标值传给虚拟环境。

(a) 实物图(a) Picture

(b) 内部原理图(b) Inside schematic diagram图2 Leap Motion 实物图和内部原理图Fig.2 Picture and inside schematic diagram of Leap Motion

2.2 基于CHAI3D虚拟环境模型构建

力触觉再现系统需要提供给用户一个虚拟的交互平台，实现操作者与虚拟物体之间的交互。CHAI3D是由斯坦福大学人工智能实验室研发的一套开源C++函数库，它拥有力触觉再现、人机交互和图像可视化的基本算法，能够设置虚拟场景中物体的质量、摩擦系数和材料等特性。基于该函数库可以快速高效地生成用于力触觉反馈的三维模型，因此在力触觉再现领域得到了广泛的应用。同时提供了各种多自由度力触觉设备的接口函数来支持新的力触觉设备。

通过将指尖获取函数封装成动态链接库，基于CHAI3D提供的接口平台调用位置检测模块。并且在进行虚拟环境建模时，考虑到Leap Motion获取到的指尖位置三维坐标单位是mm，CHAI3D进行虚拟物体建模时单位为m，进行了坐标的统一。另外，CHAI3D平台提供的是单点控制，但要实现多手指控制，需要修改底层驱动函数。通过分时复用的方法提供了3个指尖的位置坐标和力的反馈，并且在虚拟环境中将3个不同颜色的小球作为指尖的代理模型。

2.3 蓝牙通信模块

蓝牙通信模块主要完成振动力大小的传输，并且需要方便携带。经过多方比较最终选择了Nordic公司设计的NRF58122无线传输模块，支持低功耗的4.0BLE蓝牙和专用的2.4 GHz 的无线收发，并且集成了32位ARM Cortex M0内核的处理器，以及可编程的外设接口。该蓝牙模块将控制芯片和射频芯片集成，具有较高的集成度，其硬件设计方便、快捷、易于实现。

2.4 振动触觉再现模块

在人机交互系统中，力触觉再现的方法众多，考虑到成本和便携性，采用脉冲振动纽扣马达(直径8 mm，厚度3 mm)来实现振动触觉再现。振动马达接收到脉冲信号后起振，电压越大，振动幅值越大。振动的快慢与脉冲信号的频率成正比，工作额定电压3 V，质量0.5 g，方便佩戴。

为了交互方便以及防止振动电机掉落，将纽扣马达贴附于指尖，并通过防滑指尖套固定。通过设计PCB电路板将蓝牙模块和触觉再现模块进行组合，实物效果如图3所示。此外，力触觉再现的供电单元采用的是中顺800 mAh的3.7 V锂电池，通过稳压电路将电压调节至3.3 V，为蓝牙模块提供稳定的电压输出。

图3 佩戴实物图以及各个组成单元Fig.3 Picture of wearing the system and each unit

2.5 系统软件设计

虚拟环境的交互系统基于Visual Studio 2017开发环境来运行CHAI3D开源函数库，在此基础上进行虚拟环境的搭建以及PC串口的调用。

整个系统的软件控制流程如图4所示。首先基于Leap Motion获取人手指尖的三维位置坐标，将指尖三维坐标传递给上位机虚拟环境并生成代理点，通过指尖代理与虚拟环境中的物体进行交互。其次，虚拟环境中当指尖代理点与物体碰撞时，运行力触觉碰撞检测算法并计算振动力的大小，根据力的大小将力的信息转换成对应的频率信息。最后通过蓝牙通信模块传输给下位机执行模块，控制电机产生振动。

图4 系统软件控制流程图Fig.4 Software flow chat of the system

3 触觉再现实验及数据分析

3.1 虚拟物体的感知实验

为了初步验证力触觉再现系统的有效性，在Leap Motion上方一定的距离处设计虚拟物体进行轮廓的感知。为了保证实验的效果，邀请了11名不同年龄的男女实验者，每个实验者进行15次虚拟物体的辨识实验，每种虚拟物体随机出现5次，每次实验限时3 min，超过设定时间实验者未判断虚拟物体形状即为失败。每次实验者操作时，不允许看到屏幕显示的物体，并用实验者左手的食指触摸感知物体，触摸到虚拟物体时触觉再现模块会通过振动来反馈已碰到的信息，如果离开虚拟物体的边界，则触觉再现模块不产生振动。实验者通过振动力触觉反馈判断虚拟物体的轮廓，整个虚拟物体感知实验如图5所示。

图5 虚拟物体感知实物图Fig.5 Experimental pictures of virtual object perception

实验场景如下：创建3个尺寸接近的虚拟物体，分别为正方体(边长100 mm)，球(半径50 mm)和圆环(内径80 mm，外径100 mm)，颜色设置为蓝色，并将其固定于虚拟场景中间，振动模块提供一维的振动触觉反馈。物体轮廓的感知实验数据见表1。

根据表1可知，实验者对于不同的物体感知的成功率不同，其中圆环的感知率最高，原因是圆环的特征较为明显，而正方体和球的特征相似，实验者需要区分弧线和平面，辨识率不是很高。但整体平均识别率达到了87.9%，表明振动力反馈设备效果较明显，实验者可以识别出虚拟物体的轮廓。

表1 物体轮廓感知实验数据

3.2 立方体放置任务实验

为了验证力触觉再现系统的有效性，设计实现了立方体的抓取与放置实验。具体的实验场景如图6所示。

图6 立方体放置实验虚拟场景Fig.6 Virtual scene of cube placement experiment

创建一个边长为30 mm的正方体模型，并将其放置于虚拟环境的左侧，同时在虚拟环境的左侧不远处创建一个固定平台，其位置不高于正方体，使正方体无法移动到平台下方的空间，红色平台的内部空间比正方体略大，保证正方体可以稳固地放置于固定架内。虚拟环境中红黄蓝3个小球分别代表实验者的拇指、食指和中指。

本实验邀请11名实验者用左手的拇指、食指和中指来抓取立方体放置于平台内，每组实验进行6次，前3次不使用触觉再现模块，后3次使用触觉再现模块完成任务，记录每次实验者3次完成任务的平均时间。立方体放置任务实验数据见表2。

表2 立方体放置任务实验数据

从表2可知，11名实验者抓取物体的平均时间都不相同，这主要是由于不同的实验者对虚拟环境的感知能力不同，但使用触觉再现模块来完成任务的时间比不使用触觉再现模块的平均时间至少提高了36.5%，整体的平均用时缩减47.7%，可以看出该触觉再现反馈系统可以显著地提高人机交互的效率。

4 结论

本文基于Leap Motion指尖位置检测模块，结合CHAI3D构建的虚拟环境，通过蓝牙通信模块和振动触觉模块设计实现了多模态、多点交互的力触觉再现系统。利用该触觉再现系统，实现了操作者多手指与虚拟环境的交互。通过虚拟物体的感知实验，验证了系统的可行性。基于方块抓取与放置实验的数据表明，该力触觉再现系统能够提高人机交互的真实感和沉浸感。该系统能够广泛用于医学手术仿真、游戏娱乐、教育等领域，对于促进多模态和多点交互的力触觉再现技术的发展具有重要意义。