支持多通道交互的虚拟实验平台

2021-09-23邓景威吴悦明邹序焱赵熙

现代计算机 2021年23期

邓景威，吴悦明，邹序焱，赵熙

（1.广东工业大学机电工程学院，广州510006；2.广州越维信息科技有限公司，广州510660）

0 引言

虚拟实验是利用计算机技术对传统实验进行模拟的技术，是虚拟现实技术在教育领域的具体应用。传统的实验教学由于资金、设备的原因，造成教学内容陈旧，教学模式单一，限制了学生动手能力和创新思维的培养[1]。把实验教学放到入虚拟现实环境中，将打破传统实验所面临的各种物质条件限制。

受新冠肺炎疫情的影响，天津大学师生依托虚拟仿真平台完成齿轮油泵的拼装实验；北京邮电大学学生运用虚拟仿真实验云平台进行实验教学；Ravi Pratap Singh等人[2]认为在新冠疫情期间，应用虚拟现实技术可以加快对医护人员的培训，保证了安全性和高效性。可见虚拟实验有传统实验无可替代的优势。

目前，虚拟实验的应用一般通过多种通道进行交互，运用多通道交互能够拓宽用户感知和操作虚拟实验的途径。如Tsuda N等人[3]设计的一个书法教学平台，用户的书写笔划被Leap Motion记录下来，通过佩戴的手部压力装置用户能感受到压力，在装置的引导下进行正确的书写。如SHAO X等人[4]设计了多感知通道交互的虚拟拆装系统，用户在抓取大部件时使用基于Leap Motion的手势抓取动作，在抓取微小的部件时用户只要说出部件的名称，部件就会自动被选中。许明西等人[5]设计了热触觉呈现装置，该装置应用于铝热反应虚拟实验中，当氧化铁粉末和铝粉在高温下剧烈反应时，热触觉呈现装置就会向用户的释放热风，用户能很自然地感受到实验的温感变化效果；Shatha Abu Shanab等人[6]通过对比发现，基于增强现实技术的远程虚拟实验更具安全性、易用性，有助于学生掌握实验操作方法。

综上所述，将多种交互方式结合到虚拟实验当中，可以提高交互的真实感，帮助学生掌握实验知识，提高学习兴趣。

1 支持多通道交互的虚拟实验平台结构设计

本文提出的虚拟实验平台使用多种通道进行交互，包括增强现实图像、嗅觉、温感和声音呈现通道，包括基于Leap Motion的手势交互、鼠标键盘、语音交互输入通道，如图1所示。

图1 虚拟实验平台的各个交互通道

平台的硬件设备包括Leap Motion、嗅觉呈现装置、温感呈现装置、计算机、音响、麦克风和鼠标键盘。本平台在计算机屏幕上进行增强现实图像呈现。用户可通过手势与虚拟实验器材进行交互。麦克风可接收用户语音指令，控制虚拟实验的进行。音响、耳机设备会播放实验中产生的特效声音。

2 多感知通道交互方法的实现

2.1 手势交互方法

本文设计了“抓”、“放”这两种静态手势来抓取物体、放下物体，用户在抓取物体后即可对虚拟实验器材进行移动、旋转、按压等操作，完成操作后放下物体即可结束本次操作动作。这两种静态手势特征明显、区分度高，只需要使用简单的决策树分类方法，即可快速准确地区分。

Leap Motion能够实时获取手部关节点的位姿信息并把这些信息传送给计算机，实现用户的真实手与计算机中的虚拟手同步，实现手势交互。抓、放手势的一个主要区别是手的握紧程度。在手掌平面上，假设掌心指向除拇指外的四指的方向为vpalm向量，而除拇指外的手指指尖方向为vfinger向量，则vpalm和vfinger的夹角为手指的握紧角，即：

其中i可取1、2、3、4，分别代表食指、中指、无名指和小指的握紧角，如图2所示。

图2 握紧角的定义

通过Leap Motion获取手掌心及五指指尖的姿态，可以分别计算出除拇指外的四根手指的握紧角，四指的握紧角的加权平均值反映了手的握紧程度，可以依此来判断手势。假设食指、中指、无名指和小指的握紧角分别为α1、α2、α3、α4，权重分别是p1、p2、p3、p4，则手的握紧角：

其中，小指的权重较小。本文的p1、p2、p3、p4分别设为0.3、0.3、0.3、0.1。α用弧度角表示，取值范围为0到3.14，当α小于0的时候取值为0，当α大于3.14的时候取值为3.14。除了握紧角，还需要依据手指指尖距离来区分不同的手势，平台中的手势定义如表1所示。

表1中，“抓”的手势考虑到四种抓物体的方式，以适合不同用户的操作习惯。若将表1中手势“放”的判断方法改为α小于0.4，则在用户要放开被抓物体时，需要手张开的幅度很大，导致交互不自然；若将“放”的判断方法改为α小于1.3，则在用户要去抓物体时，需要手握得很紧。所以用户由“抓”的手势转成“放”的手势与用户由“放”的手势转成“抓”的手势这两个情况可使用不同的α值，使用户松开被抓物体容易，抓住物体也容易，使得手势交互更为容易和舒适。

表1 手势定义

2.2 嗅觉的呈现

本平台使用到了一种盒体形嗅觉呈现装置，装置结构如图3所示。该装置的工作原理是通过USB接口接收计算机发送来的指令，指示装置应该释放或关闭哪一种气味，装置根据指令启动特定气味盒子上的雾化片，雾化片通过雾化作用将气味盒子内的气味溶液变成气溶胶，在风扇的带动下气溶胶迅速在空气中扩散，3秒左右用户就能闻到特定的气味。装置的5个气味盒子最多能同时释放5种不同的气味。装置在使用前要先给气味盒子加入实验所需的气味溶液，以便在虚拟实验中进行释放。

图3 盒体形嗅觉呈现装置

2.3 温感的呈现

本平台使用的温感呈现装置参考许明西等人[5]设计的热触觉再现装置，装置外形如图4所示。该装置通过蓝牙通信模块接收计算机发送来的指令，指示装置应吹出或关闭特定温度的热风，用户便能感受到特定温度的热风。

图4 温感呈现装置

3 实验分析

以中学果酒果醋制作实验和铝热反应实验为例，对虚拟实验平台的虚实融合、手势交互、嗅觉和温感呈现等功能进行验证。实验环境布置如图5所示。

图5 实验环境布置情况

果酒果醋制作实验帮助学生掌握微生物有氧呼吸和无氧呼吸的知识，实验周期长，步骤主要包括清洗葡萄，去除葡萄枝梗，葡萄榨汁，对葡萄汁进行发酵等。铝热反应实验证明铝的强还原性，反应产生大量的热，具有一定的危险性，步骤包括放置滤纸，倒入氧化铁粉和铝粉末，加入少量氯化钾和镁条，点燃镁条等。运行虚拟实验平台，实验者对着麦克风说出“开始实验”，软件界面会出现相应的步骤提示信息。实验者通过手势交互操作虚拟实验器材，计算机显示器显示虚拟器材的图像信息，通过嗅觉、温感呈现装置、扬声器呈现气味、温度、声音信息。

果酒果醋制作实验中，实验者盖上虚拟发酵瓶盖子后，盖子上方出现一个虚拟的日历，等待日期超过12天，嗅觉呈现装置就会释放酒香，如图6所示。铝热反应实验中，实验者点燃镁条后，镁条剧烈燃烧，该反应产生大量热，温感呈现装置就会释放热风，如图7所示。

图6 果酒果醋制作实验的部分操作步骤

图7 铝热反应实验的部分操作步骤

3.1 易用性评价

为验证虚拟实验平台易用性，对实验学习有所帮助，选取了10名机械工程相关专业的研究生作为实验者，每人完成5次果酒果醋制作的虚拟实验，记录他们每次实验的完成时间和错误操作次数。如果实验者操作的物体不是当前应该操作的物体，且该操作会对接下来的正确实验操作产生负面影响，则认为该操作为错误操作。如图8所示，随着实验次数的增加，实验者对平台的交互方式和实验流程越来越熟悉，完成实验用的时间有所减少。同时，实验者完成一次实验的出现错误操作的平均次数也随着实验次数的增加而有所减少，如图9所示。

图8 每次实验平均用时的变化

图9 每次实验平均错误操作次数的变化

3.2 主观问卷评价

选取15名实验者，每人完成一次果酒果醋制作和铝热反应实验，然后以调查问卷的形式，对平台的虚实融合、手势交互、嗅觉呈现等评价指标进行主观评价。为了让实验者给出评价分的时候有所依据，问卷设置了多个问题，每个问题的各个选项都用具体文字来说明，然后在统计数据的时候再将各选项转换成分数。最优选项为3分，最差选项为0分，其他选项的评分介于0分到3分之间。评价指标及其评分如图10所示，评价指标的评分由相关问题的平均评分的加权平均值得到的，最高为3分，最低为0分，如图10所示。

图10 实验者对平台的评价

从统计数据可知，平台的嗅觉和温感呈现效果较好。在操作虚拟实验过程中实验者能闻到很浓的酒精和醋的气味，也能明显感受到温感呈现装置吹出的热风。实验者普遍认为在视觉上虚拟实验器材“摆放”在桌面上。通过手与虚拟器材的遮挡关系来判断手在虚拟场景中的位置，从而对虚拟器材进行操作，这种手势交互方式交互自然，实验者能轻松地进行操作。不足的地方有显示器的图像缺少深度信息，限制了实验者对手在虚拟空间中的位置判断。虚拟实验的流程总体上接近实际实验，绝大部分实验者认为虚拟实验对实验知识的理解和掌握有帮助。