基于Leap Motion体感控制器的*三维经络辅助教学系统设计与实现

朱 琳 孔令聪 赵文华* 马志庆 张明辉 刘 杰

Leap Motion是美国Leap公司发布的一款面向个人电脑(personal computer，PC)机及苹果电脑Mac的体感控制器。Leap Motion体感控制器利用富有表现力的手势使人从硬件设备的束缚中解脱出来，通过采集用户手势在空间运动数据，操作三维(threedimensional，3D)对象。虽然其目前应用较为广泛，但在中医领域目前尚无相关涉猎，而目前中医经络研究陷入瓶颈。因此，本研究利用Leap Motion体感控制器开发中医经络的相关应用平台，以推动传统中医继续深入发展。

1 经络辅助教学系统设计与实现

1.1 设计人体3D模型

利用3ds Max建立仿真的3D人体模型。具体步骤为：①将人体正面、侧面、背面的肌肉分布线稿，扫描后用Photoshop调整为长宽一致的图片，将这些图片导入3ds Max作为模型背景；②沿着背景的肌肉轮廓画出Spline曲线，在画出的区域内添加分割曲线，将其分成数个四边形平面，在Edit Spline编辑器选择“Create line”，画出纵横交错的曲线[1]；③视图形的曲面复杂程度增加Spline轮廓曲线密度(如人体鼻子、眼睛、嘴部等五官的轮廓曲线很密)参照人体前、侧视图，按投影关系拖动已制作出的曲线控制点，使形成的曲面形状与线稿更接近；④制作好1/2身体模型后用作镜像(mirror)[2]的办法生成另外1/2，并对其稍加修整后完成两部分的接合。

1.2 经脉穴位的抓取和建立

设计好人体模型后采集穴位。包括穴位位置采集和穴位信息采集两部分：①穴位位置的采集主要运用Open GL的定位函数：glu Un Project()，此函数的具体用途是将一个Open GL视区内的二维坐标转换为与其对应的场景中的3D坐标[3]；②穴位信息采集是依靠用户手动输入完成，输入完成后再利用My SQL数据库进行存储。在3D可视化展示中，读取数据库存储的信息，对人体12经络中的全部309个穴位进行再绘制。完成后的3D模型如图1所示。

图1 穴位的信息建立示意图

1.3 系统设计流程

调用Leap Motion相关函数采集双目图像，利用算法生成深度图像，判断手势是否存在，如存在即对手势进行持续追踪[4-5]。手势检测的流程如图2所示。

图2 手势检测流程图

1.4 系统具体实现

系统具体开发流程分为以下方面：①安装Unity导入Leap Motion等关联依赖包；②导入设计好的人体经络3D模型；③设计场景以及对应的界面；④将资源包Core Assets中的LeapHandController、CapsuleHand、RigidRoundHand脚本导入场景中并配置其属性；⑤编写相应的C#脚本；⑥将开发好的应用进行测试[6-9]。

2 经络辅助教学系统结果

(1)3D经络辅助教学系统界面展示。打开医宗实用经络腧穴3D模型的使用界面，其中包括开始探索、设置、关于等选项，根据需求点击其相关内容，经络腧穴3D模型的使用界面如图3所示。

(2)人体经络与腧穴的3D展示。将Leap Motion通过通用串行总线(universal serial bus，USB)接入PC端，通过旋转和缩放人体模型，从不同角度观察人体的经络与腧穴(如图4所示)。

图3 3D经络辅助教学系统界面图

图4 手控制旋转缩放模型示图

(3)腧穴详细信息展示。当通过手势选定3D模型上的具体腧穴，使腧穴处于选定状态，在系统界面的左侧会显示腧穴的详细信息。经络循行，后期能够做到模拟经络的循行路线，选中目标经络，可展示经络循行路线的信息，并显示流经的所有腧穴的相关信息(如图5所示)。

图5 显示穴位信息界面图

3 结论

课堂演示是经络教学过程中的主要环节，课堂演示技术在很大程度上限定了经络教学课堂的教学形式。而现在经络教学还处于传统的平面教学模式，存在腧穴定位不够直观，教学信息无法精确获取等问题[10]。

本研究针对经络教学课堂演示存在的各种问题，采用人机交互的方式，根据交互需求，选取Leap Motion手势识别控制器设备[11]。通过对Leap Motion技术和3D人体经脉模型的结合与创新，开展课堂演示手势识别系统的研究与开发，得到一种全新的经络教学平台，教师可通过简单的手势控制3D人体模型更直观、精确地全方位视角呈现经络内容，清晰生动地展示和讲解人体穴位，操作方式趋于简易化、自然化[12-13]。在后期实现学生、教师自检的功能，使用数据进行深度挖掘和分析，进一步提升教学模式和使用体验，以大数据驱动教育的变革。

参考文献

[1]张季，张宏如，董海艳，等.基于Unity3 D技术的数字人体腧穴教学信息系统的设计与实现[J].中国医学教育技术，2014，12(2)：139-142.

[2]华子荀.Leap Motion支持下教育电视节目提高学生学习质量和效果的研究[J].教育信息技术，2015，9(5)：89-90.

[3]朱燕，王蕊，朱玲，等.基于三维虚拟技术的人体经络腧穴可视化系统的构建研究[J].国际中医中药杂志，2015，37(12)：1121-1124.

[4]刘金磊.Leap Motion交互在民机上的应用[J].科技传播，2015，7(18)：46-48.

[5]孙红光.应用3D MAX制作人体器官模型[J].齐齐哈尔医学院学报，2004(2)：27-29.

[6]黄俊红.基于Leap Motion的手势控制技术初探[J].计算机系统应用.2015(10)：101-102.

[7]张伟，张淑苗.基于Unity3D的三维模拟针刺训练系统的设计与开发[J].卫生职业教育，2016，34(13)：28-29.

[8]张伟，张淑苗.Android平台下三维模拟针刺训练系统的设计与开发[J].甘肃科技纵横，2016，45(4)：12-14.

[9]张砚，刘霞，王益民.虚拟针灸取穴实训系统的设计与开发[J].天津中医药大学学报，2013，32(4)：234-236.

[10]蒋轶男.张缙教授针刺手法影音资料研究[D].哈尔滨：黑龙江省中医研究院，2012.

[11]孟祥军，赵文华，马志庆，等.医学移动软件中虚拟现实人机交互方案的研究[J].中国医学装备，2017，14(8)：112-114.

[12]张晗.虚拟现实技术在医学教育中的应用研究[D].济南：山东师范大学，2011.

[13]孙杰.基于Web的虚拟三维人体经络腧穴实验设计研究[D].长春：吉林大学，2011.