基于Unity3D的药用植物学实训虚拟仿真系统①

胡芳睿,赵 梦,邱 鹏,魏德健,刘 静,魏国辉,曹 慧

1(山东中医药大学 理工学院,济南 250355)

2(山东中医药大学 药学院,济南 250355)

中药学是中医药各相关专业的核心基础课程,是联系中医基础理论与临床应用的枢纽[1].中药学课程的学习不仅要求学生有良好的中医基础理论和中医诊断学知识,还需具备方剂学及临床学科的知识[2,3].由于中药数量众多、药效多样、药味相似但存在细微差别、与基础理论与临床知识联系紧密等,都给学生熟练掌握此课程知识造成困难.

虚拟现实是新一代的信息和通信技术,包含近眼显示、感知交互、渲染处理、网络传输和内容制作等,以构建新的业务类型、跨越云端、满足用户现场体验需求等,有利于促进信息消费的扩大和升级以及传统产业的整合和创新.专业与创新结合,传统中医药与现代科技结合已成为大势所趋[4],在调查中(如图1)发现,有64.29%的受访者对中医药与虚拟现实相结合的系统较为感兴趣并且愿意安装和体验.

图1 用户体验反馈

1 系统必要性分析

(1)模拟登山采药过程摔伤、中毒、恶劣天气等情况,提高使用者对突发状况的应急反应能力,预防实训中潜在的危险[5].

(2)将中医药与虚拟现实技术相结合,加入中医、食品等要素,在学、识、寻、辨、采的基础上,加入中医药方剂、经方验方、药膳、药用性质、药用价值等相关知识,以拓展中医药知识面,而非局限于对中药的简单介绍[6].

(3)利用人工智能技术、人机交互应用、高分辨显示技术等,突破时间和空间的限制,增强用户在进行药用植物学实训过程中的真实感与体验感.加入演示、探索、辨别、知识拓展等教学环节,增添趣味性.

(4)传统的辅助教学方法学生主要通过观看平面化、不可控制的视频学习,结合虚拟现实技术后则可提供给学生三维立体的实践学习环境[7]丰富学生感性认知,加深其对教学内容的理解,弥补传统教学的不足.

(5)仿真系统分为教学、考核与娱乐3个模块,让体验者掌握学、识、寻、辨、采的步骤技巧与注意事项,在考核中作为医药类考试等考核成绩的一部分,在娱乐方面开发成游戏,更广泛地传播中医药知识与文化.

(6)本系统具有可视化数据管理中心.系统管理平台可以对虚拟环境中各道地药材生长状态及使用者操作的实时动态数据进行监控,使用者操作过程所有数据都可以实现三维可视化,或将虚拟现实技术集成到系统中,通过HTC VIVE虚拟现实眼镜来查看所有数据.

2 功能划分

2.1 药材寻访模块

该模块通过在虚拟现实系统中构建药材所在地到山脚下的一条道路,用户通过系统中UI指示,以及道路指引到达药材所在的大概位置.本系统在药材周边种植该环境所应该拥有的其他植物,用户通过给定的设备,辨认出应寻植物,进行点击碰撞,辨识成功则给出相应植物知识点介绍.该模块是模拟现实药用植物实训课程,可以较为方便地进行虚拟实训,因而增加了学生实践操作的机会,实现医药类学生有条件在教室指导下从灌输式被动学习到主动学习到主动积极灵活学习的转移[8].

2.2 药物知识展示模块

该模块填补了药用植物学实训的短板.当用户在系统中找到并触碰该药物植物时,该植物周边会分布其临床应用、药材质量分辨、经方验方、药膳药理等知识的UI.该方式为培养高水平的医务人员提供了平台,为教师创新教学理念、丰富教学内容和教学形式提供了手段[9].

2.3 突发情况应急处理模块

考虑到药用植物实训中所可能出现的各种突发状况,此模块为用户提供应对措施,训练用户急救能力.此模块将建立第三人称视角下的虚拟人物,设计并加入病理状况,不定时不定点的分配安置在寻访药材的道路上,一旦用户发现生病虚拟人物,可进行查看疾病原因、选择治疗方案及查看相应急救措施UI介绍等一系列操作,以应对突发状况.此模块可训练学生对药材的灵活运用能力以及对突发事故的处理能力,为实际登山寻药奠定坚实的基础.

3 面向对象

3.1 中医药院校

辅助中医药院校学生更系统的进行中药学相关专业的学习.

3.2 中医药爱好者

为中医药爱好者了解相关知识提供更多便利,普及中医药文化.

4 系统构建方案

利用Unity3D引擎搭建三维虚拟采药环境.基于药用植物的性味归经、药用价值等专业知识,在系统中为药用植物添加临床应用、药物处方等相关拓展知识.依附于HTC VIVE协同Unity3D引擎,使用C#语言对虚拟环境进行模块交互开发[10,11],增添用户交互方式.搭建用户使用平台,保证用户初步使用和学习[12].并进一步增加药材数量、用户交互方式及突发事件数目,完善各模块功能,提高用户体验.图2是系统开发流程图.

图2 系统开发流程

5 系统实现

5.1 建立模型

利用犀牛(Rhino),MAYA作为主要的建模工具,对所涉及到的场景及药材进行建模.药材叶片,根茎和果实分别采用犀牛(Rhino)软件中的偏移曲线,圆柱管和多边形编辑指令完成建模;中毒,中暑等突发情形的人物动画使用MAYA编辑关键帧展现以及山地模型均采用MAYA制作.建模完毕,将贴图材质及动画随模型导出.FBX格式并导入Unity3D.

5.2 场景搭建

使用Unity3D自带的UGUI系统,搭建UI界面;导入Unity3D标准资源包Environment和SkySerie Freebie为地形模型种植相应的花草树木渲染场景;导入WeatherMaker和AVProvideo插件实现天气变化、四季交替及场景切换过渡的功能[13];

由于环境较大,须采用异步加载的方式切换场景,API为SceneManager.LoadSceneAsync();具体实现代码如图3.

图3 场景加载代码

5.3 系统核心功能

5.3.1 扩充药材库

在背包图鉴药材的基础上,添加中药材数量,比如灵芝、山楂、芦荟等中药,完善药材库.

用户首先在“背包图鉴”环境中选择想要探寻并学习的中药材,点击中药材图片按钮即可出现药材的三维立体模型.然后点击“穿梭”按钮即可进行场景穿梭转换进入所选药材的道地产区.

5.3.2 手柄交互菜单

进入所选药材的道地产区虚拟场景后,就能进行寻药采药的实训.在手柄UI菜单中设置“昼夜”“四季”“天气”“突发状况”等选择项,如图4所示,用户点击“天气”中的“雾霾”、“雷电”、“暴雪”等即可出现寻药采药过程中的天气状况.

5.3.3 急救功能

面对如中毒,中暑,摔伤等突发状况,用户可采用系统设定的正规急救方式,锻炼其急救能力.当遇见危险时,用户可轻触手柄圆盘,选中“急救包”即可出现对应的急救物品,如图5所示.

图4 恶劣天气菜单

图5 急救功能菜单

5.3.4 自动导航功能

为减少药物实训过程中所带来的各种不可控因素,方便用户寻找,加入带有AI寻路功能的小精灵指引用户前进.

自动导航就是提供目标点,根据障碍物自动计算出最近路径,使用Unity3D自带解决方案Navigation,首先将地形设置为Navigation Static[14–16],因在虚拟世界中使用手柄可以实现瞬移,所以将Back面板中的Max Slope修改为最大坡度,最终参数设置如图6所示.

为避免寻药过程乏味,系统不会设置小地图,完全由用户自由寻找,点击想要寻找的目标药材,主相机(Camera)上拉到上帝视角,通过动画演示小精灵经最短路径寻找到目标点的全过程[17].

用户可利用小精灵提供的寻药路径,寻找药材.找到药材后,点击药材上方的按钮如图7,即可出现该药材的三维立体模型与“药材介绍”以及“中药方剂”等药物信息,用户可自行选择了解.

6 结语

药用植物学实训虚拟仿真系统有助于广大中医药爱好者更系统、直观地学习中医药知识,了解中药的生长环境,明确中药的性味特点、主治功效、鉴别方法等相关知识,同时将中药学与中医、食品相结合,介绍中医药方剂、临床应用、经方验方、药膳等专业知识[18],帮助使用者构建完整的中医药知识体系框架.

该系统能跨越时空,提高中药学类专业学生的实践能力,弥补传统实地采药教学模式的缺陷.借助三维技术和游戏模式,使学生能够在虚拟自然环境中,全面观察药用植物的三维形态和生长环境,在愉快的气氛中掌握识别技能,有效提高学习效果.

图6 自动导航参数设置

图7 药材介绍