虚拟现实与增强现实技术在中医药博物馆科学普及中的应用分析

韩 玉 韩晓雯 卢 颖▲ 孙瑞娟

1. 北京中医药大学中医药博物馆，北京100029；2. 南京吾皇网络科技有限公司，江苏南京 210000

中医药学包含着中华民族几千年的健康养生理念及实践经验，凝聚着中华民族的博大智慧，是祖先留给我们的宝贵财富[1]。中医药博物馆是进行中医药文化保存、研究和传播的重要机构，肩负着传承古老的中医药文化的作用[2]。2019 年10 月，中共中央国务院印发了《关于促进中医药传承创新发展的意见》，提出推进中医药博物馆事业发展，实施中医药文化传播行动，把中医药文化贯穿国民教育始终。目前，全国共有隶属于高校的中医药博物馆18 家，隶属于企业的中医药博物馆21 家，在宣传普及中医药知识方面发挥着重要作用。由于中医药知识专业性较强[3]，观众参观时在理解上难免存在一些障碍；展览多为固定的静态展陈[4]，展陈形式单一、刻板，难以激发青少年的兴趣；博物馆人员编制少[5]，无法满足日益增长的观众讲解需求。

基于此，2019 年北京中医药大学中医药博物馆自行开发了“中医药博物馆AR”软件，为24 件文物与标本建立模型，实现了观众与展品的互动。通过调查问卷的反馈，虚拟现实与增强现实技术能够在丰富展示形式、激发观众兴趣、传递更多信息、增强展品交互能力等发面发挥很好的作用，从而大大增进观众对中医药文化的理解，有利于中医药博物馆更好地科学普及中医药知识，弘扬中华传统文化。

1 虚拟现实技术与增强现实技术

虚拟现实（virtual reality）技术简称VR 技术，它是基于计算机技术产生的一种人为创造虚拟环境的技术[6]。虚拟现实利用数字交互向观众显示更逼真的虚拟情境，使观众跨越空间的界限去观察展品的内部构造和信息，使观者能融入到展品中，对模拟事件发生的历史背景和空间环境进行“场景再现”[7]。目前，国内外多个博物馆已使用虚拟现实技术，首都博物馆“王后 母亲 女将——纪念殷墟妇好墓考古发掘四十周年特展”中，利用VR 技术将妇好墓复原，参观者通过佩戴VR 眼镜，可沉浸式体验整个墓室空间细节和下葬过程，感受妇好墓的震撼场景[8]。浙江大学国家重点实验室围绕敦煌艺术的数字化保护，开发了敦煌莫高窟虚拟参观旅游系统、壁画临摹技术和壁画色彩演变技术以及计算机辅助石窟保护修复系统等[9]。天津市艺术科学规划项目“虚拟现实（VR）视野下的天津非物质文化遗产保护研究”通过动画再现传统非遗艺人的详细动作，让学习者全方位地观察学习非遗技艺[10]。

增强现实（augmented reality）技术简称AR 技术，是在VR 基础上发展起来的新兴技术[11]。增强现实也被称作混合现实，也就是把现实世界与虚拟世界合并在一起[12]。通过显示设备，用户可以同时看到虚拟信息和真实场景融合后的画面，是真实世界与虚拟世界在三维空间上的叠加，具有实时交互功能。增强现实技术集数字信息合成、图像识别及视点跟踪等多方面于一体[13]，其原理是通过摄像机识别现实场景中的标识图案，利用三维空间注册技术计算虚拟物体在现实世界坐标系中的位置及姿态，以实现虚拟数字信息与现实场景实时融合。苏州博物馆开发的“云观博AR”博物馆智慧观览平台，以“镇馆之宝”五代越窑秘色瓷莲花碗为例，观众可以通过手机屏幕旋转、缩放这件文物的动态三维模型，观察莲花瓣纹的精美细节，以及碗内秘色瓷特有的“无水似水”的釉色[14]。增强现实技术还可以应用于在服装专业教育教学中，“华服小当家”是增强现实技术与中国传统服饰和礼仪文化的结合，以艺术审美和文化传承为核心，让学生了解民族优秀传统文化[15]。圆明园遗址公园中，增强现实技术把圆明园损毁或丢失的部分以虚拟图像的形式叠加到遗址上，以呈现圆明园的本来样貌，让观众领略圆明园当年的盛景[16]。

在博物馆展陈内容丰富、准确、科学的基础上，利用VR 技术和AR 技术能够更好地做好展品、实物以及展示内容的组合搭配，形成一个主题鲜明、内容完整、有突出亮点的展览，并激发观众参与[17]。

2 北中医博物馆VR/AR技术体验的设计

北京中医药大学中医药博物馆（以下简称北中医博物馆）坐落于北京中医药大学校内，设有中国医学史展厅和中药综合展厅2 个展厅。其中医学史展厅展现了中国医药的发展历史与成就，收藏了从远古时期至新中国成立以前的医药文物1000 余件、善本医籍200 余种，中药展厅及库房收藏来自于植物、动物、矿物的中药标本2850 余种、5000 余份。自建馆以来，北中医博物馆在本校教学科研和国内外中医药文化交流方面发挥了重要作用，先后被评为全国中医药文化宣传基地、北京市青少年外事交流基地、朝阳区爱国主义教育基地，年参观量达20 000 余人次。

在VR/AR 技术体验的设计中，针对有中医药特色，观众关注度较高的24 件医史文物和中药标本建立了VR/AR 模型，以增强观众与展品之间的互动。设计过程分为医史文物与中药标本的选取和软件开发两个环节，其中软件开发分为素材收集、模型制作、UI 绘制、引擎开发四个步骤。

2.1 医史文物与中药标本的选取

医史文物的选取原则：具有鲜明的中医药特色；花纹美观，观赏性强；观众兴趣度高，有较强的产生互动的意愿；日常情况下不容易全方位欣赏或看清细节。素材的筹备包括品名、器类、时代、出土信息、尺寸重量、展品细节、文物背后的故事，以及文物的高清图片。

由于中药标本多为植物加工后的药材，或来自动物的生理、病理产物，中药标本应选择观众兴趣度高，且日常很难见到原植物或原动物，利用VR/AR 技术，可以形象的呈现动植物的原貌，传递更多信息，展现中药背后的故事。素材的筹备包括植物或动物的科属、形态特点、真伪鉴别、功能主治，以及动植物、中药标本的高清图片。

基于以上原则，选取医史文物标本共14 件，中药标本共10 件，选取的文物、标本名称，见表1。

2.2 软件开发

2.2.1 素材收集 使用高清数码相机对医史文物、中药标本进行360拍摄，即前、后、左、右、上、下六个方向。为保证模型美术人员绘制贴图的需求，照片素材在保证高清的同时，要求在一个方向上拍摄时要连贯，高度与维度要一致，并无明显反光。进而收集文字素材，分别对24 个医史文物、中药标本展品进行文字方面的描述和整理，为软件平面设计（UI）中涉及的文字介绍提供依据。另外，针对无法采集到的药用植物，还需向建模人员提供药用植物图片和专业而详实的特征描述，以便避免模型错误和返工现象。

表1 北中医博物馆VR/AR技术体验设计选取的文物与标本

2.2.2 模型制作 使用3dsMax/Maya 三维建模软件进行Ploy 多边形建模。因最终进行移动端发布，性能的需求控制模型精度为“中模”，即保证效果的同时简化模型。合理布局模型的线段，合理展UV，为贴图绘制提供便利。保证贴图大小应为2 的n 次方，利于引擎中性能优化。保持模型名称、贴图名称、材质球名称三者需一致，便于在后期Unity 软件中查找和重新指认。最后，将模型保存为Fbx 格式，导入Unity 中检查有无漏面、重面，模型重心是否正确等。酱釉军持的模型网格及材质球效果，见图1。

图1 酱釉军持模型网格及材质球效果图

2.2.3 UI 绘制 使用Photoshop 软件进行程序中所有UI 元素的绘制，包含一级LOGO 演绎界面、二级Scan 扫描界面、三级AR、VR 交互界面。另外，还有24 个AR 识别图的绘制。

2.2.4 引擎开发 在Unity 引擎中，导入三维模型，重建UI 界面，依据AR 功能需求，实现AR 扫描功能及相关逻辑判断。（1）模型设置：将检查无误的模型导入后，模型材质球应依据现实物体的质感进行细节处理。如酱釉军持的陶瓷磨砂哑光质感；针灸铜人的古铜色金属质感；天山雪莲的植物质感等。（2）UI 搭建：依据UI 美术效果图，在Unity 中将一个个UI 元素搭建组合起来，并程序控制界面之间相关逻辑响应事件；控制锚点，以便保证UI 元素在不同尺寸的移动端运行时同比缩放。（3）AR/VR 交互：首先，对每个需要响应事件的模型对象添加boxcollider 组件，设置各个模型的Tag 名称，用于事件中射线的区分和查找。其次，使用C# 脚本进行程序的逻辑控制与交互实现，如添加单击、双击、手指缩放、拖动等事件功能。AR 模块中，项目采用EasyAR 相关SDK 进行开发，保证程序发布后无水印。（4）声音特效：添加程序背景音、按钮音、模型交互音等声音特效。

3 北中医博物馆VR/AR技术体验的功能与展示

软件名称为“中医药博物馆AR”，图标为博物馆兔子捣药馆标，目前支持Android 系统和苹果IOS 系统，扫描二维码或在App Store 搜索“中医药博物馆AR”软件，下载安装后即可使用。软件的主页面中设有选项卡，分别是AR 扫描、识别卡列表和使用说明。识别卡列表中有24 件展品的识别图，观众可以在使用说明的指示下，在展柜上找到想要了解的文物或标本的识别图，用摄像头对准识别图进行扫描，开始奇妙之旅。“中医药博物馆AR”软件的功能模块如图2 所示。开发的“中医药博物馆AR”软件，能够全方位展示文物与标本细节，呈现文物标本背后的知识和更详实的文字介绍，并能实现观众与展品的互动。

图2 “中医药博物馆AR” 软件功能模块

3.1 全方位展示文物与标本细节

观众打开软件后，只要将镜头对准每个文物或标本的专属识别图，屏幕画面中将浮现出三维展品的效果。如VR 状态下，移动终端中浮现出文物或标本的三维立体模型，观众可以通过双指开合进行缩放，单指拖动进行360旋转，从而全方位的欣赏文物或动植物的细节。针灸铜人在VR 状态下的不同角度，见图3。

图3 针灸铜人在VR 状态下的旋转效果图

3.2 呈现文物标本背后的知识

文物与标本多为静态展陈，许多观众往往缺乏一些背景知识，从而对展品的理解不够清晰。例如扫描龙涎香的识别图时，出现原动物抹香鲸的形态，让观众了解抹香鲸的形态特点；扫描西红花识别图时，出现番红花原植物，并能清晰的看到伸出花冠的三根红色柱头，从而纠正观众认为西红花是完整的一朵花的误区；扫描人参标本的识别图，出现人参植物生长时的原貌，便于观众观察人参植物的花、叶、果实与根的形态特点，从而更好地理解野山参的鉴别特征。人参标本识别图与AR 效果图，见图4。

图4 人参识别图人参AR 效果图

3.3 更详实的文字介绍

单击屏幕左上角的“介绍”图标，即可出现文物标本的文字介绍，文物的介绍包括展品的品名、器类、时代、出土信息、尺寸重量、展品细节；标本的介绍包括植物或动物的科属、形态特点、中药的来源、性状、功能主治等，轻触“介绍”可关闭。麝香的介绍，见图5。

图5 麝香的文字介绍

3.4 实现观众与展品的互动

单击右上角的相机图标，可实现虚拟拍摄的服务功能，观众可以与屏幕中与虚拟文物影像进行合影。观众与虚拟状态下的内经图合影，见图6。

图6 观众与虚拟的内经图合影

3.5 交互动能

在屏幕中，单击模型对象，模型将进行缩放，并出现蝴蝶飞入的动态交互画面。单击右下角的“切换VR”与“切换AR”字样，可以进行VR 与AR 模式的切换。

4 北中医博物馆VR/AR技术应用效果评价

4.1 问卷调查

“中医药博物馆AR”软件自2019 年5 月18 日上线，至今已有数千名观众进行安装与使用。为了检验软件在中医药科普宣传中的使用效果，并收集有效建议以便软件优化与提升，博物馆开展了问卷调查，面向观众共发放调查问卷1269 份，回收有效问卷1251 份，调查的问题，见表2。

4.2 问卷调查结果

调查结果显示，在安装软件的年龄方面，26.05% 的 观 众 在18 岁 以 内，62.16% 的 观 众 在18 ～40 岁，9.74% 的观众在41 ～60 岁，60 岁以上的观众只占2.05%，表明大学生和中年人年龄层为使用软件的主要群体。

表2 “中医药博物馆AR” 软件用户使用反馈调查表

在观众对AR/VR 技术的了解程度方面，10.55% 的观众表示之前完全没有听过，52.60% 的观众了解一点点，31.58% 的观众偶尔使用过类似软件，只有5.27% 的观众表示此类软件感觉非常常见。

对于观众是否愿意安装AR/VR 软件来提升参观的感受方面，88.52% 的观众表示愿意安装，其中59.01% 的观众是因为希望获得更有趣的体验，29.51% 的观众是出于比较好奇软件有什么功能。3.26% 的观众不愿意安装软件，其中1.33% 的观众是因为对电子产品不感兴趣，还是比较喜欢传统的参观形式，有1.93% 的观众是因为不喜欢在手机上安装东西，觉得软件没有什么用。另有8.22% 的观众表示没有安装软件，是因为忽略了软件的宣传海报，但如果有讲解员推荐他们使用，就会愿意安装试试。

在这款软件在哪些方面能起到帮助方面，27.81% 的观众表示软件在全方位展示文物、标本的细节方面有帮助；22.14% 的观众比较喜欢与文物标本合影，觉得软件在与文物标本互动方面有帮助；21.27% 的观众觉得在展示平时看不到的中药原植物、原动物方面有帮助；14.79% 的观众觉得在“触摸”原本不能触摸的文物方面很有帮助；13.99% 的观众觉得软件能够吸引小朋友的兴趣，在增强趣味性方面有帮助。

在文物与标本所呈现的真实度方面，61.63%的观众认为效果比较真实，有身临其境的感觉，23.34% 的观众认为效果稍显刻板，不够美观，15.03% 的观众认为不够立体。

在观众希望增加的AR/VR 模型或场景上，19.34% 的观众希望增加药用植物形态，20.70% 的观众希望增加药用植物生长环境，16.63% 的观众希望增加中医望、闻、问、切的过程，18.71% 的观众希望增加人体穴位、推拿按摩手法，14.15% 的观众希望增加中药炮制过程，10.47% 的观众希望增加古代医家的故事。

在观众功能改进方面，32.13% 的观众希望软件中有展品识别图，这样就可以自行扫描软件中的图，走出博物馆仍能够利用软件进行扫描观摩；31.33% 的观众希望可以不安装软件，微信“扫一扫” 即可实现扫描；27.82% 的观众希望扫描后可以呈现动态视频；4.40% 的观众希望增加“关闭”与“返回主页”按钮，以便操作；另有4.32% 的观众还自行列举了提高像素与清晰度、AR 状态下标本与文物可以缩放、增加自由编辑功能等，表明软件仍有使用的不便之处，有较大提升与改进空间。

4.3 “中医药博物馆AR” 软件的功能提升与改进

基于面向社会大众的调查问卷，“中医药博物馆AR”软件可以在如下方面进行功能提升与改进。（1）开发更多新功能：在未来，中医药博物馆可以利用VR 与AR 技术开发更多功能，如戴头盔的VR体验，实现观众身临其境观察药用植物生长环境、采集野外药用植物；观摩中医望、闻、问、切的诊疗过程；虚拟体验中药炮制过程；观察人体穴位和推拿按摩手法等；实现扫描后观看动态视频等。（2）增强模型的准确性：在经费允许的情况下，采集原植物、原动物实物，在实物基础上进行模型制作，并增加专业人员与软件开发绘图人员的沟通，从而使模型线条更加准确、美观，模型更加真实、立体。（3）软件使用的功能细节：针对年轻群体，可以开启前置摄像头的使用功能，便于年轻人实现自拍。针对老年人，实现图片和文字介绍的缩放功能，便于观看，同时为文字介绍录制音频，便于收听。拍照后，提示照片的存储位置，便于查找成品图片。增加关闭、返回等按钮，使操作更加流畅。（4）软件界面的设计感与美观性：由于中医药博物馆展览形式多为仿古设计，软件界面中的文字、图片要与展览环境、陈列内容相协调，必要时可以用古典音乐作为背景，促进展陈效果与环境的统一。保证像素与清晰度，让观众体验良好。

5 讨论

博物馆是学习知识、参观文物、感受历史的地方，具有较强的社会意义与教育功能。随着数字时代的到来，传统的观赏模式已无法满足观众的需求[18]。将VR 与AR 技术运用到博物馆中，能够强化博物馆的社会教育功能，为博物馆展陈设计提供新的形式，扩展展览的内涵。习近平强调，要遵循中医药发展规律，传承精华，守正创新，将教育培养中医药事业传承发展人才摆在重要位置。传承创新发展中医药是新时代中国特色社会主义事业的重要内容。

中医药博物馆开发与应用VR 与AR 技术应注意以下几个问题：（1）新技术要服务于展览内容，选择必要的展品进行VR/AR 模型开发，选择的模型应有助于增进民众对中医药的理解，不要为了开发而开发；（2）要保证新技术的应用科学而准确，例如在中药原植物模型的制作中，基于图片制作模型很容易出错，需要博物馆工作人员与模型美术人员、软件工程师更加密切、细致的沟通，避免模型出现不必要的错误；（3）重视观众对软件的反馈，提升用户对软件的体验，避免开发后即被淘汰，并不断开发新的功能，以适应用户的需求；（4）防止新技术的使用喧宾夺主，让观众沉浸于新技术而忽略展览内容；（5）确定软件界面美观，操作流畅，设备后期维护便捷可靠，保证软件能够长期稳定、运行良好，并避免关键时候出现问题。

中医药博物馆应该加大对VR 与AR 技术的投资以及使用力度，并与展陈设计紧密结合，构建出完善的虚拟环境，满足观众日益增长的文化需求，真正地做到让文物活起来[16-17]。新技术在社会应用实践中反映出的诸多问题，反过来为技术研发提出了更高的标准。相关从业人员要结合实际情况，客观的认识现阶段计算机人工智能识别技术应用瓶颈，有针对性的进行研发和优化，为更好的服务于中医药文化传播作出贡献。