基于动作捕捉技术的梨园戏虚拟现实数字化保护

王鸿伟,刘清彬 ,谢叻,3,陈明玉,吴伊萍

(1.泉州师范学院 数学与计算机科学学院，福建 泉州 362000；2.福建省大数据管理新技术与知识工程重点实验室，福建 泉州 362000；3.上海交通大学 国家数字化制造技术中心，上海 200030)

泉州梨园戏始于宋元，兴盛于明清，是我国宋元南戏的遗存剧种，被戏曲艺术界称为“古南戏的活化石”.梨园戏发源于泉州，是泉州特有的剧种，是闽南语系区域的一种泉腔古南戏，并跨海传播到台湾、琉球地区，南达东南亚华侨聚居地.泉州梨园戏的发展历史悠久，明代初期梨园戏的顶峰之作《陈三五娘》(即《荔镜记》)的重刊本就早于昆曲的第一个剧本《浣纱记》[1].泉州梨园戏于2002年作为我国“口头和非物质文化遗产”的典型代表，被亚太文化中心列入民间表演艺术数据库[1].它也是2006年5月国务院公布的第一批国家级非物质文化遗产名录中的项目之一[2].本研究运用惯性动作捕捉技术获取梨园戏老艺人表演数据，将梨园戏表演在Unity平台上还原成虚拟现实动漫，并在HTC VIVE平台上实现沉浸式浏览.

1 非物质文化遗产的数字化保护

1.1 非物质文化遗产的界定和分类

非物质文化遗产的定义还未形成共识性的固定版本，目前更多的是引用联合国教科文组织“保护非物质文化遗产公约”中的定义[3].文[3]将联合国教科文组织“保护非物质文化遗产公约”中关于非物质文化遗产的解释为：“被各社区,群体,有时为个人,视为其文化遗产组成部分的各种社会实践、观念表述、表现形式、知识、技能及相关的工具、实物、手工艺品和文化场所”，并将非遗分为5类,分别是:口头传统和表现形式,表演艺术,社会实践、仪式、节日活动,有关自然界和宇宙的知识和实践,传统手工艺.文[3-4]提出了对非物质文化遗产按“动态艺术”(口头传统与表演艺术)、静态艺术(工艺，技术)以及“时空艺术”(节庆仪式)的分类方法.

1.2 国外非物质文化遗产数字化保护现状

1992年，为了便于永久性地保存和最大限度地为公众公平地享有文化遗产，联合国教科文组织(UNESCO)开始推动“世界的记忆”(Memory of the World)项目，在世界范围内推动文化遗产数字化[3-5].欧美发达国家的非物质文化遗产数字化保护开始时间比较早，一开始主要是从各个博物馆的馆藏非物质文化遗产资源的数字化开发利用着手.早期的非物质文化遗产保护，更多的是基于文献、音乐、图像等的数字化采集[3].随着新技术的不断涌现，也出现了更多新的非物质文化遗产保护的案例.文[6]中利用动作捕捉技术和三维重建技术来保护日本传统的戏剧.文[7]通过建立标准的泰式舞蹈动作数据库，并使用Kinect动作传感器来帮助用户判断其舞蹈动作的准确性和连贯性，对泰式舞蹈的传承提供新的方法和手段.

1.3 国内非物质文化遗产数字化保护现状

我国1996年启动的国家数字图书馆工程，开始了文化资源的数字化进程.浙江大学CAD&CG国家重点实验室，从1997年就开始进行敦煌艺术的数字化保护技术[8].

随着技术的不断迭代和发展，特别是动作捕捉技术的发展，该技术在表演艺术类的非物质文化遗产保护上发挥越来越重要的作用.

基于动作捕捉技术，已有学者尝试将该技术应用于非物质文化遗产的数字化保护中.如，邵未等[9]于2003年该技术应用于编钟乐舞数字化研究；吴志峰等[10]于2009年将该技术应用于传统木偶戏的数字化研究；蔡群等[11]于2009年展开对贵州少数民族舞蹈数字化保护的研究；吕德生等[12]于2011年对祭孔仪式展开复原和研究；王广军等[13]于2016年开展黄梅戏动作数字化保护研究；朱宇翔[14]于2018年开展土家族摆手舞的数字化保护研究；王涛等[15]于2018年进行云南民俗舞蹈类非物质文化遗产的保护研究.

2 动作捕捉技术

动作捕捉技术是一种在时域上跟踪一些关键点的运动来记录生物运动，然后将其转化为可用的数学表达并合称一个单独的3D运动的过程[16].

按照动作捕捉技术的工作原理，可以将动作捕捉技术分为：机械式动作捕捉、电磁式动作捕捉、声学式动作捕捉、光学式动作捕捉、基于视频的动作捕捉和惯性动作捕捉等类型[16-17].文[16-17]总结了国内外动作捕捉技术在多个领域的研究，这些研究多数使用光学式动作捕捉方式.但光学式动作捕捉存在设备价格昂贵、对场地要求较高、系统安装繁琐、后期处理工作量大的问题[16].惯性动作捕捉系统使用惯性传感器，一般使用穿戴式的方式，在人体的头部、躯干的主要关节、手部等位置配置相应的传感器，并通过无线技术实时获取各个关节的运动数据并保存到电脑中，从而记录整个人体的运动过程.

随着技术的成熟，特别是价格的下降，惯性动作捕捉系统逐渐被采用.文[13-15]在其研究过程中所采用的就是惯性动作捕捉方式.由于惯性动作捕捉系统采用的是可穿戴式惯性传感器，并且支持无线连接.不用搭建特定的场景、又可以避免光学式动作捕捉设备存在的演员自身动作的自遮挡，而造成的动作捕捉不准确的问题.

为了获得更好的动作捕捉数据，在准备阶段选择合适的场地并对动作捕捉设备进行调试.在获取动作捕捉数据阶段：先让老艺人穿戴动作捕捉设备并将其表演动作转化为数字化的动作捕捉数据，然后再对于获得的原始数据要进行必要的后期优化和调整；在虚拟现实还原阶段：将动作捕捉数据与三维人物模型进行结合，并配合上具有闽南特色的三维建筑模型，最终在Unity平台上实现梨园戏表演的三维再现.在配合使用HTC Vive虚拟现实头盔后，实现对梨园戏表演的虚拟现实沉浸式浏览.具体的技术路线如图1所示.

3 梨园戏动作捕捉数据获取过程

本研究所使用的惯性动作捕捉设备，最多可以同时采集32个节点的数据，节点数量可以自由搭配.除了能够采集到人体头部、躯干和四肢的动作数据外，还可以搭配数据手套采集到手指数据.整套惯性动作捕捉设备的穿戴效果，如图2所示.

3.1 动作捕捉数据的获取

(1)让老艺人穿戴好惯性动作捕捉设备，通过调整节点的位置、松紧带的贴合度，保证所要采集的关节点都有穿戴上对应的传感器节点；(2)将传感器之间通过专用数据线连接，将数据线连接到Hub上；(3)调试各个传感器节点使其能正常工作，并启动无线数据接收模式；(4)按照系统要求完成3个姿势校正，让传感器能有效识别周围空间的基本信息.如图3所示，老艺人穿戴好设备后进行T姿势矫正.至此，整个惯性动作捕捉系统穿戴完毕，可以开始采集数据.

图1 技术路线图 图2 惯性动作捕捉设备穿戴 Fig.1 Technical route Fig.2 Wearing inertial motion capture equipment

图4为老艺人穿戴惯性动作捕捉设备采集表演数据的示意图.采集的是梨园戏十八步科母中经典动作“相公摩科”的动作.

图3 老艺人T姿势校正 图4 表演数据的采集 Fig.3 Old artist T-pose calibration Fig.4 Collection of performance data

由于惯性动作捕捉设备的传感器，在使用过程中可能遇到磁场影响而被磁化,以及惯性动作捕捉系统经过一定时间的数据采集，会有累计误差.

为了提高动作捕捉数据的质量,我们可以采用如下措施降低误差提高精度：(1)数据采集之前对设备进行校准；(2)数据采集的场地，会选择没有强磁场干扰的场地.在每次数据采集后，都会对设备进行消磁处理，并存放到防磁的专用盒子内；(3)为避免设备连续使用而造成的累计误差，在数据采集前会根据戏曲片段的特点将戏曲动作进行分段，然后逐段进行数据采集.经实验验证，通过以上三个步骤，可以提高动作捕捉数据的质量.

3.2 动作捕捉数据的优化和处理

惯性动作捕捉设备采集到的原始动作数据，以FBX(FBX是Filmbox的缩写，是一种用于描述和保存对象及其运动数据，是一种可靠的三维动画数据交换格式)的格式进行存储.FBX格式的动作捕捉数据完整保留了人体各个骨骼的动作数据，并具备较好的通用性，可以在多种后期处理软件上使用.这样既方便后期对动作捕捉数据进行优化和调整，也便于动作捕捉数据在Unity平台上的使用.

采集到老艺人的动作捕捉数据，需要经过后期的优化和处理才能使用.本项目使用的是3DS Max软件，对动作捕捉获得的FBX数据进行后期修改.在3DS Max中可以从不同的视角逐帧观察动作捕捉数据，并对特定的骨骼进行调整.

惯性动作捕捉设备获取的原始动作捕捉数据，需要进行误差调整和优化.具体过程如下：

(1)在数据采集过程中，由于开始和结束的时间与演员的实际表演有时间差，需要在3DS Max中将多余的数据剪切掉.(2)对动作捕捉数据可能出现的一些数据上的抖动，可以利用3DS Max工具对数据帧进行平滑.(3)针对有动作不到位的地方，可以调整特定数据帧中的骨骼，使之符合戏剧表演的要求.

以在3DS Max中对某个原始动作捕捉数据的左手手腕与腰部位置的修改为例进行说明.如图5所示，修改前左手的手腕离腰部较远.选择该动作对应的LeftArm骨骼，经过对左手相关骨骼的位置进行调整，使左手的手腕与腰部的距离变近.修改后的结果，如图6所示.

图5 左手手腕修改前的位置 图6 左手手腕修改后的位置 Fig.5 Position of left wrist before modification Fig.6 Position of left wrist after modification

4 梨园戏三维重现

4.1 梨园戏表演动作的三维数字化

将优化和调整过的FBX格式的动作捕捉数据以及人物模型，分别导入到Unity平台下.将人物模型与动作数据进行结合，最终效果如图7所示.

对多个戏剧片段，通过Unity平台上提供的Animator Controller工具，可以将不同的FBX格式的动作片段创建成一个状态机，通过控制每个FBX文件的播放顺序，最终实现将多个动作捕捉片段串联成一个完整的表演片段.

4.2 梨园戏表演动作虚拟现实再现

为了使得最终的效果更真实，本项目利用三维建模技术，使用Maya、3DS Max等建模工具，对泉州天后宫古戏台进行了三维仿真还原.将泉州天后宫古戏台作为本项目梨园戏的表演舞台，并在Unity中设置光影效果，让场景更加具有真实感.同时，还导入梨园戏的戏曲背景音乐，让观众有一个身临其境的体验.最终还原出来梨园戏虚拟三维动画效果，如图8所示.

5.3 梨园戏在HTC Vive下实现360度沉浸式浏览

为了让观众能以沉浸式的方式、360度来观看梨园戏三维动画.在项目中使用当前市场上比较成熟的HTC Vive虚拟现实头盔式显示器与Unity平台结合，让观看者可以沉浸式的方式，以不同的方式来感受梨园戏.从侧面观看梨园戏三维动画的效果，如图9所示.

图7 动作捕捉数据与人物模型结合的效果Fig.7 Effect of combination of motion capture data and character model

图8 梨园戏三维动画效果 图9 侧面观看效果 Fig.8 Three dimensional animation effect of Liyuan Opera Fig.9 Side view effect

5 实验结果

本项目使用32节点的惯性动作捕捉设备，显卡使用的是HTC Vive 官方推荐的GXT系列的显卡(型号GXT1080)，计算机工作站配备64 G内存.该工作站的配置可以实现整个项目的流畅运行.

项目中梨园戏老艺人穿戴好惯性动作捕捉设备，采集其表演数据.之后对动作捕捉数据进行优化和调整，再将表演数据与任务模型导入Unity3D：通过将表演数据与三维人物模型绑定，将老艺人的表演转化为三维动画.通过创建仿真戏台、设置灯光和音乐效果，让整个梨园戏动画表演更加逼真.最后，使用HTC Vive来实现梨园戏三维动画的360度沉浸式体验.

该实验的结果表明：利用惯性动作捕捉设备获取梨园戏老艺人的表演动作数据，在对数据的优化和调整后，可以将动作捕捉数据应用于三维动漫上，最终实现对梨园戏的数字化保护.

总之，与使用照片和影像资料等传统手段来记录和保存非物质文化遗产的方式不同,本研究使用惯性动作捕捉技术，结合计算机虚拟现实技术，探索了对历史悠久的泉州梨园戏进行三维动画还原的方法.并结合HTC Vive虚拟现实头盔，让观众能以沉浸式的方式，从任意的角度来观看梨园戏表演.

梨园戏表演的虚拟现实三维动画展示，可以帮助梨园戏这个古老的剧种在当今的网络时代以青年人喜欢的方式呈现和传播，为古老梨园戏在新时代的发展探索了一条新的途径，也为梨园戏表演数据的保存提供了一个除照片和录像之外的数字化保存方案.为今后的有研究者能更好地研究、保护和利用梨园戏提供了数字化的动作捕捉数据.因此，本项目的开展对梨园戏这一非物质文化遗产的数字化保护具有积极的意义.此外，利用惯性动作捕捉设备获得的梨园戏表演数据，也可以用于梨园戏新演员的培训、梨园戏相关游戏的开发上，这也是我们今后可以去完善的内容.