基于惯性动捕系统的黄梅戏动作数字化保护

王广军，陈晓慧，汤庆丰，马金宇，杨　瑾

(1.安庆师范大学 计算机与信息学院，安徽 安庆 246133；2.安庆职业技术学院 电子信息系，安徽 安庆 246011；3. 安庆师范大学 黄梅戏艺术学院，安徽 安庆 246133)



基于惯性动捕系统的黄梅戏动作数字化保护

王广军1，陈晓慧2，汤庆丰1，马金宇1，杨瑾3

(1.安庆师范大学 计算机与信息学院，安徽 安庆 246133；2.安庆职业技术学院 电子信息系，安徽 安庆 246011；3. 安庆师范大学 黄梅戏艺术学院，安徽 安庆 246133)

摘要：黄梅戏是我国重要的非物质文化遗产之一，其中角色的舞台动作是戏曲的重要组成部分，本文对黄梅戏角色三维动作数字化开展研究。首先利用惯性动作捕捉技术对黄梅戏角色动作进行三维数字化采集；然后进行动捕数据的分析处理，初步构建黄梅戏标准动作库，结合Kinect获取黄梅戏演员三维形体数据，建立黄梅戏角色模型；最后采用运动重定向技术实现动作捕捉数据驱动黄梅戏角色动画。

关键词：黄梅戏；惯性动作捕捉；运动重定向；黄梅戏动画

DOI：10.13757/j.cnki.cn34-1150/n.2016.02.018

黄梅戏是我国重要的戏曲非物质文化遗产[1]。目前，黄梅戏主要采用录音、录像等方式进行记录，虽然信息采集方便，后期制作和传播相对容易，但是这些方式无法准确详细记录演员的动作姿态，即便是视频可以记录基本的动作姿态信息，但二维转化为三维会造成信息的严重缺失，更难以进行科学分析。近年来，动作捕捉系统逐渐应用于戏曲、舞蹈等非物质文化保护中，为非物质文化遗产保护提供了新的技术支撑[2-4]。但是由于动作捕捉系统不尽相同，技术流程不统一规范，再加上戏曲舞蹈的本身特点，因此三维数字化保护方式面临各种挑战。针对黄梅戏动作的三维数字化保护，目前处于初步探索阶段。本文主要采用惯性动作捕捉技术对黄梅戏动作进行数字化采集与分析，获得标准的黄梅戏动作捕捉数据，初步构建黄梅戏角色标准动作库，然后结合Kinect采集黄梅戏演员真实三维形体数据，建立黄梅戏角色三维模型，以标准动作数据驱动黄梅戏三维动画，实现黄梅戏三维动画重定向，具体研究流程如图1所示。

图1　研究技术路线图

1黄梅戏动作三维数据的获取

1.1动作捕捉技术

动作捕捉技术主要是通过多种技术手段记录人体主要关节部位的运动信息，从而达到人体运动信息的记录和分析。动作捕捉数据可以是记录关节部位的空间位置、速度角度等数据，也可以是手指动作、面部表情等数据[5]。目前动作捕捉系统主要分为光学式动作捕捉系统[6]、惯性动作捕捉系统[7]、机械式动作捕捉系统等[8]，其中光学式和惯性动作捕捉系统是较为主流的动作捕捉系统。

黄梅戏动作三维数字化采集主要是通过动作捕捉技术获取黄梅戏演员身体主要关节部位的运动信息，然后进行分析处理，得到较为准确的动作捕捉序列数据，形成黄梅戏标准动作数据库。由于黄梅戏表演的角色服装通常宽衣飘袖，光学式动作捕捉系统难以捕捉，同时光学式动作捕捉进行时容易产生身体关节的遮挡等问题，从而造成动作捕捉数据的不准确，而惯性动作捕捉系统(简称惯性动捕系统)通常是把传感器绑定在演员的身体主要关节上，不存在遮挡问题且数据较为准确，因此本实验主要采用惯性动捕系统进行黄梅戏动作三维数字化采集。

惯性动捕系统通过多个惯性测量单元测量表演者关键关节的运动加速度、方位、角度等数据，进而合成人体运动数据。本文采用诺亦腾公司生产的腾挪全身动作捕捉系统进行黄梅戏的动作捕捉[9]。该惯性动捕系统采用无线设计，单个传感器通过弹性绑带绑在人体关节相应位置，无线高速把数据传给接收器，再把多个传感器获取的数据汇总传给计算机进行处理，单个传感器的数据包括传感器编号、三轴加速度信息、三轴角速度信息等。全身通过17个无线惯性传感器获取人体的运动信息，这样能够准确捕捉身体动作，如图2所示。

图2惯性动捕系统

1.2黄梅戏动捕数据的后期处理

通过惯性动作捕捉系统采集到的黄梅戏动捕数据，通常会包含干扰信息和失帧等，特别是采用无线方式接收数据，虽然极大地方便了数据的采集，但电磁会对其产生一定程度的干扰，因此要对动捕数据进行后期处理[10]。后期处理一般包含去噪平滑和丢帧修补两部分。虽然动捕系统包含数据去噪和平滑运动数据的功能，但为了数据的准确性，还要对数据进行二次平滑去噪，以满足具体行为特征的准确性需求。动捕数据的失帧存在局部传感器失帧和整体失帧的情况。因此采用三次样条插值方法对动捕数据进行补齐，以达到动作的准确性和流畅性。

2黄梅戏动捕数据的动画重现

通过动作捕捉系统获得的黄梅戏角色动作捕捉数据可以应用于黄梅戏标准动作库的构建、交互游戏的设计和动画的编排与重现。实验首先采用黄梅戏动作捕捉数据驱动与真实演员等比例角色模型进行动捕数据的验证，并采用运动重定向方法实现非等比动画角色的黄梅戏动捕数据驱动动画。

2.1黄梅戏角色建模

2.1.1角色模型的建立

戏曲角色具有鲜明的特色，特别是服装、装饰等，因此，建立黄梅戏角色模型必须符合真实黄梅戏演员的基本特征。在建立人物三维模型时，通常根据真实演员图像等为参考，采用建模软件如3dsmax、Maya等建立，但容易因为制作人员的主观因素造成角色模型的失真，从而影响动画的效果，因而为了达到逼真的效果，需要经过大量的调试。同时，为了更好地验证动捕数据的准确性，建立与真实演员等大小的模型至关重要，故本文借助Kinect深度摄像，扫描真实黄梅戏演员的三维模型数据[11]，然后在三维模型数据的基础上通过Maya建模软件建立较为美观的三维角色模型，如图3所示。

图3黄梅戏演员三维等比虚拟角色模型

2.1.2角色模型骨骼绑定

黄梅戏角色模型建好之后，还需要建立骨骼模型并与角色模型进行严密的绑定，才能实现数据驱动骨骼运动时带动角色模型运动。首先建立骨骼模型，在Maya中具有较为成熟的骨骼系统，直接使用骨骼系统建立黄梅戏角色骨骼，通过调整使骨骼系统很好地与角色模型相适应；然后把骨骼模型关节位置与角色模型进行蒙皮绑定，反复调试，设置角色模型网格点与骨骼关节的权重关系，从而形成逼真的跟随动画，如图4所示。

图4　黄梅戏角色模型骨骼绑定

2.2动捕数据驱动黄梅戏角色虚拟动画

黄梅戏角色模型和骨骼绑定完成后就可以利用处理好的黄梅戏动捕数据实现数据驱动动画。采用与真实演员骨骼等比例的三维模型进行驱动动画验证数据的准确性，而当把动作捕捉数据运用于骨骼拓扑结构和骨骼长度不同的角色模型时，就会造成数据驱动动画的错误，因此需要采用运动重定向技术实现黄梅戏动画[12]。

人体是由一系列骨骼、关节构成，并呈现层次结构。人体的运动是每一个骨骼做的有约束的旋转运动，并带动与之关联的下一层骨骼运动，整体的移动主要是依据根节点的移动而进行的。因此，人体运动数据可以根据根节点的位移向量和其他关节的旋转角度由时间的序列来表示。令人体运动函数为

M(t)={p(t),r1(t),r2(t),r3(t),…,rn(t)}

其中，t表示离散时间变量，n表示动捕数据的关节数量，p(t)表示根节点的平移向量，ri(t)表示第i个关节的旋转角度信息。常用的动捕数据.BVH格式的文件就是采用骨骼层级结构及与之相对应的关节数据信息构成，如图5所示。

通过层级角度计算各关节的位置可以有效解决非等比角色模型的动捕数据动画重现。动捕数据驱动动画基本算法如下

图5　等比例角色模型的黄梅戏动画

step1 输入：通过程序读取BVH文件，读入M(t)={p(t),r1(t),r2(t),r3(t),…,rn(t)}人体运动数据；

step2 初始化：建立相应的骨骼关节并与动捕数据关节对应，骨骼层级关系准确；

step3 对于t时刻角色动画，人体根节点数据要与动捕数据的根节点p(t)位移信息对应，各关节t时刻位置信息由与上一级骨骼相对角度ri(t)数据计算得出；

step4 执行：根据时间t逐帧通过数据驱动虚拟模型动画；

step5 结束。

3实验展示与分析

安庆师范大学黄梅戏艺术学院开设了黄梅戏专业，在黄梅戏的教育宣传和研究保护方面取得了较好的成绩。本实验中黄梅戏实验数据是以黄梅戏专业学生为原型进行采集的，经过黄梅戏动捕数据的获取、处理和角色模型的建立实现数据驱动动画，实验部分结果如图6和图7所示。

图6 等比例角色模型的黄梅戏动画图7 非等比角色模型的黄梅戏动画

图6中分别展示了黄梅戏真实表演和等比例黄梅戏角色模型的动捕再现动画效果，图7展示了两种非等比例角色模型的动画效果。实验表明，惯性动作捕捉系统可以真实地采集黄梅戏演员的表演动作，动捕数据可以很好地用于制作黄梅戏动画，并可采用运动重定向技术实现多种角色模型的黄梅戏表演。

4结论

本文展开了对黄梅戏动作的三维数字化研究，采用惯性动作捕捉技术，获取黄梅戏动作，对动捕数据进行分析和验证，以黄梅戏动画为例介绍了黄梅戏动捕数据的应用，对非物质文化遗产的保护具有重要参考价值，对黄梅戏的研究和推广提供了新的途径。同时，实验中动捕数据的验证主要是以主观评价进行的，还需形成更加科学的评价验证，在动捕数据范围如面部表情、手指动作等方面还有待进一步的研究。

参考文献:

[1] 张彩云. 黄梅戏的起源与发展——从黄梅戏发展的历史说起[J]. 戏剧文学, 2013(12): 114-117.

[2] 宋瑾. 论黄梅戏在新时期发展中面临的问题与对策[J]. 戏剧文学, 2015(4): 102-105.

[3] 吴晓雨, 张宜春, 沈萦华, 等. 基于动作捕捉技术的民族舞蹈三维数字化方法研究[J]. 计算机与现代化, 2013(1): 112-114.

[4] 许乐, 朱柏宇. 计算机技术与电影真实感的建立——以动作捕捉技术和奥斯卡视觉特效奖为例[J]. 北京电影学院学报, 2014(1): 64-72.

[5] 向泽锐, 支锦亦, 徐伯初, 等. 运动捕捉技术及其应用研究综述[J]. 计算机应用研究, 2013, 30(8): 2241-2245.

[6] 梁丰, 张志利, 李向阳, 等. 基于光学运动捕捉数据的虚拟人下肢运动控制方法[J]. 系统仿真学报, 2015, 27(2): 327-335.

[7] 刘博. 基于MEMS传感器的动作捕捉系统开发设计[D]. 北京: 北京理工大学, 2011.

[8] 王广军. 基于运动捕捉数据的交互式智能控制与虚拟仿真[D]. 安庆: 安庆师范学院, 2013.

[9] 张燕. 眼见并非真诺亦腾解密动作捕捉技术[J]. 中国经济周刊, 2014(45): 38-40.

[10] 何昆林. 基于Kinect的三维人体快速建模与蒙皮动画研究[D]. 广州: 华南理工大学, 2014.

[11]TongJing,ZhouJin,LiuLigang,etal.Scanning3DFullHumanBodiesUsingKinects[J].IEEETransactionsonVisualization&ComputerGraphics, 2012, 18(4): 643-650.

[12] 李琳, 郑利平, 王玉培, 等. 基于关键姿态映射的运动重定向[J]. 系统仿真学报, 2012, 24(1): 48-52.

DigitalProtectionofHuangmeiOperaActionBasedontheInertiaMotionCaptureSystem

WANGGuang-jun1,CHENXiao-hui2,TANGQing-feng1,MAJin-yu1,YANGjin3

(1.DepartmentofComputerandInformation,AnqingNormalUniversity,Anqing,Anhui246133,China;2.DepartmentofElectronicInformation,AnqingVocational&TechnicalCollege,Anqing,Anhui246011,China;3.DepartmentofArtofHuangmeiOpera,AnqingNormalUniversity,Anqing,Anhui246133,China)

Abstract:Thehuangmeioperaisoneoftheimportantintangibleculturalheritagesinourcountry,wherethestagemovementofroleisanimportantpartoftheopera.Inthispaper,weresearchonhowtoprotectthecharactersofhuangmeioperawiththree-dimensionaldigitaltechnology.Theinertialmotioncapturetechnologyisadoptedtoimprovethe3Ddigitalacquisitionofroleactioninthehuangmeiopera.Then,weanalyzethemotion-capturedata,andbuildthepreliminaryhuangmeioperalibraryasastandardaction.Afterobtainingtherealactor3DdatabyKinect,themodelofhuangmeioperaactorisbuilt.Lastly,thehuangmeioperaanimationisrealizedwiththedesignedmodeldrivenbythemotion-capturedata.

Keywords:huangmeiopera;inertialmotioncapture;motionretargeting;huangmeioperaanimation

* 收稿日期：2015-12-18

基金项目：安庆师范学院校青年基金(KJ201401)。

作者简介：王广军，男，安徽宣城人，硕士，安庆师范大学计算机与信息学院教师，研究方向为图形图像处理与人机交互。 E-mail:910800546@qq.com

中图分类号：TP3

文献标识码：A

文章编号：1007-4260(2016)02-0077-04

网络出版时间：2016-06-08 12:57网络出版地址：http://www.cnki.net/kcms/detail/34.1150.N.20160608.1257.018.html