基于KINECT的皮影动画数字化交互技术

王心瀚，朱艳秋，王楠楠，段晓东,

(大连民族大学 a.计算机科学与工程学院；b.大连市民族文化数字技术重点实验室，

辽宁 大连 116605)



基于KINECT的皮影动画数字化交互技术

王心瀚a，朱艳秋b，王楠楠b，段晓东a,b

(大连民族大学 a.计算机科学与工程学院；b.大连市民族文化数字技术重点实验室，

辽宁 大连 116605)

摘要：提出一种基于KINECT的皮影交互技术，给出皮影数字模型的建立方法及与KINECT捕获骨骼的映射方案，并针对皮影关节点识别缺失及皮影抖动等问题，提出关节点缺失补全方法及皮影抖动消除算法,用以去除抖动和补全关节点。系统还引入姿态和动作识别技术，完成皮影演唱和道具更换等功能。实验表明，提出的方法可以较好地实现皮影的人机交互。

关键词：中国皮影；KINECT；抖动消除；人机交互

皮影艺术展现了中国传统造型与表演艺术的精华，经千年传承与发展，中国皮影戏于2006年5月经国务院批准被列入第一批国家非物质文化遗产名录，2011年11月27日被联合国教科文组织列入“人类非物质文化遗产代表作名录”[1-2]。在皮影保护和传承过程中，研究者们对皮影数字化做了以下相应工作。

在皮影人物建模与绘制方面，Ghani[3]等提出一种将扫描得到的皮影图像映射到皮影模型纹理的方式去构建数字化皮影。钟秋月[4]等针对皮影的色彩特征，采用基于笔划的绘制风格方法对原始贴图进行纹理处理，使得数字皮影更为形象逼真；在皮影交互技术方面，传统皮影通过操纵三根竹签完成各种动作，具有较高操作难度，未经专业训练的人很难操作皮影。因此构建更为自然的人机交互模式成为皮影数字化有待解决的问题。蔡建平等人[5]采用鼠标控制的方式控制皮影运动；Chen[6]等人利用传感器识别三根不同色彩的签子对皮影进行控制，模仿传统皮影三根竹签控制皮影运动。

本文通过KINECT采集三维人体节点作为皮影人物动作控制驱动点，建立3D至2D皮影动作映射关系，实现基于人体运动的交互控制。对于皮影模型建立、贴图映射、控制过程中节点缺失、抖动等问题，本文构建了相应算法进行解决。还运用姿态识别技术，实现皮影换装、道具和演唱的功能，使得皮影控制更加趣味化。

1关节点树皮影模型

本文将驱动人物皮影的方式分为3个步骤：选取皮影模型、创建皮影骨骼关节点树和通过关节点树驱动皮影模型。

1.1　建立皮影部件库

为保证皮影人物的多样性及皮影人物的快速选取，本文收集了岫岩皮影作为皮影部件库，将其数字化并构建数字皮影部件库如图1。

图1　数字皮影部件库

所建部件库中主要采用如图2所示的两种不同关节点数量的人物皮影模型，该人物模型可分为11组件和13组件两种模型，分别由6个和8个关节点组成，其主要区别在于腿部关节点的自由度不同。

(a)11组件皮影骨骼关节点模型　(b)13组件皮影骨骼关节点模型

1.2　建立皮影关节点树

根据关节点之间的关系，构建皮影模型，并将图片旋转点作为皮影骨骼关节点，然后选取以腰部为根节点，依据图3所示建立关节点树，则设皮影关节点集合G= {(x1,y1), (x2,y2), …,(x8,y8)}，(xi,yi)∈G，i∈[1, 8]为节点坐标。

图3　皮影关节点树

皮影绘制工作是通过节点树计算部件图像完成，需根据节点树的坐标数据重新计算节点位置及生成节点间部位贴图如图4。如果骨骼节点树中的肘关节点发生旋转，肘节点对应坐标(xi,yj)不变，腕部的节点坐标由(xk,yl)旋转到(xk′,yl′)位置，则原部件图需从长宽为(w,h)的图片变换为(w′,h′)的图片，并保证肘节点至手腕节点距离与关节点树一致，进而完成皮影模型可视化。

2皮影模型驱动

传统皮影的表现形式为二维平面图像如图5。为保持皮影艺术的独特性，通过建立KINECT三维人体关节点与皮影二维关节点的映射实现皮影的人机交互[7-8]。在该过程中，为保证肘节点至手腕节点距离与关节点树一致，进而完成皮影模型可视化。

图4　根据节点树计算部件贴图生成

本文从KINECT识别采集的25个三维人体关节点中选取19个点作为皮影模型驱动点。人体做出动作后，KINECT获取人体骨骼数据将其映射到皮影关节点，并通过角度驱使皮影作出相应动作如图6，以右后臂为例，KINECT三维空间中右后臂与垂直角度θm为目标,皮影对应骨骼前一帧角度为θk，当前应达到θk+1，则皮影骨骼模型对应骨骼角度需从θk转到θk+1，即θk+1=θm，并做相应的位移操作，从而完成右后臂的驱动。

图5　皮影骨骼与人体骨骼之间的映射关系

(a)KINECT骨骼模型(b)皮影右后臂骨骼

图6皮影右后臂驱动原理

本文通过遍历骨骼树，可获取当前关节点i和父关节点j之间长度lij、父节点坐标(xj,yj)以及该骨骼相对原位置水平竖直方向偏移量fx和fy，故可求得默认位置时该节点位置(xj,yj+lij)，可通过公式(1)求出当前关节点位置(xi,yi)，并通过该点重新定位图片。

(1)

3关节点缺失补偿补全与皮影抖动消除

由于KINECT识别过程中存在关节点识别缺失，导致皮影关节点堆叠。由于存在外部环境影响，皮影关节点存在频繁抖动现象，这些问题使得皮影控制出现动作混乱和抖动效果，影响皮影的控制，针对这些问题本为给出如下算法进行解决。

3.1　关节点缺失处理

关节点缺失按情况可分为大范围缺失和局部缺失两种情况。

(1)大范围缺失的成因较多，其中主要是由人移动到传感器识别范围以外或人体某些部位被其他物体遮挡所造成。将KINECT识别采集的25个人体关节点分为上身16个关节点和下身9个关节点两个部分，若每部分缺失超过40%，即该部分视为大范围缺失，则显示规定姿态，如下身大范围缺失，则显示为下蹲动作；手臂和上身发生大范围缺失则保持固定站姿如图7。处理大范围缺失。

(a)KINECT骨骼模型(b)皮影右后臂骨骼

图7皮影右后臂驱动原理

(2)局部缺失发生较为频繁，主要是由人体运动速度过快造成关节点叠加、区域部位被物体遮挡或部分离开传感器识别范围造成的。本文主要采用建立动作时序缓存区方式对局部缺失进行插值拟合，利用该部位前几帧的动作求取均值来拟合当前位置，处理效果如图8。

(a)缺失未经补全(b)经补全处理后

图8缺失点前后显示图

3.2　骨骼抖动消除

骨骼抖动是人体在KINECT传感器前静止时，而识别出的骨骼关节点发生偏移的现象。使用KINECT传感器获取人体骨骼产生抖动主要有2个原因：传感器识别出现偏差和人体自身出现轻微的抖动[9-10]。这些原因造成识别出的人体骨骼发生轻微的抖动，从而带动皮影模型出现抖动，影响表演效果。

(2)

发生抖动时，静止时状态时与实际静止状态时计算得出的D(θn)值的曲线对比图如图9，由D(θn)的值随时间的增加呈上升趋势，D(θn)的值越大则表示抖动的程度愈大。

图9　抖动和正常时左前臂D(θn)值的变化图

本文消除抖动的方式是将两块相连皮影骨骼进行分块处理，设当前帧数为c，采样精度为t=10，角度阈值为δ=5，关节点树T，算法如下：

步骤2:从关节点树T根节点开始，按照广度优先遍历规则，逐一遍历；

步骤3:判断该节点是否是树T根节点，否则当前节点为该节点的下一个节点;

抖动处理前后的效果对比图如图10，本文选取左臂的前、后臂骨骼作为参考对象，其中以5°为判断是否发生抖动的阈值，每隔10帧重新采样一次，即采样精度为10帧。

由未处理前的折线图可得，该段骨骼在第1-2帧、4-9帧、11-20帧时该段骨骼与竖直方向夹角度数变化均小于5°，即发生了抖动现象，而第

3-4帧和第10-11帧角度变化的值明显大于5°，因此视为姿势改变而非抖动过程。由两条折线对比图可得：通过上述方法处理后，抖动现象被明显消除，使皮影操作具有更好的可视性。

图10　消除抖前后动后效果

4实验结果

通过上述方法系统完成了皮影特定动作识别、关节点缺失点补全以及抖动消除，最终实现了人体操控皮影的数字化技术。

4.1　运行环境和功能概述

本系统使用微软WPF框架设计显示界面，运用KINECT2.0传感器和KINECTforWindowsSDK2.0实现人机交互。系统可实现多个皮影人物和多组场景的展示，最多可同时容纳6人，且每人都能独立操纵各自的皮影形象。系统的场景则是在初始化时由系统随机决定。此外，系统还可扩充新的场景和人物形象，只需从已建立起的皮影部件库中提取所需素材即可。

4.2　动作演示

实验过程中用户可通过自身的动作，操纵皮影运动，最终在程序界面进行展示。

实验中通过设定的人体姿势触发特殊的皮影人物动作。规定人体姿势与效果的对应关系表见表1。

表1　人体姿势与效果的对应关系表

人体姿势与效果的对应关系表

5结语

系统最终的演示效果如图12，其中左侧人物形象由13组件构成，右侧为11组件。右下角为KINECT获取到的人体关节点骨骼图。场景可以根据皮影剧本动态设置，通过系统任何人可以很快学会操作皮影的各种动作和姿态。本文通过数字交互方式驱动皮影模型，使用特定算法使关节点缺失和骨骼抖动现象得到基本解决，展现出较好的动作效果。

图12　多人动作演示效果图

参考文献：

[1] 贾琦, 刘成学, 金银芳. 皮影艺术发展与保护[J]. 时代文学， 2014, 4:182-183.

[2]佚名.中国皮影戏入选人类非遗代表作名录[J].中国木偶皮影,2011,12(15):3.

[3]GHAN D.A study of visualization elements of shadow play technique movement and computer graphic imagery (CGI) in wayang kulit kelantan [J]. International Journal of Computer Graphics & Animation, 2011,1(1):1-11.

[4]钟秋月.皮影效果风格化绘制关键技术研究与实现[D]:成都:电子科技大学,2009.

[5]蔡建平,张君.基于Flash皮影人物的多鼠标控制技术的实现[J].微计算机信息,2010(25):59-60.

[6]WEI S, LI T. HsuPlanning Character Motions for Shadow Play Animations[J].Appear in Proceedings of the International Conference on Computer Animation and Social Agents (CASA’05), 2005:184-190.

[7]ZHANG Hui, SONG Yuhao.Chinese Shadow Puppetry with an Interactive Interface Using the KINECT Sensor[J]. Proceedings of the 12th international conference on Computer Vision，2012(1):352- 361.

[8]尉彦斌.交互式视声一体化皮影动画系统的设计与实现[D].西安:西安电子科技大学,2014.

[9]任朝栋.视频车辆监控系统图像抖动快速消除算法研究[J]. 郑州大学学报(理学版),2011,43(3)：45-47.

[10]陈静.基于Kinect 的手势识别技术及其在教学中的应用[D].上海:上海交通大学,2013.

(责任编辑王楠楠)

Digital Interactive Technology of Shadow Puppet Animation

Based on KINECT Sensor

WANG Xin-han1, ZHU Yan-qiu2, WANG Nan-nan2, DUAN Xiao-dong1，2

(a.School of computer science and Engineering；b.Dalian Key Lab of Digital Technology

for National Culture, Dalian Minzu University, Dalian Liaoning 116605, China)

Abstract:A shadow interactive technology based on KINECT is proposed, which gives the model of digital shadow method and skeletal mapping scheme with KINECT capture. In order to solve the problem of shadow joint identification of missing and jitter, a shadow joint loss compensation and jitter elimination algorithm is proposed to remove jitter and compensae shadow joint. The system also introduces posture and motion recognition technology, completing shadow singing and props replacement. The experiments show that the proposed method can achieve better shadow human-computer interaction.

Key words:Chinese shadow; KINECT; jitter elimination; human-computer interaction

中图分类号：TP319

文献标志码：A

文章编号：2096-1383(2016)01-0084-05

作者简介：王心瀚(1990-),男,辽宁丹东人,大连民族大学硕士研究生,主要从事智能系统研究。

基金项目：国家自然科学 (61370146)；辽宁省科技支撑计划项目(2013405003)；中央高校基本科研业务费专项资金资助项目(DC201502100401)。

收稿日期：2015-05-07；最后修回日期：2015-06-05