基于增强现实的皮影操纵交互系统研究

余登莎 闫子飞

关键词：皮影 增强现实 操纵 动画 动力学

引言

中国皮影艺术融合了传统戏曲、剪纸、雕刻及文学等多种艺术形式，具有独特的艺术魅力，是中华民族艺术的瑰宝。皮影戏在近千年的发展历程中，在造型、用色、声腔还是表演技艺上都有独到之处，显示了中国人民对音乐、绘画、雕刻等多种艺术形式独特的创造能力、文化思维，反映出中国人民从古至今形成的独特的审美情趣与审美追求。在皮影戏逐渐没落的今天，随着科学技术，尤其是计算机技术的发展，采用增强现实技术对皮影艺术进行数字化保护将是一项必要的发展方向。

一、皮影艺术数字化保护研究现状

皮影戏是中国民间古老的传统艺术，是一种用兽皮或纸板做成的人物剪影来表演故事的民间戏剧。皮影艺术是一种综合性的艺术形式，集工艺美术、舞台艺术和戏曲艺术于一体。皮影影人通过夸张的线条设计和丰富的色彩设计来表现角色的性格特征，造型美观而精致。在表演时将影人通过灯光投射到幕布上，结合艺人的唱腔技法，场面热闹而生动。

但是，随着时代的发展，皮影艺术陷入艰难的发展困境。首先，以互联网为载体的新媒体技术的进步，改变了人们的生活娱乐方式，对传统文化包括皮影艺术造成了巨大的冲击。其次，影人的制作难度和皮影戏的表演难度非常大，皮影技艺只在师徒间或家族中传承。这种落后的传承方式使皮影艺术具有很强的封闭性，很大程度上限制了皮影艺术的发展。目前现存的皮影大多受到不同程度的损坏，艺人老龄化严重，如果不及时采取保护措施，皮影最终将走向衰亡。

为了让皮影艺术再度焕发生机，相关的研究人员采用新媒体技术对皮影艺术进行保护和再创作[1-2]。目前，皮影艺术数字化的表现形式主要有以下三种：（一）将影人角色数字化：传统的影人是用兽皮和纸板等制作的，不易保存，有寿命限制。在计算机技术的加持下，部分研究者以照片的形式将现有的影人角色保存下来。如，中国美术学院制作的皮影数字博物馆收录了近五万张的影人照片，按照人物、动物、衬景、道具等进行分类。除了对现有的影人角色进行收录，创作者也可以利用计算机创作新的皮影角色，这简化了传统影人角色的制作难度，有利于影人角色设计的传承和发展。

（二）制作具有皮影元素的数字動画：数字动画是一种基于数字技术生成的新型动画艺术，是一种集绘画、配音、剪辑等众多艺术形式为一体的综合艺术。由于数字动画具有通俗化和传播广的特点，相关工作者们将皮影元素融入到数字动画中，创造出了许多优秀的皮影动画作品，帮助了皮影艺术的推广和中华传统文化的宣传。如，环球数码制作的皮影数字动画《桃花源记》，以其出色的视觉效果将中国传统的文学作品用皮影的形式表现出来，让中华传统文化在新时代绽放了独特的魅力。

（三）制作具有皮影元素的人机交互应用：随着数字媒体技术的发展，当前媒体作品的设计有了新的前进方向，即人机交互设计。人机交互设计注重人与数字化对象的交互，追求沉浸感和体验感。因此，为了让用户能够沉浸式体验皮影艺术的魅力，具有皮影元素的人机交互设计也逐渐多了起来。如，风格化脸谱生成系统能够根据用户的脸生成特定的皮影风格的脸谱，让用户产生代入感。

还有在微软发布的Kinect体感设备上实现的，能够根据用户做出的肢体动作来控制屏幕上影人角色动作的交互应用。这种交互方式能够实现用户与虚拟角色的实时的、直观对应的互动，比鼠标操纵更形象、有体验感。

二、在皮影艺术数字化保护中引入增强现实技术

增强现实技术是一种实时计算摄像头的位置和角度并在真实世界的基础上渲染相应图像的技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术。增强现实技术作为一种新兴的计算机技术，集三维建模、多媒体、多传感器融合、计算机图形图像学、实时跟踪及注册、场景融合等众多新技术与新手段为一体，是当今最前沿、人机交互最接近人类自然状态的交互媒介。以移动增强现实设备——头盔显示器为例，用户佩戴头盔显示器时，可以同时看到眼前的真实世界和显示器投射的虚拟的画面信息。两种信息互相叠加，相辅相成，呈现出一种虚实相交的场景。

目前，增强现实技术发展迅速，已广泛地应用于多个领域，如游戏娱乐、教学系统和文化遗产保护等领域[3-4]。在文化遗产保护领域中，北京理工大学利用增强现实技术对圆明园遗址进行了“重建”。

用户在观览圆明园遗址时，可以手持手机、平板等设备，看到圆明园昔日的辉煌景象。与此同时，国外的INQUADRA工程将增强现实应用于壁画展览中。用户可以通过手持设备看到真实的壁画缺损部分的原貌，更能深刻领略到壁画的魅力。

随着科技的快速升级，增强现实已经逐渐融入到人类社会生活中，未来有很大的发展空间。而且，上述增强现实人机交互系统的成功开发和应用也证明了将增强现实技术引入文化遗产保护领域具有极大的价值[5]。因此，文章分析了皮影的艺术特征和增强现实的技术特点，认为将增强现实技术与皮影艺术数字化保护相结合具有一定的研究价值。与此同时，研究和开发具有皮影元素的增强现实人机交互系统将有助于皮影艺术的保护与传承：（一）虚拟的皮影元素与真实场景结合提升用户沉浸感：“虚实结合”是增强现实技术的一个基本特征。交互系统通过摄像头捕捉具有皮影元素的宣传品，如特制的二维码，皮影纪念册等，然后立即在当前的真实场景中渲染出对应的3D模型，数字动画等，这些虚拟的小影人会立刻跃然于真实世界中。这种呈现方式给人以新奇感和趣味感，打破了空间和时间的限制，能够吸引用户的注意力，能够更直观地宣传和传播皮影文化。

（二）与皮影元素的实时互动提升用户体验感：“实时互动”是增强现实技术的第二大亮点。与其他数字媒介相比，如视频、直播等，增强现实不是让用户被动地接受视频和音频信息，而是根据用户的反馈，如手势、语言等，及时调整系统所呈现的内容。如，用户在增强现实环境中用手势控制皮影动画的开始和结束。增强现实的实时反馈系统能够抓住用户此时此刻的需求，让用户主动接受感兴趣的信息，消除了用户因被动接受信息而产生的疲倦、烦躁等情绪。

（三）新兴的体验方式吸引更多的用户参与皮影艺术的传播：调查可知，在各大城市的线下VR体验馆消费主体中，15岁至35岁这个年龄层的人最多。这个年龄层的人受教育程度高，对新鲜事物的接受速度快，学习能力强。增强现实技术作为一种全新的体验方式，必然会吸引这个年龄群体用户的注意。因此，开发皮影相关的增强现实人机交互应用将会有助于在青少年群体中传播和宣传皮影艺术，让未来的主人翁们在娱乐中感受皮影艺术的魅力。

三、基于增强现实技术的皮影操纵交互系统设计实践

（一）皮影数字化领域中缺少皮影操纵技艺的保护研究在皮影的数字化保护领域中，少有关于皮影操纵技艺的数字化保护研究。在皮影操纵技艺的数字化保护领域中，目前已有的工作大致分为两类：一类是用机械手模拟仿真技师的操作方式，如英特尔中国研究院通过智能机械手Eagle Shoal实现对老虎皮影角色的运动控制。在皮影戏表演中，人类表演者在扮演老虎时会采用两只手进行操作，而Eagle Shoal突破了人体的限制，仅通过两根“手指”操控皮影操作杆。Eagle Shoal的每根“手指”都有2个主动自由度，手掌上还有2个单独的旋转关节，因此只要一只手就可以灵活控制老虎的运动。但由于角色动作变化，机械手的两根手指时常会发生碰撞，会出现损坏机械手的情况。与此同时，碰撞也会影响皮影角色的运动效果。

一类是用户通过手势或者操纵杆控制虚拟的皮影角色运动，如北京林业大学的刘嘉楠使用Leap Motion手势控制器和UnrealEngine 4引擎实现用手势控制皮影角色运动的交互功能。在其设计的人机交互系统中，用户可以通过手势指令控制交互流程，和控制皮影角色的动作。

第一类方法能够很好地模拟传统皮影表演大师的操纵动作，但不能普及到普通用户中，让普通用户也能感受到操纵皮影的乐趣，不利于皮影操纵艺术的传播;在第二类方法中，皮影角色运动通常会出现脱节现象，影响皮影角色运动的连贯性和用户的人机交互体验。

为了更好地实现皮影操纵技艺的数字化保护，并解决上述皮影操纵技艺数字化存在的问题，本文研究了增强现实设备——头盔显示器的使用特点和传统皮影操纵方式的特点，决定将增强现实技术引入到皮影操纵技艺的数字化保护中。

（二）皮影操纵技艺数字化保护的设计实践1.系统的功能。本系统以增强现实设备HoloLens为硬件载体，设计一种皮影操纵交互方式，让用户能够手持真实的木棒，带上HoloLens，在增强现实环境中操纵虚拟的皮影角色。该系统旨在模拟真实的皮影操纵过程。未受过专业皮影表演训练的用户可以穿戴头盔显示器，手持操纵木棒，通过该系统操纵设备所渲染出来的虚拟的皮影角色，在系统的引导下进行皮影戏的表演。图1中左图展示了传统的皮影操纵方式，图1中右图展示了本系统中用户操纵虚拟皮影角色的方式。对比可得，传统的皮影操纵中，操纵杆多，使用难度大。

而在本系统中，用户双手各持一根木棒即可操纵虚拟的皮影角色。

2.系统的软件架构。本系统运行于移动增强现实设备——头盔显示器HoloLens上，主要分为四个模块：关键点跟踪模块，指令识别模块，通信模块和显示模块。

（1）關键点跟踪模块。该模块负责实时检测并返回用户手持的操纵木棒的棒尖顶点的位置坐标。在增强现实环境下，木棒的棒尖顶点的坐标作为系统的输入，其准确性和实时性需要得到保证。因此，本模块采用训练好的深度学习模型实现木棒的棒尖顶点——木棒关键点的检测。经实验证明，该算法比流行的跟踪算法在识别速度和mIoU指标上更有竞争力。

（2）指令识别模块。该模块负责接收关键点跟踪模块返回的木棒关键点坐标，处理木棒关键点位置在时间上下文和空间上下文中所代表的语义，返回具体的交互指令给显示模块。

（3）通信模块。该模块负责将指令识别模块的输出转换成socket信号传输给显示模块。该模块使用UDP传输协议完成。UDP协议是基于无连接的协议，不需要连接过程，速度快，比基于连接的TCP协议更适合实时传输的任务需求。

（4）显示模块。顾名思义，该模块负责将虚拟影像投射到真实世界中，并根据接收到的指令信息刷新显示的具体内容。

3.技术难点及解决方案。实现该操纵交互方式的技术难点有二。

一是设计一个明确的指令识别程序，以便设备能够明确理解木棒运动的上下文含义，并将明确的指令传达给显示模块，这关乎整个系统的人机交互体验。本系统采用C++语言编写了指令识别程序，将其用于处理接收到的上游的木棒关键点坐标信息。二是为虚拟的皮影角色设计实时的数字动画，以便让虚拟的皮影角色能够根据用户的控制进行运动。在虚拟角色的实时动画中，本系统利用了基于反向动力学的骨骼动画技术来设计数字皮影角色的骨骼模型和描述皮影角色的动作，成功解决了手臂运动不唯一和脱节的问题。两者的具体设计将在下面4和5中说明。

4.指令识别程序设计。系统将投射到用户看到的真实的三维空间上的虚拟画面分为六类区域，如图2所示。“1”标记的区域用于摆放可供选择的皮影选段，“2”标记的区域为舞台区域，“3”标记的区域用于摆放可供选择的皮影角色，“4”标记的区域用于摆放录屏按钮，“5”标记的区域为用户操纵皮影的操作区，“6”标记的区域用于摆放系统退出按钮，“0”标记的区域为用户所看到的真实世界的画面。

各个数字编号区域用不同灰度的矩形区分。指令识别处理程序将木棒关键点坐标推入全局队列中，并及时推出队列中较早的坐标信息。通过这种方式，指令识别处理程序就能够获得此时此刻及此前时刻连续一段时间内的木棒关键点坐标信息，并据此做出逻辑判断，输出指令信息给下一个模块——显示模块。

由于本系统全程使用木棒关键点的坐标信息作为交互输入，在本程序中需要判断木棒是处于与皮影关节绑定，操纵皮影角色的状态，还是处于未与皮影关节绑定，可用于发出“选择”和“浏览”指令的状态。因此，程序设定了一个全局变量Flag，该变量用于上述判断需求。Flag只有两个值——0和1。Flag为0时，表示木棒未被绑定;Flag为1时，表示木棒正处于与皮影角色的某个关节点绑定的状态。指令识别处理程序的输入、判断逻辑和输出具体如图3所示。

5.虚拟皮影角色动画设计。在显示模块中，最重要的设计就是被操纵的虚拟的皮影角色的实时骨骼动画设计。这也是本系统中完成难度最高的部分。其中，虚拟的皮影角色能够实时地根据木棒移动而做出动作是由基于动力学原理的骨骼动画技术实现的。

骨骼动画技术是一种用骨骼系统来控制2D或3D角色模型运动的技术[7]。在皮影角色运动过程中，骨骼的移动和旋转由正向动力学技术和反向动力学技术控制。以人形皮影角色为例，图4左边部分展示了皮影角色及骨架设计（白色部分为骨骼）;图4右边部分展示了皮影角色骨架中骨骼的层级关系图。

正向动力学技术是指自上而下的控制各级骨骼运动的方式。它的工作原理类似于抬胳膊的过程——肩膀的移动会带动肘的移动，肘的移动会带动手的移动。通常，正向动力学技术常用于皮影角色的走路、跑步等动作中。本系统应用正向动力学技术于皮影角色走路运动中。皮影角色骨架的根骨骼向目标位置移动，会带动下级骨骼一起运动，进而实现皮影角色整体的移动，实现了皮影角色“颠儿颠儿”的走路效果。

但是，正向动力学不能解决精确控制末端骨骼的问题。以皮影角色的手臂动画为例。要想移动皮影角色的手部到指定位置，手臂骨骼链中的各段骨骼该如何运动？如果采用正向动力学技术，即已知手部节点的位置，自手臂肩部节点开始，逐级计算出各节点的位置，那么这个运动方程的解是不唯一的，甚至有些解的节点位置是不符合常理的。因此，本系统选择反向动力学技术实现皮影角色手臂的运动控制。系统将手部关节点设为被控节点。只要给予手部节点的目标运动位置，反向动力学能够让手部节点运动到目标点的同时，带动肘、肩运动到合理的位置。这种方式让手臂骨骼链的运动路径唯一，也符合传统的操纵皮影角色手臂运动的过程，实现了皮影手臂运动的动画效果。图5展示了皮影角色“抬手”到目标位置的动画效果。

结语

文章分析了皮影艺术数字化保护现状，提出引入增强现实技术来丰富皮影艺术数字化保护的内容。由于皮影数字化保护中很少有关于皮影操纵技艺数字化的研究，文章设计了一款基于移动增强现实设备——HoloLens的皮影操纵交互系统。该系统能够在保留传统皮影操纵方式的前提下，简化了传统皮影戏的操纵难度和场地需求（幕布），让无表演经验的人也能够表演皮影戏，为皮影艺术数字化保护提供了新思路。