基于AR技术的戏曲科普教育应用设计
——以黄梅戏为例
2020-11-30叶明胜杨绍清张昀寰
叶明胜，杨绍清，张昀寰
(1. 安徽艺术学院，安徽合肥 230011;2. 河南职业技术学院，河南郑州 450046 )
0 前言
传播媒介随着数字技术的迭代更新而得以快速发展，信息的传播开始由传统媒介向新兴媒体过渡，高科技、多感知设备应运而生，增强现实技术(Augmented Reality，简称AR)作为新兴技术日渐成熟，并在各种艺术和科技场合得以创新应用，如艺术、教育、游戏、科普、医疗、展览展示和数字化保护等领域[1].用户透过AR眼镜[2]可以体验多维度、多方位的时空调度，进而能够观察非同寻常的虚拟情境和景象，有助于创新呈现想象中的空间.
戏曲科普教育在传播形式上主要分为两种：一是传统的戏曲影视剧目的演播，通过程式化的表演呈现于观众面前，以艺术赏析为主；二是戏曲进校园(下基层)展演活动，主要由专业戏曲艺术院团的演职人员担任，以艺术科普与情景互动为主；三是戏曲艺术展馆展览，以二维纸媒结合三维荧屏媒介宣传，以2.5维的科普说教为主.传统戏曲科普形式过于守旧，年轻人难以接受.将当下时髦的AR技术与移动媒体相结合，应用于戏曲虚拟表演及知识科普，即用户通过移动设备扫描真实舞台场景或特定的文化符号产生相应的虚拟戏曲角色及虚拟表演情境，与真实的场景进行戏曲演绎情节的多维交互，获取戏曲的科普知识.
本文通过文献综述与调研，根据戏曲艺术传播现状及其艺术特性，提出了寓学于乐的AR戏曲艺术应用的设计方案，为创新戏曲艺术的传播方式作出初步的探索.
1 设计原则
AR视觉，即用户通过扫描标记识别物体后，呈现在屏幕上的“虚拟”与“真实”视觉的堆叠显现，用户通过执行命令的中间介质，提升视觉增强的互动性，目前关于AR技术的视觉呈现技术的研究主要在技术上的更新，包括全息光学AR[3]，HMD眼镜、HUD隐形眼、手持显示设备等.
著名心理学家Daniel Kahneman的“Peak-End Rule”理论[4]认为，人们在对一项事物体验之后，所能记住的只是在“高峰(Peak)”时期和“结束(End)”时期的感受，而在体验过程中产生的“优劣比重”和“时间长短”，对记忆的影响可以忽略不计.其中的“高峰”与“结束”即是所谓的“关键时刻MOT”.用户“关键时刻”的舒适感提升是用户体验研究的重要目标，对提高用户体验的质量有着重要的意义.依据AR应用的导向体验流程接触点[5]，本文通过对用户使用AR应用时的共性心理特征，绘制了完整AR增强现实APP体验的用户情感旅程[6]，见图1.通过图中可以管窥出，AR互动APP用户的“峰值”和“终值”体验阶段分别为“进行AR增强互动体验”和“重启互动体验”时刻.因此，则可以进行接触点的情感化设计，让使用者在互动体验的两个关键阶段时刻收获较佳的用户体验，从而忽略互动过程中程序复杂，视觉效果弱等其他痛点，产生持续性的AR互动行为.根据“Peak-End Rule”的体验特征，本文将其应用到AR戏曲科普应用的体验设计流程中，旨在使用户在人与机之间的增强互动过程中产生较佳的体验效果.
图1 AR应用用户体验旅程Fig.1 AR application user experience journey
2 设计方案
寓学于乐型AR戏曲科普设计不同于传统的戏曲科普应用产品，其设计形式新颖，内容丰富，视觉效果好，传播形式独特，符合戏曲艺术表现形式和传播的理念.将AR与戏曲科普教育相结合，具有明显的优势：其一，在戏曲艺术的呈现上进行设计容易给观者以创新感；其二，AR能够无缝融合“虚”和“实”两个时空场域，可以更富表现力的展现戏曲故事的应景景象，将用户的体验维度从2D平面拓展到3D空间，增强呈现高度仿真的“真实”场景及声像将观者带入另一番场景，能够极大地增强使用者对戏曲艺术的直观认知能力，相对于传统戏曲传播与科普具有极大差异；其三，基于舞台呈现的戏曲艺术一般不具备互动赏玩及科普教育方面的功能，通过与AR技术融合，可以使戏曲艺术的附加值得以提升，而成本却不会相应增加.
本文的设计方案以黄梅戏舞台艺术呈现(即表演)为基础，在舞台设计、戏曲动作、角色设计上进行功能划分，适合艺术观赏同时兼顾戏曲科普与教育的拓展功能，在戏曲舞台呈现的过程中、学习者对动作程式、服装道具、艺术审美的的求知程度较强.整个产品设计包括戏曲动画设计，AR应用设计，主要涉及到三维动画技术、图形设计、UI交互技术、APP开发等.将图像设计通过AR交互设计整合到APP上，在移动终端下载安装对应APP，并通过扫描既定的图案，就会产生AR立体效果.根据戏曲场次和类目的不同，可选择对应的识别图案进行跟踪设计，设计方案如图2所示.本文设计方案基于寓学于乐的理念，使使用者在戏曲观赏过程中得到身心的愉悦，同时也获得相应的知识，设计方案合理，满足了用户的对艺术审美的追求与认知需求.
图2 AR戏曲科普应用设计方案Fig.2 AR opera popular science application design scheme
3 技术设计
本文运用AR技术工作原理，通过特定图像识别技术，将产生的2D平面或3D体式的效果与获取的现实影像进行二度叠加，产生具有交互功能的综合视觉效果，包括立体图像与三维声效.增强互动的戏曲表演环节需通过三维动画技术来进行设计呈现，而AR图像的扫描需要借助移动终端设备APP来实现.因此AR戏曲科普设计中所运用的动画制作、交互呈现、APP开发三种技术是密切联系的.本文所用到具体的开发品台和工具.见表1.
3.1 AR技术
AR技术，是基于计算机系统生成虚拟影像来增强用户对真实世界感知.通常认为，该技术的出现源于VR技术的发展，但二者存在明显的差别传统技术追求给予用户一种在虚拟世界中完全沉浸的效果[7,8].在AR戏曲科普应用设计设计中，其工作原理是将动态的序列图形、声音和其他感官功能与静态图案中进行融合，无缝对接虚拟世界与真实世界，提高用户直观感受.现在有多种用于AR系统开发的工具包和 API(应用程序编程接口)，如Qualcomm Vuforia、AR Toolkit、Coin3D和MR Platform等工具.本文中设计的AR戏曲科普应用，采用Unity 3D作为基本引擎，通过外接载入的高通Vuforia Package进行开发，Vuforia 具有跨多平台性，编辑高效性等诸多特点，其技术核心基于标记的视频检测方法进行定位，其核心组件AR Camera校准和标记工具方便高效，并且支持特定图形和实景融合进视频及声效.
本AR戏曲科普应用的设计，采用了Monitor-Based技术，实现方法简单，功能简洁，便于用户操作与理解，适合戏曲艺术爱好者这一特殊群体.Monitor-Based增强现实系统实现流程见图3，其技术特征主要有：①将虚拟和现实环境进行混合；②实时交互；③三维注册[8]等.
图3 Monitor-Based增强现实系统实现流程Fig.3 Monitor-based augmented reality system implementation process
3.2 APP开发
APP作为信息交互的重要载体，其开发运用较广泛，本文设计实现的戏曲科普应用在AR立体图像的实现过程中，需要在移动平台下载安装APP 扫描静止图像，虚拟的三维影像便会出现在设备屏幕上.如图4所示.APP在扫描静止图像时，需要识别静止图像是否符合既定的目标，因此，在APP开发时需要提前置入特定图像及音效，建立相应数据库，用户可下载APP，通过相应注册或激活程序完成应用前准备.针对AR戏曲科普应用设计所开发的APP，可识别一系列特定戏曲艺术典型特征图案，如戏曲角色、戏曲舞台、戏曲装饰图案等，其功能设计主要包括：(a)扫描图像，AR增强显示3D戏曲立体动画效果；(b)配套戏曲场景唱词与音乐；(c)360°全景无死角旋转、放大和缩小；(d)可进行特定动画情节截图，并可进行友圈分享；(e)角色可换装，艺术角色可以互动；(f)戏曲艺术的娱乐性增强.
3.3 增强功能交互实现
本文采用Unity 3D+Vuforia SDK进行移动AR戏曲应用设计，通过Vuforia SDK资源包实现识别标记的2D图案进行跟踪，同时基于Android和iOS移动端设备屏幕触摸的交互操作产生真实与虚拟的二度交叉融合，拥有增强现实效果的多功能交互体验，应用具体实现了黄梅戏戏曲角色与场景的3D增强现实效果的呈现.黄梅戏曲交互的AR视觉呈现效果如图5所示.扫描到标记识别图后显示模型的同时开始触发动作，如若移开识别图后，则暂停增强交互呈现.以下为相机扫描识别标记图案功能实现的主要代码：
void Update()
{
if (mTrackableBehaviour.CurrentStatus == TrackableBehaviour.Status.DETECTED||
mTrackableBehaviour.CurrentStatus == TrackableBehaviour.Status.TRACKED||
mTrackableBehaviour.CurrentStatus==TrackableBehaviour.Status.EXTENDED_TRACKED) //定义标记物可识别状态
{Debug.Log("Trackable"+mTrackableBehaviour.TrackableName + "found");
OnTrackingFound(); }
else{ OnTrackingLost();}
}
protected virtual void OnTrackingFound() // 识别标记物
{
gt.SetActive(true);
gt.GetComponent
gt.GetComponent
}
protected virtual void OnTrackingLost() // 标记物识别丢失
{
gt.GetComponent
gt.SetActive(false);
}
public void OnTrackableStateChanged(
TrackableBehaviour.Status previousStatus,
TrackableBehaviour.Status newStatus) // 不同追踪状态的改变
}
4 戏曲动画设计
AR戏曲动画设计主要包括角色造型设计、戏曲场景设计、动画设计及特效设计.在进行设计时，需要考虑整体的设计效果及使用的趣味性，即形式新颖、角色设计风趣、审美符合大众化；图案新颖有趣，能够抓取用户使用的兴趣点，从而达到寓教于乐的效果；增强现实使用方便快捷，便于初学者快速上手应用.本文以安徽黄梅戏为主要创作背景，设计一个用于科普的戏曲APP设为例，进行以下几点的阐述.
4.1 戏曲角色造型设计
由于传统戏曲艺术在传统认为上有程式化、古板、角色生硬等刻板印象，所以在造型设计上选用人们喜爱的角色造型为蓝本进行造型设计.本文从趣味性和可欣赏性两方面探讨基于寓教于乐理念的AR戏曲卡通角色设计采用卡通造型设计，角色比例为大头小身的二头身造型原则.造型设计图如图6(a)所示.角色服装根据不同的戏曲情景进行分类设计.本文选取了黄梅戏《女驸马》选段的服装作为案例进行设计，服装以大红色为底色，配以装饰图案进行设计[9].服装设计图如图6(b)图所示.
图6 黄梅戏《女驸马》造型与服装图 Fig.6 Character and clothing design of Huangmei opera "female prince consort"
4.2 戏曲场景设计
传统的戏曲表演主要局限在固定不变的舞台上，因而在观众的观赏角度上受到了很大的制约，基于AR增强现实戏曲场景设计可以根据故事的背景进行二次设计与创作，让戏曲的场景更加的具有临场性和沉浸性.本文设计了《女驸马》《对花》两出戏的舞台场景与应景场景的设计.如图7所示.
图7 《女驸马》《对花》场景设计图Fig.7 Scene design of "female prince consort" and "check flowers"
4.3 标识图案设计
AR戏曲科普识别图案设计在形式上进行区分.本文选取了4幕黄梅戏经典片段作为蓝本，并对应设计了4组AR图案.2款黄梅戏曲类目的识别，2款剧目的代表图案，4款图案风格明确、像素清晰、图案生动形象，符合戏曲艺术丰富多彩的造型特征.然后，可在手机端应用APP扫描相应静态图案，弹出相应场幕的舞台场景与戏曲形象，音乐声效随着戏曲动画的开场而渐现.可选择戏曲剧情的背景介绍，以下是截选的《女驸马》情节：
您现在进入的是黄梅戏《女驸马》的经典选段，故事讲述的是荆楚襄阳道台之女冯素贞与李兆廷自幼青梅竹马，由其母亲作主订亲.后来李家家道中落，冯母也去世.冯素贞继母欺贫爱富，竟逼迫李兆廷退婚.此后，使得冯素贞被迫女扮男装进京寻兄冯少英，随即冒李兆廷之名应试，不料中得状元，被朝廷招为驸马.洞房花烛之夜冯素贞将实情告诉公主.皇帝得知消息后，只好予以赦免冯素贞，并命李兆廷以状元之名与冯
素贞完婚.
因此，可以让观者在欣赏艺术的同时了解戏曲古诗源流及背景，丰富用户对戏曲的认知，达到寓教于乐的效果.AR图案设计如图8所示.
4.4 动画设计
戏曲动画的制作主要取决于动作的流畅性与准确性，动作的采集与优化需从身段、执法、水袖方面考虑.戏曲动作具有象征性，因此戏曲动作趋于舞蹈艺术化是戏曲艺术呈现美感的重要组成部分.如走边、行船、跑城、起霸、趟马、登山、泅水等都具有明显的舞蹈化特性.因此在动作的设计上不能采用Key帧的方式进行设计，而需要进行规范的动作数据采集.通过对专业戏曲演员的舞蹈动作进行数据化捕获与处理，构建戏曲动画数据库，进而再将数据绑定到戏曲三维虚拟角色上.本文运用光学动作捕捉技术进行黄梅戏舞蹈动作数据采集，再通过Motion Builder进行数据的优化.再者，通过3Ds Max三维动画制作软件进行3D角色与动画数据的整合.相较于普通动画创建方式，动作捕获技术则需要对所获得的动作信息进行数据转换，即便如此，动捕技术在制作效率上会大大提高，却并不会增加制作的成本.适合大型戏曲舞蹈动作数据库的建立，动作数据库技术框架如图9所示.
图9 戏曲动画数据库框架Fig.9 Framework of opera animation database
4.5 测试效果
依据上述设计思路，结合戏曲故事与动画情节演绎，设计的戏曲科普主要为黄梅戏经典戏曲《女驸马》、《对花》经典段落为主题，数字文化内容则主要是由动画演绎和戏曲角色场景立体模型两方面构成.动画演义的特点在于向用户“传达”戏曲的艺术特点与程式由来，突出戏曲元素的艺术内涵.立体模型则是为了让用户可以更加细致近距离的观赏戏曲模型的细节特征，如服装、头饰等.当然，为了突显视觉效果，增加模型自旋转效果，使用户可以全角度多方位欣赏到戏曲角色或场景的细节.为使用户获得较佳的交互体验，突出简约且易操作的主题.设计对AR交互界面的UI进行隐匿，仅在用户扫描标记识别图时UI才会出现在屏幕上，UI显示效果如图10所示.用户可通过选择切换叠加的增强信息内容，测试效如图11所示.
5 结束语
目前，基于AR技术开发的科普教育类产品层出不穷，但将AR技术与传统戏曲科教方面的应用研究相对较少，推出的相关产品更是屈指可数.AR戏曲科普教育应用采用新技术与传统戏曲艺术相融合，能在一定程度上有利于传播诸如黄梅、豫剧、越剧等亟待传承与保护的传统戏曲艺术门类，极大意义地实现科教融合，寓学于乐，在一定程度上满足了戏曲艺术科普和欣赏的信息化需求，符合市场对于多功能娱乐科普教育类APP产品的需求.
