浅析基于AR技术开发舞蹈教学及服饰设计小精灵APP的可行性

唐铭竟

(上饶师范学院,江西 上饶 334001)

舞蹈作为我国传统文化,是讲好中国故事、传播中华优秀文化的重要载体和手段。将舞蹈与现代高新技术“增强现实技术”(Aug mented Reality,简称AR)融合创新开发一款舞蹈小精灵APP,是赋予传统文化更强生命力、创造力和影响力以及增强国家文化软实力的积极作为和内在要求,是加快数字赋能传统产业、促进舞蹈产业深度融入新媒体新经济现代产业体系的必由之路和具体实践。通过调查分析、实证研究、SWOT研判,综合相关学科基础理论,以舞蹈的教学、服饰和游戏为切入点,围绕发展现状、技术基础、市场前景、路径模式、面临挑战、破解方略等,分析探讨基于AR技术开发舞蹈小精灵APP的可行性。

1 发展现状

基于AR技术的移动平台APP应用是指通过软件把手持移动终端(如智能手机、平板等)变成虚拟显示器,软件系统使用移动摄像头捕捉现实场景中某个对象(实体或图像),在终端显示器上显示3D图像,实时融合成虚实结合的场景。更好的互动性体现在软件可以跟踪用户或物体在实际空间的移动,以及他们通过终端屏幕和虚拟模型的互动[1],如图1所示。

图1 AR技术原理示意图

近年来,AR技术在新媒体网络、5G等现代高新技术的推动下,在文化娱乐、民生消费等领域得到了较好较快发展,以新闻、书画、游戏、影视、社交、服装服饰搭配等为主要题材的应用小程序和软件相继面市,受到了广泛关注、热烈追捧。AR技术及其产品正潜移默化地影响和改变着人们的生活情趣、学习习惯、工作方式等,如图2、3所示。

图2 电视演出节目中的AR技术应用

美国学者Ronal d T.Azu ma总结增强现实(AR)具有虚实融合、实时交互、三维注册的特点[2]。与VR技术不同的是,AR增强现实技术不会把使用者与真实世界隔开,而是将计算机生成的虚拟物体和信息实时叠加到真实世界的场景中来,以实现对现实场景更直观形象的了解和认知,成为人机交互的新一代平台界面,还能够与LBS、图像识别等技术相结合,无论是应用场景还是商业价值,AR都远大于纯虚拟的VR。因此,许多企业、机构和科技人员紧紧抓住AR技术具备较强的立体感、真实感、可视化、形象化、参与性和互动性的特点和优势,大力开发新颖适用的文化类消费品,特别是新闻出版、期刊书画、游戏广告、影视音乐、戏剧演出等行业和领域,向市场推出了大量的适合不同消费受众、层次和需求的移动平台APP产品。例如,2012年《成都商报》发布了我国首款AR新闻应用“拍拍动”,可以在报纸、户外广告上叠加视频等多媒体信息,该报还利用“码上控”“拍拍动AR”支撑的商业项目“增强现实房交会”“金蛇贺新春码上来拜年”“2013成都蓝顶艺术节”等,吸引了600多万成都乃至全国的读者参与其中。2013年央视春晚王力宏演唱《十二生肖》时,空中飞舞着3D生肖字块等特效都是通过AR增强现实技术实现的。《幼儿画刊》从2016年第9期开始,将AR增强现实技术嵌入刊物中,创造出了“视、听、玩”立体阅读的新模式,受到了儿童读者的欢迎。《摄影之友》在2017年2月刊上打造了国内首本AR封面摄影杂志,手机扫封面,可以看到不一样的风景,感受不一样的视觉艺术。目前,在年轻人群中比较流行的“崽崽”APP(图4),能在拍摄真人头像基础上,通过“捏脸”程序制作自己喜欢的崽崽,使用者在完成角色初始化后,即可进入沉浸式的游戏体验。该APP的教程、方法及功能主要有:选配或更换头像、头发颜色、角色口红,设置眼影、肤色,美颜,购买衣服,虚拟试衣镜等;还兼具游戏、社交等属性,以虚拟形象的设计与制作为载体,以角色表演为主要业务,用户在其中发现自己的形象特征和审美喜好,在各种舞台场景之间游历,体验角色表演的乐趣[3]。

图3 游戏娱乐的AR技术产品

图4 “崽崽”APP

这些应用AR技术开发的新产品得到了广大受众的认可和欢迎,显现出了巨大的市场空间和很好的经济社会效益,也让舞蹈产业链上的企事业单位、科研机构等增强了开发AR技术新产品、不断拓展舞蹈创新链价值链的信心和底气。

为了更加全面深入地了解和掌握舞蹈产业在AR技术的推广应用、产品开发、消费需求和市场前景等方面的情况,利用“问卷星”网络小程序进行了“舞蹈与AR技术结合的手机游戏APP问卷调查”,如图5所示。调查的内容和问卷的格式主要有:受访者的6个年龄段,男女性别,是否是舞蹈专业人士,对舞蹈的兴趣和接触过的舞蹈种类,是否了解和体验过AR游戏,有无舞蹈教学、舞蹈服装选择及搭配、通过舞蹈进行交友等希望APP具备的功能和要求等11项。从调查反馈的信息来看,收到的120份调查表中,有70%的受访者了解舞蹈并对舞蹈服装选择搭配和AR游戏有兴趣,但实际体验过AR游戏的仅有40%。可见,AR技术及其产品尽管已经进入了大众的生活圈、娱乐圈、工作圈及其他方面,且有一定程度的普及率,但在舞蹈产业中的应用还不够多,投放在舞蹈方面的移动平台APP数量还相对偏少。为此,基于AR技术开发舞蹈小精灵APP具备很好的应用前景和不可限量的消费市场。

图5 问卷调查部分内容

2 模式路径

中国直升机设计研究所吴骞华认为,AR增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容,其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上,实施模拟仿真处理,将虚拟信息内容叠加在真实世界中加以有效应用,并且在这一过程中能够被人类感官所感知,从而实现超越现实的感官体验[4]。开发本款APP要充分展现AR技术的场景模拟仿真度高、人机互动性强等先天优势,要充分发挥舞蹈独具的艺术、娱乐、灵动、表演、观赏等专业特长,应侧重于体现互动性、适用性、体验性、特色性、趣味性和参与性等使用功能;其路径可选择沿着舞蹈教学、舞蹈服饰、舞蹈游戏三条线进行技术攻坚和产品研发,各条路径开发的APP作为独立模块可单独使用,也可自由搭配组合使用;其模式可搭建由AR技术支撑和舞蹈专业数据库支持的软件开发模式、由独立模块自由组合使用的应用模式。

2.1 突出互动性适用性开发舞蹈教学小精灵APP模块

舞蹈教学小精灵APP模块主要是利用AR技术模拟舞蹈小老师,采用一个卡通女孩形象作为舞蹈演员,使用Open GL的动画库函数,三维软件(3D MAX)和光照效果设计出场景和角色模型,用户可通过移动鼠标,对舞蹈进行全方位观看[5],也能获得专业舞蹈知识讲解与多种类型的舞蹈教学课程,包括古典舞、民族民间舞、芭蕾舞、拉丁舞、爵士舞、街舞和其他当下流行舞蹈等。在使用功能的设计上,可参考借鉴“中舞网舞蹈教学视频学跳舞”APP中的“课程”“练习室”“资源”等工具栏的设置形式(图6),应采取真人模拟、一对一线上教学模式,增强学员与小老师的互动,突破时间空间限制,实现学员在家中或其他非教室环境也能自行进行舞蹈学习和练习的功能和目的。

图6 “中舞网舞蹈教学视频学跳舞”APP工具栏

针对专业舞蹈学习者,通过本模块APP的360°无死角展现,能够直观地理解感受舞蹈动作的教学原理,充分掌握动作技巧,进行思路清晰、理解到位、目标明确的训练。例如,在传统的舞蹈教学中,学习侧空翻时,因其动作速度过快,学习者离指导老师或示范者距离较远,看清其技术要领的难度比较大;不同的指导老师或教员对技巧教学也有所不同,导致学员在理解上容易产生偏差或误差,甚至在练习中造成不必要的肢体伤害。使用本模块APP可以把一些难以示范清楚的技术环节,用全方位、多角度的真人模拟表现出来,能极大地改善和提高学员的学习质量和学习效果,能进一步激发学员学习舞蹈的兴趣,培养学员对舞蹈的创新思维和意识,不断积累舞蹈专业知识和技能,让学员在沉浸式虚拟影像中提升舞蹈的表演、设计和创新的能力与水平,增加舞蹈教学和培训的互动性、预期性、安全性和成效性。

针对非专业舞蹈学习者,通过本模块APP的大数据推送,能自主选择喜好和适合的舞种来学习,学习进度和学习内容可自主决定,能较大程度地降低舞蹈学习的门槛和难度,避免舞蹈零基础的学员因学习动作慢、接受程度小、群体一起上课进度跟不上和自信心不足等导致的尴尬自卑的情况产生,真正体现在快乐舞蹈、健康舞蹈、自由舞蹈中找到获得感、幸福感、成就感的初衷。

2.2 注重体验性特色性开发舞蹈服饰设计小精灵APP模块

舞蹈服饰设计小精灵APP模块开发的重点在于三维注册技术的掌握与运用。AR系统最终要实现的目标是将虚拟数字信息与系统中摄像机捕获到的周围现实场景实时地完美融合,因此跟踪和三维注册技术是AR系统最核心的关键技术。将虚拟的数字内容信息(文本、图形、动画、视频、声音、虚拟三维物体)实时地放置叠加在真实场景中,以实现虚拟对象和真实环境融为一体,这个过程称为三维注册(registration)[6],即根据用户需要、演出主题、观众类别等,再结合个性化的舞台搭建、背景设置、灯光配置、音乐选择等,进行数字化的舞蹈服饰设计和配搭。该模块的使用功能设计可参考借鉴“极简衣橱”等APP(图7),用衣橱管理功能让不同材质、类型、色彩、款式的衣服和配饰实现可视化管理、自由化搭配,让不同舞种、不同题材、不同舞台的舞蹈服装服饰的设计、搭配和管理做到可视化、信息化、简单化、趣味化和科学化。

图7 “极简衣橱”APP

在三维注册技术中,要通过虚拟对象的真实感,绘制建模技术和对模型的实时渲染技术,以实现最终呈现出来的虚拟数字对象的真实性,使用户在体验过程中产生极强的真实感,比虚拟现实的体验更具沉浸感。在确定好真实场景中标识物与摄像机直接的相对位置并通过坐标变换过程,虚拟对象就能准确地放置在真实场景中[7]。张宇在《基于“互联网+”服装搭配APP的制作》中提出了新型智能服装搭配APP应用软件,用户可以利用该APP的灵活性与便捷性自动化搭配衣服[8],也为开发舞蹈服饰设计小精灵APP的可行性、可操作性和可实施性提供了有力的论证支撑。可以预见,模块APP开发出来后,使用者只需将手机对准任意一个舞台点击设置舞台场景搭建,就可在APP上进行距离、人数、进出口位置等模拟,优化舞台场景、大小、形状、空间、灯光的设置和效果,并根据舞台效果、演出主题、观众对象等设计出最佳的舞蹈服饰选择方案。专业舞蹈者能通过预设数据,模拟出与舞蹈节目相匹配、相适合、相协调的舞台搭建和演出服饰搭配效果。业余舞蹈者能在体验舞台模拟和舞蹈服装搭配的乐趣中,领略类似于试衣镜功能的舞台虚拟试装的魅力和情趣。

2.3 强化趣味性参与性开发舞蹈游戏小精灵APP模块

开发舞蹈游戏小精灵APP模块,应充分发挥舞蹈专业院校、培训机构、社团组织、演出单位、服务提供商、运营商的资源禀赋和数据收集能力,充分利用计算机、电脑、软件、新媒体、5G等现代高新技术的要素和优势,搭建舞蹈专业数据资源库或协调链接相关协作机构的共享数据库,集成集合舞蹈教育培训领域、企业市场培训项目、演出节目以及古典舞、民族舞、拉丁舞、芭蕾舞、广场舞、街舞、流行舞等舞蹈相关数据、资料、图片和映像,大量收集各类舞蹈元素,为模块APP开发提供基础和条件支撑。建模设计的方式可参考借鉴“凯丽的舞蹈服装搭配”等游戏APP中的“关卡模式”“自由穿搭”“套装馆”“对战PK馆”等栏目的设置形式和图案色调搭配模式(图8)。

图8 “凯丽的舞蹈服装搭配”APP

在市场推广前期,模块APP还可采用搭建“交友圈”的方式,探索舞蹈游戏的设置内容、格式和界面等。“交友圈”的功能和内容应充分满足用户的喜好兴趣和个性特长等,让用户在游戏体验中可自行投稿舞蹈视频、反馈练习舞蹈的视频,进行舞蹈的节目设计、服装穿搭、音乐配置等参与游戏竞赛或展示活动等。游戏者可在同一学习或喜欢的视频下留言,进行以舞会友、以舞交友,可在双方成为好友后进行真人一对一的舞蹈PK游戏等,不断增强用户对舞蹈游戏的趣味性与参与性。

3 面临挑战

基于AR技术开发舞蹈小精灵APP面临配套软件研发不足和硬件支撑乏力等挑战和瓶颈。

软件上,在舞蹈类的教学软件极其匮乏的当今社会,经济利润的趋势以及市场的方向作用,舞蹈教学视频的发展受限,对舞蹈视频教学软件的研发缺少鼓励和刺激,造成市面上的舞蹈教学软件或视频影像非常单一且质量不高[9]。即使能够收集大量的舞蹈教学视频、通过大数据模式建立数据库,但因视频本身质量不高,如教学视频内容因年代久远而得不到更新,产生视频模糊、视频内容过时等,而达不到所预期的教学效果。

硬件上,国内AR技术的硬件配套还跟不上。目前,搭载AR技术的显示器主要有3种:基于计算机式显示器、视频透视式显示器(图9)、头盔式显示器(Head-mounted displays,简称H MD)。其中,真人模拟线上教学基本上只适用于计算机式的显示器,用户可通过移动鼠标对舞蹈进行全方位观看,虽然拓展了舞蹈的直观性和准确性,但缺乏舞蹈学习的沉浸性和贴身性,致使练习者不能第一时间纠正技术偏差。舞台场景模拟和舞蹈服饰设计则是通过基于视频透视式增强现实的三维建模方法,将二维的舞台平面设计升级到直观的三维设计,而这项功能在国外移动平台APP中居多,国内在这些方面的开发还不够。现阶段,要推动AR技术深入发展、AR产品加快开发,在一定程度上还受到一些硬件支撑条件的制约。

图9 AR视频透视式显示器

4 破解方略

创新是引领发展的第一动力,应充分发挥科技创新、理念创新、模式创新的支撑、引领和聚能作用,弥补软件研发不足、硬件配套滞后等劣势,化解AR技术在开发舞蹈小精灵APP中面临的困难挑战和弱项短板。

4.1 发挥科技创新支撑作用

针对目前AR技术开发舞蹈APP基本上只能使用单一的计算机显示器的共性技术问题,应重点围绕视场、适眼区尺寸、眼睛安全、出瞳距离、周边视觉、分辨率、光学效率、均匀性、颜色质量、对比度、产品重量和结构等关键设计参数,加大对光学透视显示器的应用技术研发,加快对轻薄型、免佩戴等AR光学透视显示器产品的产业化开发,以技术创新支撑硬件产品制造,破解当前AR头盔显示器、AR眼镜显示器等比较笨重、需要佩戴、多用于线下游戏体验、体验者需手持游戏柄才能进行游戏等硬件配套滞后的瓶颈问题;破解这些硬件产品尽管沉浸感、互动感十足,但运用于舞蹈教学中显得过于笨重、无法进行大幅度的舞蹈动作以及对舞蹈练习场地也有一定局限的系列技术难点。

图10 需要佩戴的AR头盔

4.2 突出理念创新引领作用

在发展思路和设计理念上,开发本款APP不能局限于移动平台,也可向大银幕拓展延伸,更要转变舞蹈表演凭经验对演出节目的内容编辑、演员配置、动作选取、舞台搭建、服装搭配、灯光配套和音乐设置等传统设计理念和方法。可借鉴河南春晚《唐宫夜宴》(图11)和央视春晚《只此青绿》(图12)等舞剧作品的创作方式和设计理念,将舞蹈表演与“5G+AR”、3D全息扫描等现代技术结合,分两部分录制作品,一部分在舞美背景前录制,后期进行专业抠图,另一部分以舞台为基调实景录制,录制完成的作品加入虚拟场景,场景叠加重组,呈现画中画3D立体的肉眼效果,打破传统的表演形式,移步换景,别出心裁[10]。这些新颖独特的舞蹈和剧目更加直观地让观众体会到了AR技术带给舞蹈表演的视觉魅力,其产生的轰动效应也让大众对AR技术及其产品的认知和兴趣逐渐增长、更加浓郁。理念的创新能从设计思维拓展和市场消费带动等多个角度,为加快开发本款APP发挥积极引领和促进作用。

图11 《唐宫夜宴》剧照

图12 《只此青绿》剧照

4.3 用好模式创新聚能作用

要突破舞蹈APP开发的传统模式,充分发挥新媒体产业的集群性和规模效应,将本款APP开发融入新媒体产业链加以推动,通过争取国家政策扶持、增加研制资金,促使新媒体产业链上的硬件制造商、内容提供商、服务提供商、运营商等加大投入,用于攻关从二维模式到三维模式的技术壁垒,以促进问题的解决,带动新一轮舞蹈教学视频迭代更换,不断提升AR技术呈现的虚拟影像效果,逐步淘汰分辨率不高的落后教学视频,实现舞蹈产业和新媒体产业优势互补、共建共享、聚能发展。于昆对舞蹈和新媒体平台的研究认为,新媒体时代,受众大多从平台中心获取各自需求的新媒体视频进行学习,如果没有大量受众的支持,新技术就会停止继续探索的脚步,新媒体平台产业链建设,会使舞蹈视频数量有所增加[11]。随着新媒体产业的加快发展,必定会推出更多更好的舞蹈视频,也必将为本款APP的顺利开发和推广应用聚集新动能、拓展新市场、增添新消费。

5 结束语

文化兴国运兴、文化强民族强。文化自信是一个国家、一个民族发展中更基本、更深沉、更持久的力量。我国正在大力发展国家文化软实力,舞蹈作为文化软实力的重要部分不可忽视。在飞速发展的国际化时代,5G与互联网的蓬勃发展增添了市场活力,随着智能手机、平板电脑等产品的普及,用AR技术开发的移动平台APP成为消费新宠。舞蹈学习和设计作为必须身体力行且具有一定门槛、难度和时空限制的活动,要实现简易化、时尚化、大众化、立体化、信息化和数字化,亟需现代高新技术对传统教学和设计模式的改造提升和蓄力赋能。基于AR技术开发舞蹈教学及服饰设计小精灵APP,具备市场空间、消费需求、支撑手段和实现路径等基础条件,技术上可操作可实施,应用前景广阔。