自然人机交互在“非遗”传承教育中的应用研究

付丽丽?楼小龙?李欣怡?张羽皓哲?吴迪

摘 要：以“皮影”和“木偶”两类“非遗”表演艺术为研究对象，并以Microsoft Kinect、Leap Motion等体感控制设备和交互技术为手段，提出了一种基于自然体态和手势感知交互的数字化“非遗”体验新形式和文化传承教育新手段。通过一个60人规模的教学对比实验证明了基于自然人机交互技术的“非遗”体验教学模式有利于激发青少年对传统文化的学习兴趣和探索欲，最终有助于提高青少年对中国传统文化的传承热情和创新意识。

关键词：自然人机交互;非物质文化遗产;数字化体验;传统文化教育;数字化教学

中图分类号：TP311;G40-057            文献标识码：A文章编号：2096-4706（2022）06-0128-05

Application Research on Natural Human-Computer Interaction in the Intangible Cultural Heritage Inheritance Education

FU Lili1， LOU Xiaolong1，2， LI Xinyi1， ZHANG-YU Haozhe1， WU Di2

（1.School of Humanities， Arts and Digital Media， Hangzhou Dianzi University， Hangzhou  310018， China; 2.Wenzhou Research Institute of Hangzhou Dianzi University， Wenzhou  325011， China;）

Abstract： This paper takes two types of“intangible cultural heritage” performance arts including “shadow play” and “puppet” as the research objects， and uses Microsoft Kinect， Leap Motion and other motion sensing control equipment and interaction technologies as methods， proposes a new method of digital “intangible cultural heritage” new experience form and new cultural inheritance education method based on the interaction between natural posture and gesture perception. Through a 60-person teaching comparison experiment， it is proved that the “intangible cultural heritage” experience teaching mode based on natural human-computer interaction technology is conducive to stimulating teenagers ‘interest in learning and exploring traditional culture， and ultimately helps to improve teenagers inheriting enthusiasm and innovation consciousness of Chinese traditional culture.

Keywords： natural human-computer interaction; intangible cultural heritage; digital experience; traditional cultural education; digital teaching

0  引  言

非物质文化遗产，简称“非遗”，是人类历史文明中流传下来的一种主流艺术形式，也是弘扬和传承中华优秀传统文化和民族精神的重要承载物，对于宣传和增强中华文化的影响力具有很高的价值[1]。但是在经济全球化发展以及外来文化冲击的大背景下，“非遗”被逐渐忽视并淹没在文化大杂烩中。特别是对于“00后”“10后”等青少年群体而言，由于缺少主动认知和直观感受的体验和过程，对“非遗”及其传统文化内容十分陌生[2]。在当前形势下，“重视‘非遗的现代化复现，并在青少年一代中延续和传承其文化价值”[3]成为传统文化保护领域重点关注的一个问题。如何更好地使“非遗”内容在青少年一代中被广泛接受并进行延续和传承？本文认为“基于直观体验的教育传承”是最好的方式之一。虽然传统的幻灯播放、音视频内容观阅以及通过网页、电视媒体等多形态知识阅读等方式可以建立起对“非遗”的直观认识，但是这种静态的知识接受和认知建立过程缺少对内容的参与感，受众的兴趣度并不高[4]。

在数字信息技术蓬勃发展并不断升级完善的背景下，以“体感交互”“虚拟现实”（virtual reality，简称VR）为代表的“沉浸式”自然人机交互技术成为一类创新载体并不断应用在影视娱乐、教育培训等领域[5]。“娱乐+教育”（Edutainment）[6]成为一种新的教育模式被提出并引起广泛关注，在认知教育、体验式教学等方面展现出巨大优势与潜力。本文选择“体感交互”这一诞生于数字娱乐领域的自然人机交互技術作为载体，将其应用在“非遗”文化的体验式教学活动中，并通过与传统教学手段的效果对比来论证自然人机交互技术在“非遗”文化传承与教育中的应用价值，为发展新媒体时代体验式教学创新手段与文化传承教育创新模式提供参考。F1FE5913-3AD1-4A50-9F86-65BD14EBA964

1  自然交互技术在文化传承教育中的应用价值

1.1  自然交互技术特点

以“体感交互”为代表的自然人机交互技术具有高度沉浸性（immersion）、丰富交互性（interaction）和想象性（imagination）等特点，是其区别于传统交互技术的主要特征[7]。“体感交互”通常以Microsoft Kinect[8]、Leap Motion[9]等非接触式多维图像传感器为基础，结合图像识别与目标追踪算法，实现自然体态和手势操作的人机互动[10]。对比一般的鼠标键盘交互和触摸屏交互方法，“体感交互”具有操作自然性更高、上手更容易、适用人群和场所更广泛等优势[11-13]。

1.2  基于自然人机交互技术的文化传承与体验式教学优势

“非遗”及其传统文化内容的传承教育是一个抽象理解的过程，传统教育缺少将以上抽象理解过程进行具象化处理并提供直观体验的手段。基于“体感交互”技术的体验式教学为直观感受“非遗”背后的传统文化和艺术形式提供了一种有效途径。以最能代表我国“非遗”文化的两类艺术表演形式——“皮影戏”和“木偶戏”为例，两者同属舞台道具表演且表现方式相近，因此容易被现代人混淆[14]。在传统的知识传播与授学方式中，青少年群体对于两类“非遗”艺术形式与历史文化，特别是关于两者异同点的理解缺乏直观认识。但是，以“体感交互”为代表的自然人机交互技术则为青少年群体直观感受这两种“非遗”艺术的差异化提供了便利。概括起来，自然人机交互技术在“非遗”文化传承与青少年教育中的应用价值有两方面：

（1）提供仿真体验和直观操作感受，为文化认知提供跨时空的便利条件。现代人对“非遗”文化的认知通常来源于信息阅读和表演观看，与“非遗”文化的直观体验还有一定距离。而基于自然人机交互技术的虚拟仿真手段为“非遺”文化的直观体验提供了很大便利性[15]。

（2）增强传统文化的表现形式，为文化复现和价值延伸提供更多可能性。基于自然人机交互技术的虚拟仿真应用不仅赋予用户参与“非遗”文化体验的真实感，还为“非遗”作品的现代化升级和创新表现提供延伸空间。以“川剧变脸”为例，自然人机交互技术不仅可以创造一种数字化变脸的快捷方式[16]，还可以将这种悠久而古老的“非遗”艺术元素植入现代动画与影视特效创作中，构建数字媒体时代的“非遗”新形态。

2  “非遗”数字化开发与体验设计

研究选取“皮影戏”和“木偶戏”作为研究对象，通过体态与手势感知的自然人机交互技术实现传统文化艺术表现形式的仿真体验教学应用。在上述应用中，“非遗”不再只是停留在书本或博物馆中的静态文物，更成为了一种被直观操作和感受的文化载体和教学平台。针对青少年群体的认知学习特征，在面向该群体的文化传承与教育中应注重兴趣的引导和动手体验的结合[17]。具体包括充满趣味的文化与教育相结合的内容以及新颖的操作体验方式。

2.1  基于ASUS Xtion深度相机的“皮影戏”自然交互系统设计

“皮影戏”，又叫“影子戏”或“驴皮影”，是发源于中国民间戏剧的一种古老艺术表演形式[14]。在挖掘“皮影戏”文化背后的创造性价值时发现，这种通过道具进行角色二维动作控制的互动方式具有丰富的创造性，使其成为现代“逐帧动画”的雏形和重要参照物[18]。本文通过体感交互技术将“皮影戏”中的角色控制方式转换为体态控制方式，以广受青少年群体喜欢的体感游戏形式展开对“皮影戏”文化和作品的体验式学习。设计内容有：

（1）内容设计。从《白蛇传》《红灯记》《牛郎织女》等十多个经典剧目和桥段中选取10个“皮影戏”角色作为交互对象。对每个角色进行二维形象绘制并按照头部、上躯干、上臂段、下臂段、双手、下肢段、双脚等14个部位进行划分管理，形成皮影形象素材数据库。并通过Processing可视化编程环境实现数字化“皮影互动”软件程序交互界面。该交互程序与软件界面如图1所示。

（2）操作体验方式设计。研究将ASUS Xtion RGB-D深度相机作为体感交互设备，通过OpenNI自然交互框架[19]所提供的人体骨骼识别与追踪技术实现用户与皮影的体感互动应用。上述自然交互技术可以实现对人体13个关节点位置的三维空间位置识别与追踪;继而将关节点位置与皮影角色中的关节点位置进行绑定，实现对皮影角色的体感驱动。由于人的体态动作是三维运动数据，而皮影角色的动作是在二维界面上显示与控制的，因此在程序设计中将深度相机提取到的人体关节深度坐标映射到皮影角色的姿态控制中[20]，实现原理如图2所示。

为了兼顾上述应用在故事性和交互体验上的趣味性，研究组选取《白蛇传》《杜十娘传》《红灯记》《牛郎织女》等传统皮影故事作为创作基础，将其中的代表性桥段和人物形象进行数字化创作和程序对象化，并通过射击、回合击打、装扮、找茬等各类游戏机制和玩法进行趣味包装，形成不同的数字体验应用。

2.2  基于Leap Motion的“木偶戏”自然交互系统设计

“木偶戏”，又被称为“傀儡戏”，是兴起于中国汉唐时期的另一种表演杂耍艺术[14]。因为源于特定的历史发展时期和文化背景，“木偶戏”这一传统文化在现代化传承与保护中也存在严峻的挑战，表现为其表现形式落后单一不受现代人喜欢、传承人队伍培育落后等[1]。本文将“木偶戏”的传统表演形式与自然手势交互技术结合，为实现“教娱融合”的非遗文化传承与青少年传统文化教育提供新途径。设计内容有：

（1）内容设计。从《大闹天宫》《嫦娥奔月》《花木兰》等经典“木偶戏”桥段中选取十个木偶人物，通过3Ds Max软件实现人物三维建模和材质贴图，以及基本的三维场景设计。通过Processing平台进行交互界面的开发，并实现三维角色和场景数据的导入，实现角色切换、视角转换、角色互动过程录制等基本的界面交互功能。软件交互界面与使用环境如图3所示。F1FE5913-3AD1-4A50-9F86-65BD14EBA964

（2）操作体验方式设计。采用Leap Motion传感器作为自然手势捕捉设备，将操作者手指的细微动作进行捕捉并通过运动放大算法转换为虚拟木偶的提线操作。通过Leap Motion传感器能高精度识别运动手势中的各个手指关节点的三维空间坐标并形成时序变化的坐标集，将上述变化的手指关节点坐标映射至木偶角色各个关节点提线位移中，实现原理如图4所示。

在上述运动映射与转换过程中，由于手指运动相对于木偶提线动作幅度而言过于细微，因此在映射过程中通过一个数值介于1.0和18.0之间的动态转换因子（Dynamic User-Display Ratio， 简称UD）[21]将手指关节点的运动变化转换为木偶的提线位移。手指关节点的瞬时移动速度决定转换因子数值大小，移动速度越大则转换因子数值越大。

3  “非遗”数字体验与教育传承应用实践

3.1  应用效果测评实验

实验从当地小学招募60名年龄分布在9岁～12岁之间的学生作为研究对象并随机分为A、B两个组，每组各有30名学生且年龄分布和性别比例无明显差异。前期测试发现，两组学生在学习能力和对“非遗”文化的知识储备方面无明显差异。实验通过组间对比测试进行，分别对A、B两组学生开展体验式教学和传统电化教学活动。针对A组学生，先进行1个课时关于“皮影戏”和“木偶戏”传统文化介绍，配以幻灯片展示教学，然后进行1个课时的互动体验教学活动。体验内容与平台为“皮影互动”和“数字木偶”互动体验系统。将30位学生分为5个小队，各个小队同时进行“皮影互动”和“数字木偶”的探索体验过程。在上述过程中，穿插进行操作体验方式和关于两类“非遗”文化的讲解。针对B组学生，前面1个课时的课堂教学与A组保持一致，后面1个课时则通过5段关于”皮影戏”和”木偶戏”的影视资料進行观阅学习。

在上述教学活动结束后1小时内，对A、B两组学生发放“课堂学习专注度”测评问卷并在限定时间内完成问卷回收。在教学活动结束1周后，针对两组学生开展“学习效果与知识转化”测评并回收测评结果。上述两项测试均采用5点Likert量表打分方式，测评内容如表1所示。

3.2  应用效果分析与讨论

实验回收有效问卷120份，包括60份“课堂学习专注度”问卷和60份“学习效果与知识转化”问卷。统计结果如图5所示。在“课堂学习专注度”问卷测评中发现，接受过体验教学的A组学生在各项问卷描述打分中普遍高于B组学生：体验式教学使学生对“非遗”课程内容更感兴趣（p=0.012）;体验式教学更有助于学生对课程内容的理解（p=0.003），也更受学生喜欢（p=0.009）;在体验式教学辅助下，学生对两类非遗文化的理解也更为深刻（p<0.001）。有超过70%的学生在测评后的反馈中表示愿意花更多的时间来研究数字技术环境下的“非遗”互动作品。

上述结果表明数字人机交互技术作为一种亲民的体验手段为传统艺术形式的仿真和复现提供便利，使当代青少年能够更近距离地理解和认知中国传统“非遗”艺术。基于自然体态和手势动作识别的人机交互技术使普通用户与数字影像内容的互动接触以一种更贴近原型态的方式进行;同时，数字化人机交互方式又跳脱出传统艺术表演物理态的诸多限制，通过数字程序的增强优化手段表现出传统艺术不具有的特殊表现力。例如，通过程序的优化设计算法可以将操作者的动作以一种更适合的方式被转译为虚拟角色动作;通过程序的动画设计功能还可以在皮影表演的基础上增加数字特效。

对“学习效果与知识转化”测评结果统计分析发现，在课程开展一周后A、B两组学生对课程内容的记忆深度没有显著差异。但是A组学生对于体验式教学模式留有更深印象（p=0.005）;同时，在自然交互体验式教学模式增益效果下，学生对“非遗”文化有更深入理解（p=0.017），对“非遗”文化的热爱程度也明显高于对照组（p=0.002）。在关于“非遗”传统文化知识水平测试中，A组相比B组学生有较高得分。上述结果表明，体验式教学模式相比传统的电化教学更有助于激发青少年学生的学习与探索兴趣，对于学生理解和内化传统文化知识内涵也有增益作用。在实验后期的用户体验反馈中发现，实验组60%以上比例的学生认为在接触了“皮影互动”和“数字木偶”体验教学系统以后对这两类“非遗”艺术有了完全不一样的理解。例如，有的学生原先把传统皮影和木偶表演看成是一类技术含量很低的传统手工技术。但是通过数字化形式的亲身参与体验，他们开始接受这类传统艺术的精妙和操作难度，并开始对表演中涉及的光影成像知识和动作控制原理产生学习和探索兴趣。在这种亲身体验的过程中，青少年对于“非遗”文化的艺术魅力及其反映出来的中国传统民间智慧产生兴趣。

4  结  论

将自然人机交互技术应用在“非遗”文化传承与数字化教育实践中，为青少年群体提供了一种"教娱融合"的沉浸式知识学习与探索新模式。本文以“皮影戏”和“木偶戏”这两类“非遗”艺术为代表，展示了用体感交互技术实现“非遗”艺术数字化互动体验的实现过程，使“非遗”文物被更近距离、更真实地了解和体验。通过教学对比实验发现，相比传统的幻灯片讲解结合影视观阅教学模式，互动体验式教学更有利于激发学生的学习兴趣并增强学生对传统文化的理解力和探索欲，最终更有利于知识内化并激发青少年对“非遗”文化的传承热情和创新意识。

参考文献：

[1] 刘魁立.非物质文化遗产及其保护的整体性原则 [J].广西师范学院学报，2004（4）：1-8+19.

[2] 申茂平.非物质文化遗产的教育传承及其实现途径 [J].教育文化论坛，2009，1（1）：49-53+77.

[3] 计卫舸.“非遗”资源思想政治教育价值的发现与利用 [J].中国高等教育，2011（2）：38-40.F1FE5913-3AD1-4A50-9F86-65BD14EBA964

[4] 曾真.基于沉浸体验的互动影像在非遗推广中的应用 [J].艺术科技，2017，30（4）：32-33.

[5] REN F J，BAO Y W.A Review on Human-Computer Interaction and Intelligent Robots [J].International Journal of Information Technology and Decision Making，2020，19（1）：5-47.

[6] MA M H，OIKONOMOU A，JAIN L C.Serious Games and Edutainment Applications [M].London：Springer，2011.

[7] 黄超.自然人机交互相关技术研究与系统实现 [D].上海：上海交通大学，2010.

[8] IZADI S，NEWCOMBE R A，KIM D，et al.KinectFusion：Real-time dynamic 3D surface reconstruction and interaction [C]//International Conference on Computer Graphics and Interactive Techniques，Vancouver：SIGGRAPH，2011：1.

[9] ADHIKARLA V K，SODNIK J，SZOLGAY P，et al.Exploring Direct 3D Interaction for Full Horizontal Parallax Light Field Displays Using Leap Motion Controller [J].Sensors，2015，15（4）：8642-8663.

[10] YEO H S，LEE B G，LIM H.Hand tracking and gesture recognition system for human-computer interaction using low-cost hardware [J].Multimedia Tools and Applications，2015，74（8）：2687-2715.

[11] MEWES A，HENSEN B，WACKER F，et al.Touchless interaction with software in interventional radiology and surgery：a systematic literature review [J].International Journal of Computer Assisted Radiology & Surgery，2016，12（2）：291-305.

[12] 李清水，方志刚，沈模卫，等.手势识别技术及其在人机交互中的应用 [J].人类工效学，2002（1）：27-29+33.

[13] AGARWAL R，SAMPATH H A，INDURKHYA B.A Usability Study on Natural Interaction Devices with ASD Children [C]//International Conference on Universal Access in Human-computer Interaction：User & Context Diversity.Berlin：Springer，2013：447-453.

[14] 江玉祥.皮影·木偶戏的传承与保护 [J].四川戏剧，2011（1）：79-81.

[15] 朱幸尔.面向设备作业虚拟仿真的人体动作和手势识别交互技术研究 [D].浙江：浙江大学，2018.

[16] 吴贤星，赵杰煜，沈明炘.人机交互中的人脸信息曲波分析 [J].中国图象图形学报，2010，15（9）：1309-1317.

[17] 靳玉乐，李叶峰.中小学生学习效能的水平、演变规律及启示 [J].教育研究与实验，2017（1）：58-63.

[18] 陈亚伟.现代动画造型对传统皮影造型的借鉴方式初探 [J].艺术科技，2012，25（4）：78.

[19] CHO O H，LEE W H.Gesture Recognition Using Simple-OpenNI for Implement Interactive Contents [J].Lecture Notes in Electrical Engineering，2012，179：141-146.

[20] SHI Y，YING F T，CHEN X，et al.Restoration of traditional Chinese shadow play-Piying art from tangible interaction [J].Computer Animation and Virtual Worlds，2013，25（1）：33-43.

[21] CASIEZ G，VOGEL D，BALAKRISHNAN R，et al.The Impact of Control-Display Gain on User Performance in Pointing Tasks [J].Humancomputer Interaction，2008，23（3）：215-250.

作者簡介：付丽丽（2000—），女，汉族，浙江杭州人，本科在读，研究方向：体验设计、新媒体艺术;通讯作者：楼小龙（1988—），男，汉族，浙江义乌人，讲师，博士，研究方向：计算机辅助教育信息技术、人机交互技术与体验式教学;李欣怡（2000—），女，汉族，浙江杭州人，硕士在读，研究方向：计算机辅助设计与图形学、新媒体艺术;张羽皓哲（1998—），男，汉族，浙江温州人，硕士在读，研究方向：人机交互与人因工程;吴迪（1963—），男，汉族，浙江杭州人，院长，教授，硕士，研究方向：传统艺术数字化、数字媒体艺术。

收稿日期：2022-02-04

基金项目：浙江省哲学社会规划课题（19NDQN301YB）;浙江省自然科学基金项目（Q19F020010）;温州市科技计划项目（S20180018）;杭州电子科技大学教改项目（YBJG201956）F1FE5913-3AD1-4A50-9F86-65BD14EBA964