自然交互环境训练自闭症儿童动作和认知能力

蔡苏 杨阳 常婷 朱高侠

【摘 要】自然交互技术支持以真实的肢体动作与系统进行交互，建立真实世界与虚拟世界的联系，在增强现实（AR）技术为基础的虚实融合学习环境创造更为自然的交互体验。本文介绍了北京师范大学“VR/AR+教育”实验室基于手势识别设备的自然交互系列游戏对自闭症儿童的干预研究，阐述了自然交互技术与增强现实相结合的环境在教育中发挥的作用。在未来，仍需要教育工作者、技术专家等多方人员的共同参与研究自然交互与教育更好的融合应用。

【关键词】自然交互；特殊教育；自闭症

【中图分类号】G434 【文献标识码】A

【论文编号】1671-7384（2018）07、08-0150-03

自然交互技术

人机自然交互技术，简称自然交互（Human-Computer Nature Interaction，HCNI；或Human-Machine Nature Interaction，HMNI），指代用手勢或其他肢体动作作为输入来控制一个系统的各种各样的交互方式[1]。新媒体联盟（New Media Consortium， NMC）2011年～2016年发布的《地平线报告》中指出，以自然交互技术为内核的姿势计算、可穿戴设备、自带设备、增强现实等技术已经成为教育信息技术的新兴技术[2]。姿势计算领域算法的更新为自然交互的实现提供了后台基础，提高了对自然交互动作的识别精度和准确度。可穿戴设备和自带设备是自然交互得以实现的媒介，诸如Microsoft Kinect和Leap Motion这样低成本实现媒介的推出极大地促进了自然交互技术的推广[3]。

自然交互教育应用的案例

Pio Alfredo Di tore等人认为将日常行为定义为操作行为，将对知识概念的认知过程转化为动作过程，自然交互技术即会为教育提供强大的工具[4]。Seoul Cyber Univ开发了一个运用Leap Motion帮助孩子学习蜜蜂跳舞的系统，孩子可以通过这个游戏增进对蜜蜂交流方式的理解[5]。JF Martinsanjose等人开发了基于Kinect的历史学习平面系统和3D系统。他们发现自然交互的使用可以有效培养学生的学习动机并且提高学习效果，其中3D系统能更大程度上激发学习动机并且促进深度学习的发生，让学生对知识有更好的理解和领会，并且学生反馈自然交互技术的操作比传统交互更易掌握[6]。

近年来，国内也涌现了一系列使用自然交互技术优化教学过程的案例。王文渊开发出了一套基于Kinect体感式兵兵球教学课件，对上海市某小学的乒乓球课进行了调查、教学与测验，寓教于乐，激发了学生的学习兴趣，提高了学生的乒乓球技术[7]。蔡苏等人开发的基于Kinect的增强现实磁场学习系统帮助初中生进行物理实验，有效提高了学生的学习热情和学习成效[8]。华子荀设计的基于Leap Motion的数字电视节目提高了学生的学习质量、学习积极性[9]。蔡苏、朱高侠等人运用Leap Motion帮助自闭症儿童进行康复训练，提高了自闭症儿童的精细动作水平和认知水平[10]。

自然交互应用于自闭症儿童教育实证案例

自闭症也被称为孤独症，是一种广泛性发育障碍。自闭症儿童普遍具有精细动作障碍和认知障碍。在对自闭症儿童的训练中，教师需要承担引导训练、安排流程、提供反馈、记录数据等大量工作，而且有些使用的训练物品在真实环境中难以收集和制作。基于此，我们设计了基于Leap Motion的自然交互系列游戏。游戏分为三关，关卡难度逐渐增加；在第一关中，用户需要对颜色进行匹配，将红、绿、蓝三种颜色的球分别放入对应的容器里；在第二关中，用户需要将草莓、山楂、苹果分别插到对应的木棍上（木棍较细，动作要求更精细）；在第三关中，给用户一串由不同颜色小熊串成的饰物，要求用户串成相同序列的饰物。游戏的正反馈为自闭症儿童能理解和接收的笑脸，为了不打击其积极性，用户做错的情况下，也不提供负反馈。用户操作如图1所示。

三名来自北京一所特殊教育学校的儿童使用该游戏进行了训练，他们分别在第7天、第12天、第10天达到游戏正确率100%的训练要求。在训练前后，研究者使用《自闭症儿童精细动作评估表》和《自闭症儿童认知评估表》对他们的精细动作和认知进行了评估，结果如图2所示。该结果说明，基于自然交互的游戏干预是可行的，并且对提高自闭症患者的精细动作水平、认知水平是有帮助的。根据对三名儿童的教师和家长的访谈，研究者认为基于自然交互的游戏也有利于提高自闭症儿童的三维空间感知能力，减少其特殊行为，提高其注意力。

总结

自然交互技术的应用能够有效提高自闭症儿童精细动作水平和认知水平。自然交互技术支持以真实的身体动作与虚拟世界中的物体进行互动，可以促进增强现实技术环境下真实世界和虚拟对象的融合。将自然交互技术运用到学习环境的构建中，可以支持教师和学生以自然的动作与学习空间进行互动，促进学习者认知、动作技能和情感的发展。将自然交互融入学习环境，创造更为智能的学习空间，需要相关的技术设计、开发人员，教学设计人员和更多教育领域的一线教师以及学科专家共同参与，打造更为虚实融合的学习情境。

注：本文受北京市教育科学“十三五”规划青年专项课题“增强现实游戏在自闭症儿童生活技能习得的应用及影响研究”（编号：CCHA16120）资助

参考文献

O'HARA K， HARPER R， MENTIS H， et al. On the naturalness of touchless： Putting the “；interaction”； back into NUI [J]. ACM Transactions on Computer-Human Interaction， 2013， 20（1）： 526-536.

李玲，胡衛星，赵苗苗，et al. 手势计算技术教学应用的现状及问题分析[J]. 现代教育技术，2016，26（1）： 34-38.

PESCARIN S， PIETRONI E， RESCIC L， et al. NICH： A preliminary theoretical study on natural interaction applied to cultural heritage contexts； proceedings of the Digital Heritage International Congress， F， 2013 [C].

TORE P D T A P D， DISCEPOLO T， DI T S. Natural User Interfacesas a powerful tool forcourseware design inPhysical Education [J]. Journal of E-Learning and Knowledge Society， 2013， 9（2）： 105-114.

CHO O H. Development of serious game for kids using Leap Motion based on honey bee dance； proceedings of the Games and Graphics and， F， 2014 [C].

MARTINSANJOSE J F， JUAN M C， MOLLá R， et al. Advanced displays and natural user interfaces to support learning [J]. Interactive Learning Environments， 2015， 1-18.

王文渊. 体感技术课件在小学乒乓球教学中的运用研究[D]. 上海师范大学，2014.

CAI S， CHIANG F-K， SUN Y， et al. Applications of augmented reality-based natural interactive learning in magnetic field instruction [J]. Interactive Learning Environments， 2017，25（6）： 778-791.

华子荀. Leap Motion支持下教育电视节目提高学生学习质量和效果的研究[J]. 教育信息技术，2015（5）： 60-63+45.

CAI S， ZHU G， WU Y-T， et al. A case study of gesture-based games in enhancing the fine motor skills and recognition of children with autism [J]. Interactive Learning Environments， 2018， 1-14.