新一代人机交互：自然用户界面的现状、类型与教育应用探究*——兼对脑机接口技术的初步展望

徐振国 陈秋惠张冠文

（1.山东师范大学 教育学部，山东济南 250014；2.天津大学 教育学院，天津 300072；3.山东师范大学 新闻与传媒学院，山东济南 250014）

一、引言

目前，数字技术快速发展，新兴媒介层出叠现，知识更新远超从前，人类社会正由信息时代走向智慧时代。智慧学习环境将记录过程、识别情景、感知环境、联接社群作为核心技术特征[1]，新一代人机交互技术所形成的自然用户界面的发展与应用，将为学习环境的“智慧化”提供全面支持，促使智慧教育更加形象化、情境化、多元化、智能化。

2017年新媒体联盟发布的《地平线报告》（高等教育版）指出，自然用户界面将在4-5年内获得普遍应用[2]。百度总裁张亚勤也曾指出：移动互联、云计算和自然用户界面，将成为未来信息产业创新最重要的三个方向[3]。自然用户界面作为新一代人机交互形式，具有自然、直观、接近人类行为方式等特点，能够减轻认知负荷，并为学习者创造身临其境的学习体验，从而促进学习者轻松、投入和有效地学习。凭借其独特优势，自然用户界面已在工程设计、临床医学、教育教学等领域，有了不同程度的应用。

为此，本文从发展历程、概念、优势出发，着重介绍自然用户界面的六种类型和目前进行的教育探索，并展望和讨论自然用户界面所面临的现实挑战。尤其是当前脑机接口技术的研究与发展，对教育可能产生的潜在影响，以期对自然用户界面在教育领域的应用提供一些参考，对脑机接口技术的教育应用作初步的展望。

二、新一代人机交互——自然用户界面的概述

（一）用户界面的发展历程

迄今为止，用户界面的发展大致经历了三个阶段：命令行界面（Command-Line Interface，CLI）、图形用户界面（Graphical User Interface，GUI）、自然用户界面（Natural User Interface，NUI）[4]。NUI的出现为操作效率与用户体验带来了质的进化，人们不再需要学习复杂的命令及交互方式，便可以用自然的方式与机器进行互动。

1.命令行界面

用户通过键盘输入特定的字符串，相关命令和结果将会在显示器上呈现。CLI在提高效率的同时，也带来了极大的弊端。由于计算机仅能识别特定字符串，使得用户需要记住执行各类操作的命令，这给用户带来沉重的记忆负担，并且可扩展性不强，普通大众难以使用，影响了计算机的普及和发展。但CLI操作速度快，占用资源少，至今仍保留在操作系统中。

2.图形用户界面

GUI利用“隐喻”，将计算机图标制作成生活中常见的图像，使用户不再依赖于严格的语法命令，而是仅靠观察便可操作，这使得计算机更易被大家接受和使用。它由一组被称为WIMP的元素构成，即窗口、图标、菜单和鼠标。由于GUI利用“隐喻”，将生活中的图像与界面结合，使用户易于理解，便于操作。但它仍需借助鼠标、键盘，用户需要被动学习后方可熟练使用，这在无形中也禁锢了用户的双手和双脚。

3.自然用户界面

无论是CLI还是GUI，用户必须学习软件开发者预先设置好的操作，而NUI只需要用户用语音、面部表情、动作手势等最自然的方式和计算机进行交流。20世纪90年代，美国学者曼恩（Steve Mann）提出了NUI的概念。2003年，李开复对其进行了系统性阐述。2008年，比尔·盖茨（Bill Gates）在年度消费电子展开幕演讲中提到，NUI将是下一个“数字十年”的发展方向。随后，NUI逐渐被大家熟知。2011年，作为NUI典型代表的Kinect正式发售，随后又相继出现Leap Motion、Google Class等NUI设备。而苹果公司自2007年起陆续推出的iPhone手机，则将NUI带入人们的日常生活，并开启了“屏时代”。

（二）自然用户界面的概念

NUI仅需要人们以最自然的方式与计算机交互，而不必预先学习软件开发者设置好的操作。目前，由于专家学者对“自然”的理解不尽相同，所以NUI尚未有统一的界定。从中文翻译“自然”二字看，它源自《道德经》，有两层含义：其一是自然的本质，指事物本身的属性及规律；其二是自然的表象，指事物天然的外在表现[5]。因此，NUI需要探求用户内在心理，并以用户日常行为为基础进行设计开发。本研究认为，NUI指支持人们以语言、动作等自然的方式实现人机交互，并与用户在预期使用情境下已有的经验或思维模型相符的用户界面。简单来说，自然用户界面是新一代的人机交互形式，是基于人类本能便可实现人机交互的用户界面。

NUI可以包含各种类型的交互，但总体的思路是：用户不再用人工或机械的中介手段输入，而是如同与现实世界中的人和物体进行交互的方式那样，与计算机进行交互。交互的方式更为直接，包括触摸、手势、面部表情、语音等更自然、更日常的形式。从某种意义上说，界面从注意力中逐渐消失，用户和计算机之间的距离在变小，用户的体验将更顺畅、更真实，如同在真实世界中的互动。另外，NUI的使用对象是普通用户，他们有着不同的经验和思维方式。因此，NUI要和用户的先前知识、技能和经验之间保持认知模式的连贯，最大程度地降低认知摩擦。

作为新一代的人机交互形式，NUI与GUI有着本质区别，前者采用语言、动作、表情等自然的输入形式，而后者则需借助键盘、鼠标等外部设备进行输入。NUI的优势主要体现在：它将用户本身作为输入设备，能够更加有效地发掘和利用用户已具有的心智模型和知识，以构造恰当“隐喻”，提高人机交互的自然性和高效性。NUI的关注重点体现在三个方面：用户感知、直接交互和认知匹配，其中，用户感知指拓展人机交互通道，是实现NUI的基础；直接交互则实现“所见即所得”，提高交互的沉浸感；认知匹配则指用户操作与潜在知识匹配，是人机交互自然进行的关键。

（三）自然用户界面在教育应用中的优势

1.交互形式自然，降低认知负荷

NUI的交互形式是自然的、常见的，并且是学习者熟悉的，学习者与学习设备间的交互过程，接近于自然交流形式，而不需要经过专门培训和刻意训练。而GUI学习者不得不以计算机的方式与计算机沟通，学习者就像是去陌生的世界，必须改变自己，以适应新的环境。NUI给学习者在操作效率和学习体验方面带来了质的进化，他们不再需要进行复杂的学习和练习过程，取而代之的是以零成本、最自然的方式与设备互动，通过自身的行为潜能和已有经验便可熟练操作，学习者无需再把时间和精力消耗在对学习设备的磨合上，而只要专注学习内容，促使深度学习的发生。此外，NUI摆脱了枯燥乏味的单一输入方式，能够有效增加学习过程的趣味性，减轻学习者的认知压力。

2.多感官并用，提高沉浸感

由于GUI对输入设备的依赖，使得学习者的学习情境相对固定，并且可以预测。而现今的学习者追求泛在学习、体验式学习和无缝联接，因此，GUI已难以满足学习者的需求。NUI则将学习者作为“输入设备”，使学习者可以“处处能学、时时可学”。与此同时，NUI无论从交互方式还是行为空间上都提供了很强的真实感，使学习者在学习过程中有较强的参与感。而且，NUI能充分调动视觉、触觉、听觉等感官，并做出相应反馈，为学习者提供了前所未有的感官体验，增添学习乐趣。真实的学习环境加上自然的交互方式，使得学习者产生“身临其境”的感觉，有效提高了学习者在学习过程中的沉浸感和置入感。比如，西班牙萨拉戈萨大学和Juan de Lanuza学校合作开发的k-Solar系统，基于太阳系的现实模型，为学习者提供了符合课程需求的三维交互式场景[6]。学习者犹如置身于浩瀚星空中，通过手势移动太阳、地球、月亮等星球的位置，以观察行星及其卫星的运动以及它们所引起的天文现象。

3.多通道输入，促进教育公平

手势识别替代了传统的键盘、鼠标等输入设备，语音识别则摆脱了低效的文字输入。NUI无疑拓宽了信息的输入和输出通道，手势、眼动、语音等学习者的日常行为，创造性地融入与学习设备的交互中。NUI能够以其独特优势解决特殊人群的学习发展需求，如，肢体残疾者可借助EyeDraw软件，通过移动眼睛来绘制图像，以培养他们的创造性；传统键盘与鼠标等输入设备、显示器等输出设备，使肢体残疾者和盲人学习者难以享受MOOCs、微课等优质学习资源。而NUI摆脱了既有输入设备的二维单一性，将其拓展到五官和肢体在内的三维输入通道。NUI的发展，在一定程度上，能够给残疾人带来更多接受良好教育的机会，实现无障碍学习，使“人人皆学”变得更容易，从而促进教育公平和均衡化发展。

三、新一代人机交互——自然用户界面的类型

作为新一代的人机交互形式，NUI并非指单一技术，而是对以自然形式实现人机交互技术的统称。目前，NUI主要分为六大类：语音识别、触摸屏、手势识别、眼动追踪、触觉和脑机接口[7]。

（一）语音识别

语音识别是指机器或程序识别口头语言中的单词和短语，并将其转换为机器可读格式，以便用户通过口头命令与系统进行交互。基本的语音识别软件仅能识别有限的词汇和短语，而且只有清楚地说出这些词汇和词组，才能被有效识别，更复杂的软件则有接受自然语言的能力。语音识别的实现主要分为四步，依次为语音信号的预处理、对数据进行端点检测、提取语音段的特征参数、特征序列与数据库做匹配。其中，声学模型与语言模型的建立是关键。语音识别应用包括呼叫路由、语音转文本、操纵电脑和手机等。

近年来，智能语音助手作为人工智能（Artificial Intelligence，AI）和 NUI结合的典型应用，在教育领域具有良好的发展前景，也将体现其独特的教育价值。弗莱明（Ray Fleming）探讨了微软Cortana的教育应用，比如，在学习管理系统中应用Cortana，使学习者的学和教师的教更加轻松[8]。张利远尝试将Siri作为智能导师系统，并进行了案例实践[9]。

（二）触摸屏

如今，触摸屏在生活各应用领域都已是必不可少的设备。触摸屏主要包括三种类型，分别为电容式触摸屏、电阻式触摸屏以及表面波触摸屏，其中，电容式触摸屏应用最为广泛。

触摸屏具有良好的交互性、兼容性及便携性，并且能够高效执行，为网络时代的泛在学习、社群学习带来了新的支持。作为智慧学习环境重要学习终端的电子书包，便采用触摸屏技术，来实现学习者与学习资源的交互。比如，戴霞等将触摸屏应用于糖尿病教育，实验结果显示，触摸屏相对于纸质材料，更易被病人接受，并能取得良好的教育效果[10]。陈毓莉设计了一种基于PLC和触摸屏的物料分拣教学实验台，可以完成传感器技术实验、PLC控制实验以及控制电路实验等实验教学任务[11]。

（三）手势识别

手势识别系统能够跟踪用户动作，并将这些动作转换为指令。简单来说，用户通过身体动作便可实现与电子设备的交互。手势识别将从物理和机械上改变用户与电子设备的交互方式，使交互更加自然、直观，而不再需要中间媒介，并具有三维化、自由化、视觉化等特点[12]。任天堂Wii、索尼PlayStation等移动运动游戏系统，就是通过基于控制器的加速度计和陀螺仪来检测倾斜、旋转和加速度。更直观的手势识别设备通过内置的摄像头和软件，可以识别特定的手势并将其转换为命令，例如微软的Kinect。

手势识别中的身体动作无需特殊学习，这将有利于互动式课堂的构建、正式学习和非正式学习的融合。目前，手势识别正向捕捉设备微型化，捕捉效果精确化发展，学习者的手指运动轨迹等细节，将被精确感知并有效识别，进一步扩大了学习者行为分析的范围，为学习分析和评价提供新的数据来源。比如，陈静、李玲、叶海智等学者相继探索了手势识别的教育应用；李小龙则使用Unity 3D软件完成3D建模，借助Kinect设备实现手势识别，并开发了一套虚拟人体解剖教学系统[13]。

（四）眼动追踪

眼动追踪（注视跟踪）允许用户通过眼球运动与设备或系统实现交互。它源于1974年布马（Bouma）和格德（de Voogd）提出的视觉缓冲器加工理论、墨里森（Robert Morrison）提出的眼动理论模型等[14]。研究发现，视觉系统是人进行认知加工过程的重要渠道，眼动和注意力有着紧密的关系。眼动的三种基本方式为注视、眼跳和追随运动。

眼动追踪具有客观、同步和生态学效度等优势，因此得到了教育领域的广泛关注。比如，D’Mello开发的智能导师系统就是利用眼动仪观察学习者的眼动方式，从而识别学习者的学习状态是无聊、不参与还是分神。根据学习者的学习状态，智能导师系统还会做出不同的反应。2011年，Tobii与联想共同展示合作研发的首款眼控笔记本电脑，联想系统将红外光源和相机结合在一起，捕捉用户眼中的反射光线，通过软件计算正在查看的屏幕区域，并使用该信息进行输入。斯维特兰（Julius Sweetland）则研发出通过眼动控制的计算机软件OptiKey，该软件可使患有严重身体残疾或语言障碍的学习者也能操控电脑，并实现文字输入[15]。

（五）触觉

触觉是通过模拟纹理和力反馈以及与真实物体交互的阻力，使得交互界面变得更加自然。触觉接口是指在用户与计算机生成的虚拟世界中的对象进行交互时，向用户提供力和触觉反馈的设备。英国苏塞克斯大学的研究人员开发了名为SkinHaptics的工具，该工具使用皮肤作为触摸屏的界面，通过手背发送超声波到手掌上的屏幕来进行显示，这一技术可有效减少诸如智能手表之类的可穿戴设备[16]。卡内基·梅隆大学和微软研发的Skinput，利用手臂或手上的投影工具，将键盘或屏幕投影到用户手臂上，然后利用触觉感知工具感知不同的振动，并将其转化为指令[17]。

另外，卡内基·梅隆大学还和迪士尼于2011年合作研发了TeslaTouch系统，该系统基于电震动原理，会给学习者带来触摸实物的错觉[18]。当学习者在触摸屏上扫、敲、捏和操纵物体时，该系统可以生成模仿真实物体表面的凸起、隆起和纹理等触觉效果。TeslaTouch系统既可用于触摸屏盲文阅读，也可用于互动教科书，使学习者可直接在屏幕上操纵3D对象。力反馈触觉技术也在医学教育中得到应用，以往临床医学专业的学生主要通过有限的被试对象进行训练，而触觉技术将允许学习者以更自然的方式与数字患者进行接触。

（六）脑机接口

脑机接口（Brain-Computer Interface，BCI）能够读取脑神经信号，并使用程序将这些信号转化为行动[19]。“脑”是指有机生命形式的脑或神经系统，“机”则指任何处理或计算的设备。BCI的实现步骤主要分为：采集信号、信息解码处理、再编码以及反馈。BCI使得大脑或其他神经系统与被控对象之间的直接通信成为可能。通过从一系列神经元读取信号，并使用计算机芯片和程序，将信号转化为行动，BCI可以使患有瘫痪的人写一本书，或通过“意念”控制轮椅或假肢。开发BCI的最大挑战是微创的电极装置以及手术方法的发展。在传统的BCI模型中，大脑接受植入的机械装置并将装置控制为其身体表征的自然部分。目前，许多研究都集中在非侵入性BCI方面。2017年，美国斯坦福大学研发出利用颅内BCI进行字符输入的应用系统，如图1所示。该系统通过BCI捕捉神经活动信息，可使肢体残疾或脑损伤者连续控制屏幕光标以及进行字符选择，从而使他们能够输入文本并与设备进行交互，数据显示每分钟最快能够实现39.2个英文字符的输入[20]。同年，美国凯斯西储大学研究团队将BCI与功能电刺激技术结合，使患者可以控制原本瘫痪的肢体，完成探出和抓取等动作，实现与外界的交互[21]。美国明尼苏达大学研究团队则借助非侵入式BCI，使普通人可以凭借“意念”实现对物体的控制，例如，操纵机器臂抓取、放置物体，控制飞行器飞行等。

图1 基于脑机接口的字符输入系统

除了上述六种，NUI也可以是这些不同类型技术的组合。例如，Kinect支持单独的语音或手势控制，也支持两者的组合。Kinect具有两个摄像头，用于立体机器视觉和深度感知。设备中的软件可以识别面部表情、肢体动作，甚至用户的脉搏，并将其作为输入进行控制。另外，它还有多个麦克风用于噪音消除和声音的方向性识别。

四、新一代人机交互技术的教育应用及途径

（一）教育应用涉及的相关理论

1.关联主义学习理论

加拿大学者西蒙斯（George Siemens）认为，原有学习理论已难以适应数字时代对学习的需求，因此于2004年提出关联主义（Connectivism）学习理论。关联主义学习理论源于混沌学、网络化思想、复杂性理论和自组织理论，认为学习是将不同知识节点相互联结组织成知识网络的过程，强调持续学习的能力比当前拥有的知识更为重要，其最终目的是保持知识的与时俱进和关联性[22]。该理论的核心要素包括三个：节点、联结和网络。其中，节点既可以是人，也可以是组织、网站、图书馆、数据库等信息源。因此，学习不仅存在于主体自身，也存在于各专业化节点中。西蒙斯认为知识是一种组织而非结构，并指出动机、情感、暴露、模式化、逻辑、体验对学习者联结知识网络具有重要作用[23]。关联主义学习理论诞生于数字时代，对数字时代的学习具有重要的指导意义和现实意义。NUI是数字时代下支撑学习者学习的重要工具，对学习者的学习动机和情感具有明显的促进作用，并能创设愉快的学习体验，以帮助学习者之间或学习者与知识节点之间实现联结，从而组织成知识网络或将弱联结变为强联结，从而提高数字时代学习者的生存能力。

2.沉浸理论

沉浸理论（Flow Theory）于1975年由美国学者米哈利（Mihaly Csikszentmihalyi）提出，用于解释当人们从事某种任务时，集中注意力，而暂时忘却疲惫和过滤掉不相关的知觉，进入一种沉浸的状态[24]。早期沉浸理论指出，技能和挑战是影响沉浸体验或心流（Flow）的关键因素，并认为仅在两者平衡时沉浸状态才能出现；1988年，马西米尼（Massimini）和卡利（Carli）对技能和挑战的关系进一步梳理得到八种组合，研究发现仅有当高技能、高挑战时，沉浸体验才有可能发生。当学习者达到沉浸状态时，将会获得忘我的学习体验，充分享受学习的快乐。NUI可促使学习者的“行为和意识融为一体”，达到“全神贯注”的境界。借助NUI可构建最优化的学习情境，降低因掌握人机交互带来的认知负荷，使学习者沉浸其中，学出兴趣，学得主动。

3.自主学习理论

自主学习也被称为自我导向的学习或自我调节的学习，思想可追溯至苏格拉底的“产婆术”。现代自主学习理论源于建构主义，强调学习是学习者自己建构知识体系的行为，教师仅提供学习者自主学习的条件。由于专家学者研究领域和理论立场的不同，对自主学习概念的理解主要有三种：部分学者认为自主学习是一种学习模式或学习方式；部分学者认为自主学习是一种自我调节的学习过程；还有部分学者强调从纵向和横向两个维度来诠释自主学习[25]。总的来说，自主学习理论具有主体性、能动性、独立性、创新性等核心特征。泛在学习已成为学习者新的学习诉求，NUI可支持学习者的自主学习以及正式学习和非正式学习的融合，充分体现学习者的主体性和独立性，发挥学习者的能动性，培养学习者的创新性，并为学习者的自主学习创设良好环境。

（二）新一代人机交互技术的教育应用探索

美国学者乔纳森（David Jonassen）曾指出：技术的发展，促使研究者和教育实践者去拓展学习的内涵和开展学习环境的设计。近年来，伴随着虚拟现实（Virtual Reality，VR）、AI等技术的快速发展，NUI在教育领域的应用探索也越来越多。在开发人员和教育工作者的共同努力下，NUI在教育领域的应用涵盖了各个种类的主题与内容，从正式学习到非正式学习，从对教育教学提供泛在支持到与具体学科深度融合，都已有成功的探索和实践。

1.为教育教学提供泛在支持

触摸屏技术的快速发展和完善，使得屏幕无处不在，并和教育完美融合。智能手机、平板电脑、交互式智能白板、电子书包等设备，已为学生的移动学习、泛在学习、游戏化学习等新型学习方式，以及智慧课堂、智慧实验室等智慧学习环境的建设，提供了重要支撑。其他NUI类型受技术发展影响，尚处于教育应用的尝试阶段。比如，美国BrainCo公司研发出一款非侵入式BCI设备Focus EDU，适用于头部佩戴，并支持重复使用[26]，如图2所示。学生佩戴后，该设备能够实时监测学生的脑电波，并上传至云端脑电数据库。基于脑电数据库，BrainCo运用大数据分析、AI等技术不断完善相关算法，从而能够更加准确地监测学生的注意力、情感等数据。分析结果将通过屏幕反馈给教师，教师能够接收到实时的课堂关注反馈，从而可以轻松反思他们的教学方法和内容，以进一步提高课堂绩效。另外，学校管理者可通过班级数据的对比，看出哪些老师更能吸引学生注意力，哪些老师的课程更精彩。因BCI获取的数据相对于其他方式获取的学习数据，更加真实有效，并且非侵入式设备在降低成本的同时，更易被学生接受。

有研究证明，“临睡幻觉”能够最大限度地激发学习者的创造潜能。临睡幻觉是人们处于清醒现实和睡梦朦胧间（半睡半醒、迷迷糊糊）的状态，如果学习者能从临睡幻觉返回到清醒状态而不是深度睡眠，那将从强烈的联想思维中获益，并激发创造力，但此状态往往很难确定和控制。最近，麻省理工学院霍洛维茨（Adam Horowitz）等研究人员开发了被称为Dormio的“梦境控制系统”，以便确定临睡幻觉，并实现学习者与这个独特睡眠阶段的交互[27]，如图3所示。

图2 Focus EDU及数据反馈

图3 Dormio支持的梦境控制系统

最初，Dormio由装有传感器的手套和BCI组成，当手部和头部的感应器探测到学习者的肌肉正在放松，并且脑电波发生入睡前的变化时，它会触发附近的Jibo机器人说出预设的短语，以叫醒学习者或者改变梦的内容。虽然创造力较难用客观的方式来量化，但结果显示体验Dormio的学习者创造力有提升的迹象。换言之，Dormio将实现学习者与梦境的交互，以提高创造力。未来Dormio将采用屈膝传感器、智能手机、非侵入式BCI等设备，尽可能地舒适、廉价和无创，以便学习者更容易进入临睡幻觉。

卡内基·梅隆大学的张洋等研究人员在Pulp Nonfiction项目中，开发了使任意纸张成为触摸屏的新技术，利用该技术，用户在纸上书写的内容或进行的操作，将同步传输到电脑中[28]，如图4所示。该技术通过在纸的背面涂抹一层导电材料，使纸的背面保持一个较小的电磁场，当有手指或笔触碰纸的正面时，小的电磁场便会被手指提取，并通过人体导向地面。最终，通过检测小的电流发生的位置，可以追踪手指或笔在纸上划过的轨迹。该技术可用于开发交互式教科书、试题和玩具等，学习者在阅读纸质教科书的同时，既可将添加的书签、记录的笔记等实时上传到计算机，也可将感兴趣的内容一键分享到网络学习空间、微博等社交媒体。在课堂练习中，学习者在做试题的同时，教师能够实时采集学生的答案，并给予及时的反馈。该技术还可用于智能玩具的开发，使智能玩具的身体具有和人类一样的真实感觉，如，轻拍会微笑，力度较大时会生气等。

图4 Pulp Nonfiction的实际应用

2.与具体学科深度融合

瑞士“Norrköping可视化中心”等机构所研发的新型医学可视化工具“虚拟解剖台”（Virtual Autopsy Table），可以帮助学习者探索人体内部结构[29]，如图5所示。凭借基于手势识别的NUI，虚拟解剖台完全改变了学习者与海量医学数据的交互方式。该虚拟解剖台可供最多6位学习者同时进行协同交互，能够处理大量复杂的数据，以便深入理解和洞察身体内部的功能和运作过程。首先，将需要解剖的尸体用CT机进行扫描，此过程将生成约25000副尸体截面图像。由于人体不同组织、器官以及外入异物对X射线的吸收率不同，经软件识别后，将分别给予相应的明暗值。最后，通过高画质显卡把明暗值处理为颜色和透明度不同的三维图像，显示在手术台大小的液晶显示屏上。学习者只需滑动手指，便可移除层层肌肉，放大或缩小器官的图像。此外，还能用虚拟手术刀模拟切开组织。

图5 虚拟解剖台

美国普文农工大学的机械研究项目，将自由形状建模与VR技术相结合，通过使用虚拟工具交互式雕刻模型，应用虚拟雕刻方法，试图提高学习者对航空航天、汽车、生物医学标本等复杂产品设计的能力，特别是利用VR技术进行复杂产品自由形状建模的能力[30]。其中，虚拟雕刻过程使用Power Wall VR系统和触觉控制器。通过执行模型和虚拟工具之间的布尔运算，可实现同时更改设计模型的几何结构和材质。而触觉界面能够反映雕刻过程中虚拟工具与模型之间的相互作用，如图6所示。另外，西班牙的工程研究人员已经开发了一个在教育中构建触觉反馈模拟器的框架。该模拟器为学习者在土木工程教育中与基础设施、电子工程教育中与关键装置以及医学手术中与身体组织器官之间进行虚拟交互，提供了可能性。

图6 触觉与VR相结合的虚拟雕刻系统

传统虚拟实验室基于键盘、鼠标等设备实现交互，它们不支持在真实实验室中拥有丰富经验的学习者使用自然行为。波兰波兹南密茨凯维奇大学的研究人员通过使用NUI，开发了一个虚拟化学实验室[31]。该虚拟化学实验室将NUI作为交互方式，使用Kinect作为传感器。通过传感器，事先编写好的程序可以识别学习者的操作手势和肢体动作，使学习者获得与真实实验室中相同的操作体验，如图7所示。

图7 虚拟实验室

NUI的发展也为虚拟实验室的设计，创造了新的机会。研究结果表明，NUI的使用创设了改善化学教育质量的机会，并使教育领域虚拟实验室的有效性得以提高。此外，学习者在虚拟化学实验室中使用自然行为控制仪器，能够激发起更大的情感参与度并提高自我效能感。

儿童具有丰富的想象力和创造力，讲故事是儿童的天性，在即编即演的过程中可以培养儿童的创造性、沟通能力和协作精神。微软的TellTable系统便可实现让儿童在触摸屏桌面上创作故事[32]，如图8所示。儿童可在日常生活中将感兴趣的事物用照相机记录，并传输到TellTable作为故事的素材。该系统支持儿童用手指将这些素材进行剪贴、描画，就像在家或学校做手工一样。素材完成后，儿童可以像用真实玩具讲故事一样，在TellTable周围用手指操纵这些故事元素，并可在操纵的过程中用声音描述故事的情节，系统将自动记录动态的场景和声音。故事完成后，可在系统中重放，也可在其他设备中回放。TellTable操作简单，易于掌握，并可使儿童稍纵即逝的想象力和创造力得以保存，而且培养了儿童的团队精神和沟通能力。

图8 TellTable系统

（三）新一代人机交互技术教育应用面临的挑战

1.自然用户界面所需成本较高

把新颖教育技术应用于教学的过程中，成本是不可忽视的现实问题。NUI通常需要多种技术来共同实现，因此，设备费用往往较高，这使得普通学校无力购买支持全部学习者学习的NUI设备。而且，教学绩效还远没有达到“以最少投入、获得最好教学效果”的媒体选择原则，这致使部分学校看好新兴技术但却犹豫或放弃配置应用[33]。另外，NUI对特殊教育的意义重大，但是社会各界对特殊教育的投入和关注有限，特殊教育学校往往也因为成本问题，无法配置相关的教学设备。

2.相关的教学方法需要完善

运用NUI进行教学，目前仍缺乏相对系统、成熟的方法论指导。NUI应用于教育还处于发展阶段，不够成熟和完善，缺乏相关案例和与之相对应的理论研究，更缺少相关的教学法支持。另外，NUI的技术门槛较高，需要教师在对教学内容和教学方法准确理解和把握的同时，还要掌握NUI与教学相结合的研究工作，使得普通教师难以像开发课件那样较为轻松地去设计、开发基于NUI的教学资源。另外，NUI应用于教学需要在教学模式上也有所创新，才能培养学习者的认知能力、合作能力和创新能力。

3.学习者数字素养有待提升

NUI为学习者提供了更为自然的人机交互方式，在减轻认知负荷的同时，也将带来信息量的激增，对学习者提出了新的挑战。在NUI创造的学习环境中，学习者是数字世界的拥有者和创造者，学习者要用数字化工具来表达其思想和创意，并联结知识网络。这就要求学习者能够快速而有效地获取信息、整合信息、评价信息和交流信息。但目前学习者的数字素养还有待提高，《地平线报告》连续多年将其列为制约教育领域技术应用的重大挑战之一。数字素养的界定较为宽泛，其核心要素尚未达成共识，使其本身也成为挑战问题。教育机构要明确学习者应具有的数字素养，设计相应评价指标，对学习者既有素养进行评价，并制定学习者数字素养培养和实践方案，从而切实提高学习者的数字素养。

五、脑机接口技术及教育应用的初步展望

目前，BCI已在教育领域取得初步应用，但2017年Gartner公司发布的年度新兴技术成熟度曲线显示，BCI尚处于技术萌芽期，达到成熟期还需要大约10年的时间。这致使BCI的教育应用仍处于初步尝试和探索阶段。但随着BCI的逐渐成熟，未来它将与AI、AR、VR、物联网、深度学习等技术结合，以实现优势互补，进而促进BCI与教育的深度融合。根据现有资料，我们可以作如下初步展望：

（一）智慧学习环境的建设

普通数字学习环境已不能满足“数字土著”的需求，作为数字学习环境高端形态的智慧学习环境应运而生，物联网、云计算、AI、BCI等技术的出现与发展，为智慧学习环境的实现创造了条件。智慧学习环境主要分为支持个人自学的智慧学习环境、支持课堂学习的智慧学习环境、支持做中学的智慧学习环境等五种类型，BCI将以其独特优势，为智慧学习环境的创设提供重要支撑。

在支持课堂学习的智慧学习环境中，BCI将与物联网、AI、NUI等技术结合。BCI领域正在研发犹如蓝牙耳机的非侵入式耳后脑电采集设备，以方便学生在课堂学习过程中佩戴。学生佩戴后，可通过检测学生脑电波和大脑皮层的活跃程度，借助AI等技术，对其分析量化为注意力值或喜怒哀乐等情感状态，并将数据反馈到教师端平板电脑，教师可据此判断学生对当前讲授内容的理解和掌握情况，以便了解学生状态，及时调整教学内容和教学方式，提高学生学习效率和教师教学质量。教师或学生还可通过BCI控制灯光、音像、智能白板等辅助教学设备，并调整室内温度和窗帘升降。

在支持个人自学的智慧学习环境中，BCI将与学习分析、自适应推送等技术结合。学习者将佩戴微型非侵入式BCI设备，该设备具备情感识别功能，并能实时记录学生的情感变化、注视内容及时间，以预测学生掌握程度和教学重难点。学习过程中学习者还可在做笔记的同时，通过该设备与平板电脑、电子书包等学习设备交互，实现PPT翻页、视频快进、暂停等功能。BCI记录的整个学习过程数据，通过学习分析、数据挖掘等技术分析后，将自动推送切合学生当前情境和能力的学习资源，并通过屏幕呈现给学习者。而便携式BCI设备，还将为学习者的移动学习、泛在学习、体验式学习、游戏化学习，提供新的人机、生生交互方式。

（二）智能学习工具的开发

BCI将为各学段、各学科智能学习工具的开发提供支持。在学前和小学教育阶段，玩具是重要的学习工具，目前多数玩具仅能实现单向交互，即通过按钮、开关等传统方式控制玩具，没有智慧特征[34]。然而，随着科技的发展，传统玩具已不能满足家长和儿童的需求，BCI将有助于智能玩具、智能虚拟助手的研发。智能玩具、智能虚拟助手支持语音、手势、BCI等交互方式，特别是学前儿童识字有限，语言表达能力较低，但已具备基本的思维能力，他们可通过BCI与智能玩具交互，增强自身思维能力，同时也能学到更多知识。儿童可通过非侵入式BCI与智能玩具、智能虚拟助手交流和互动，特别是患有自闭症的儿童，家长或老师可通过BCI了解他们的内心世界，并及时给予帮助和引导。随着AI、BCI等技术的发展，智能玩具、智能虚拟助手将实现交互式学习问答和情感交流，并有助于个性化学习辅导。

在中学和高等教育阶段，BCI将与具体学科融合，实现智能学习工具的开发。随着科技发展，国内外研究者将破解知识在大脑内的表征、存储形式，以及它们与计算机内知识表征、存储形式的区别等难题。这有利于BCI研究者更好地解码大脑信号，并能帮助他们发现计算机存储方式和大脑存储方式的根本区别，最终实现人脑存储方式和计算机存储方式的兼容。BCI未来将使智能学习工具不仅有“智商”，还有“情商”。甚至在不远的将来，“即插即用”的BCI技术将成为现实，学生们可直接把计算机内的知识“上传”至自己脑中，并且还可以“下载”或“分享”自己的梦。这无疑将彻底改变传统的教育教学方式，教师不再耗费时间去教授学习者基础知识，不用背诵与记忆知识，而以培养其创造性思维和创新能力为主。BCI与VR、AR等技术结合，可实现虚拟实验室的搭建和学生的虚拟操作。学习者处于虚拟实验环境中，通过BCI实现对虚拟实验设备的操作，可以无任何耗损地进行重复实验。整个过程将被实时记录，通过学习分析、AI等技术分析后，将结果以可视化的形式反馈给学习者和教师，以便教师对重难点进行讲解、学习者有针对性地练习。

（三）创客与STEM教育的支持

创客与STEM教育秉承“开放创新、探究体验”的教育理论，着重培养各类创新型人才，强调创新精神以及综合运用知识技能解决实际问题的跨界能力，已成为教育领域的研究热点。BCI将进一步激发学生想象力，并帮助他们将想象变为现实。首先，手势识别、眼动追踪、BCI等前沿技术的发展，有助于激发学生创造力。特别是随着BCI的发展，曾经认为是天方夜谭的“意念控制”已初步实现，这无疑会对学生的“天马行空”创意给予鼓舞和动力，并能拓展他们的想象空间。同时，学生渴望实现自己的想法或创意，这将促使他们进一步关注和了解前沿技术，并激发对科学、技术、工程、艺术、数学等基础学科的兴趣和热情。通过对知识的深度整合，不断完善自己的创意，并使之可行，这将不断提高学生的创造力和想象力，并在解决实际问题过程中实现学科间知识整合。

同时，BCI将为学生提供机器人教育的支持，即BCI的发展，支持学生凭借“意念”控制机器人。学生可借助BCI设备，既可通过“意念”实时控制机器人完成指定动作；也可预先将动作构思好并程序化，让机器人做出和预设动作类似的连贯动作。BCI将促使学生进一步探索机器人的教育功能和应用领域，也可借助机器人或者创客工具去完成具有一定危险的动手实践。BCI无疑有助于创造性学习螺旋式实现，即想象、创造、试验、分享、思考、再想象，这不仅会激发学生的创新意识和创新思维，也将切实提高学生的创新能力。

（四）助益特殊教育与教育公平

每个学生都应享有接受良好教育的权利，但部分学生却因为身体残疾或家庭贫穷，难以享受优质教育资源。BCI的发展可为特殊教育与教育公平创造了更多的有利条件。首先，BCI能够保障残疾人接受普通教育的机会。未来学习者主要通过智能手机、平板电脑等学习工具进行学习，残疾人与学习工具的交互成为残疾人享有优质教育资源的前提和基础。肢体残疾或视力残疾者，可通过BCI或语音识别实现对手机、电脑等学习设备的控制，从而查找、选择满足学习者需求的学习资源。此外，残疾学生往往因为自身原因或社会原因，只能就读特殊教育学校，BCI能够弥补残疾学生的不足，使之最大程度地融入普通教育，并与普通孩子“融合”起来。例如，肢体残疾者借助BCI可实现对辅助设备的控制，能够完成行走、书写等任务，并能参加简单的体育活动。

其次，BCI能够保障家庭贫穷者享有优质教育资源的机会。偏远山区或家庭贫穷的学生虽有接受普通教育的机会，但却因为经济原因难以享受优质的教育资源。近年来，国家不断推进教育公平，加大对中西部和偏远、穷困地区的教育经费倾斜力度。偏远山区或家庭贫穷的学生只要通过装有智慧学习管理系统的智能手机或平板电脑可进行学习，就能享受与发达地区相同的优质资源。通过智慧学习管理系统中的BCI、触摸屏、眼动追踪等技术支持，能够实现识别学生学习状态、自动记录学习过程、自动推送、自适应测验、可视化呈现等功能，从而最大程度提高学生的学习效果，弥补因贫困造成的教育差距。此外，政府或企业也可援建由VR/AR、BCI等技术搭建的虚拟实验室，以增强学生的实践能力，开阔学生的视野。