基于虚拟现实技术的相关语言学习理论与技术支持探究

刘倩影

（山东第一医科大学，山东泰安 271016）

1 应用虚拟现实技术的语言学习理论基础和新观点

认识学习理论把学习者看作是信息加工的主体。语言学家乔姆斯基（Noam Chomsky）认为动物内在存在理解行为：“描述复杂有机体的行为，自然会想到除了需要了解外部刺激之外，还要知道有机体内部结构的知识，以及有机体如何处理信息，怎样组织其行为等内容。”虚拟现实技术可以为习得者提供相应的外部刺激，这种外部刺激的内容应该建立在习得者本身的知识体系上，其通过接受刺激，处理信息，组织信息，达到一次完整的学习闭环。[1]

构建主义学习理论是学习者利用必要的学习资料通过意义构建的方式学习。认为要充分发挥学生个体的主观能动性，要求学生能够用探究、讨论等各种不同的方法在头脑中去主动建构数学知识。利用虚拟现实技术习得汉语，显然不是一种单向操作，需要充分发挥学生个体的主观能动性。

语言功能论讨论如何用语言做事、进行交际。如韩礼德把语言看作社会符号，是人们有目的地用来在语境中表达意义的资源。在利用虚拟现实技术时，应输入有意义的语境，而非随意输入无意义的片段。

目前有种较新的语言学习理论观点，即把学习者看作是外界观察和信息输入的主体，利用实际的或虚拟实际的客观载体表达观点、进行交际。这种观点总结并更加肯定了认知学习理论、构建主义学习理论、语言功能理论中学习者的主动地位，即人是学习的主体，虚拟现实技术是客观载体，保证了主观能动性和积极性，保证了学习的效率和针对性、趣味性。

2 虚拟现实技术相较于其他教育技术在汉语习得中的优势

2.1 便于梳理汉语使用的情景语境 （也即自然语言环境）

利用虚拟现实技术构建汉语词汇、语法的认知环境和口语习得场景，使学习者可以获得语言交际学习中极为重要的两个要素：“临境感”“交互性”，便于学习者探索、发现和适应语言环境；能很大程度上体现出真实语境下语言的交际功能（即能表达言外之意），因为语言内容本身和语言所指向的意义有时候并不是一一对应的关系。

2.2 便于建立庞大的云语料库

通过微软AI搜索技术等相关技术，根据互联网实时信息，建立动态的语料库、信息库。

2.3 实现理想的汉语学习环境

解决课堂学习中缺乏“临境感”“交互性”的难题、不能实现自然交互的角色扮演的难题、不能体会汉语庞大复杂的委婉表达和言外之意的难题；实现任何场景下的 “沉浸式学习”（如通过目前的Magic Leep支持）；满足现实条件下难以实现的或预想中的场景构建和基于此场景的语言学习：如灾难演习、太空环境、高级实验室环境等。

2.4 与虚拟角色进行自然交互

学习者能够与计算机、“机器人”或通过AR眼镜（虚拟世界中的交际对象）直接进行包含模拟真实语言反映的“人—机语音对话”（如目前的siri、小爱机器人、小度音响等）；亲临情景之中扮演角色，与虚拟世界中的虚拟角色进行自然交互。

2.5 便于学习者的自主学得

即充分发挥学习者本人的主体作用，学习者能自主根据期望学得的内容，通过各种形式与AI进行学习互动，通过“人工智能老师”的“教学”和人机互动的反复操练，学习者可在这种虚拟现实技术中发现自身问题、得到自主学得的目的，即将虚拟现实技术应用成一台智能汉语学习机；通过提问或检索的形式（如利用微软AI搜索技术支持），可从AI得到相关文化的、政治的、经济的方方面面的回答或相关知识与观点，即将虚拟现实技术应用成一种搜索引擎。

2.6 可以满足特定职业语言学习的需要

特定专业或职业的学习者根据学习者的需要任意创建自己信任的虚拟教师和虚拟学习伙伴、竞争伙伴，自创特定环境、事件与细节，如医院环境（医生、病人、器械）、警署环境（警察、犯人、监狱）等等。

2.7 降低情感焦虑、紧张

语言学习中的焦虑主要指学习者需要用外语或第二语言进行表达时所产生的恐惧或不安心理。导致的因素有其自身的因素、外部因素、双向交流不顺畅等因素。利用虚拟现实技术，一方面与学习者对话的不是活生生的人，而是机器，大大降低了因自尊心等原因造成的焦虑和紧张，另一方面也排除了教师的严苛要求因素，更能在双向交流中按照自己的意愿调节交流内容和强度。

3 已较成熟的虚拟现实技术支持与暂未成熟的虚拟现实技术支持

3.1 已较成熟的虚拟现实技术支持

（1）WaveNet：一种原始音频波形深度生成模型，能够模仿人类的声音，生成的原始音频质量优于目前Google采用的两种最优文本——语音模型Parameric TTS与 Concatenative TTS。

（2）Tacotron 2：集成了谷歌语音生成两大技术WaveNet和Tacotron1，通过神经网络训练的方式，发挥出当前技术性的极限，在几乎没有任何语法专业性问题的情况下将文本转变为演讲。

（3）Magic Leep：增强现实平台，主要研发方向是将三维图像投射到人的视野中。

（4）深度学习网络：深度学习的概念源于人工神经网络的研究，是机器学习中一种基于对数据进行表征学习的方法，由Hinton等人于2006年提出。[2]深度学习是机器学习研究中的一个新的领域，它模仿人脑的机制来解释数据。目前PaddlePaddle产品可提供丰富的模型库，从而可以快速构建强大的应用，满足各种场景的需求。

（5）自然语言处理技术：自然语言处理技术终极目标是实现一种能够像个体人一样进行语言加工的智能机器。至今已形成规则技术和统计技术两大主流技术、多种辅助技术并存的局面。其发展趋势是实例技术可能成为主流技术，规则技术和统计技术可能成为辅助技术。[3]现在，自然语言技术已全部转向深度学习网络，对话系统也都用到了深度学习网络。

3.2 未成熟的虚拟现实技术支持

（1）语音感情的表达：根据习得者的输入，即言语、语言层次和非言语表现，人工智能目前较难及时调整与选择适当的输出；根据学习者表达的情绪（如语气、重音、停顿、强调等）做出判断，较难给出相应的模拟真实的反应，如控制语音从而表达出开心或忧伤的感情。目前谷歌发布Tacotron 2可支持利用文本生成听起来比较自然的英文语音，但仍存在很多缺陷。

（2）AI的语义分析：人脑中的许多日常概念通常是模糊概念，这在实践中反而显示出较高的效率，这与电脑只能识别精确的语义模式有着本质的区别。[6]在有现成本文语料的情况下，如何最快、最准确地对输入话语作出语义分析，如何在海量语料中筛选符合此语义分析的相应回答尚需大量研究与实践。

（3）AI的自主言语生成：自主语言生成靠模拟人的思维，而人的思维过程和规律很难用一种或多种高级语言（软件）来一一对应描述。在没有现成本文语料的情况下，或想重新构建语料的情况下，如何拆解语言元素，如何构建一个新型的、适用于虚拟现实技术的汉语语言生成法则，使得AI脱离本地或云文本，利用预先设置的汉语语法程序赋予AI自主选择词汇、语法来自主生成有效、可懂、有意义的话语，从而脱离对单纯语料库的依赖等方面尚待研究。

（4）虚拟现实技术对汉语非言语交际手段的理解：非言语交际行为包括言语行为以外的一切由交际者和交际环境所产生的刺激,这些刺激对于交际参与者具有潜在的信息价值,一旦这些刺激被对方感知就产生了实际的交际意义。由于目前没有汉语非言语交际手段的行为特征库，因此无法形成程序和产品。

（5）情感计算：即赋予AI像人一样的观察、理解和生成各种情感特征的能力，试图创建一种能感知、识别和理解人的情感，并能针对人的情感做出智能、灵敏、友好反应的计算系统。[4]Peddle的Senta模型是目前最好的中文情感分析模型，其大概可判断积极、消极、中性情感，但无法识别更复杂的情感。

总之，虚拟现实技术相关的语言习得理论有认识学习理论、构建主义、语言功能论等。虚拟现实技术相较于其他教育技术在汉语习得中有独特的优势。目前，市场上有部分已较成熟的虚拟现实技术产品来支持语言对话或学习，但仍有大量的问题暂未能获得成熟的虚拟现实技术支持。