基于增强现实的儿童英语单词卡设计与实现

2019-06-06李国良黄如民杨朝勇

软件导刊 2019年3期

李国良黄如民杨朝勇

摘要：为发挥增强现实技术在英语教学中的优势，基于Android平台，设计可以触控交互、朗读发音的英语单词卡系统。系统分为客户端和服务器端，客户端和服务器端之间采用HTTP协议通信，其中客户端包含资源下载、资源加载、增强现实效果呈现和交互4个功能模块。通过扫描纸质英语单词卡片，呈现对应的虚拟物体并朗读出英语发音。该系统满足设计功能要求，可把增强现实效果和单词关联起来，有助于儿童理解和记忆英语。

关键词：增强现实;英语学习;教育应用

DOI：10. 11907/rjdk. 182242

中图分类号：TP319文献标识码：A文章编号：1672-7800（2019）003-0108-04

0 引言

增强现实技术（Augmented Reality，AR）是一种将计算机制作的虚拟信息与真实环境叠加在一起，增强用户对现实世界体验和认知的新技术[1]。AR应用领域非常广泛，如用于医疗手术部位精确定位、导航、古迹复原虚拟重构、房地产宣传等。在教育领域AR也具有很大的应用潜力[2]，可将抽象的学习内容可视化、形象化，创造真实的学习情境，提高学习者兴趣和注意力[3]。英语教学应用增强现实技术，有助于培养儿童英语语感，提高理解、记忆英语的能力，激发学习兴趣[4]。

本文设计一种基于增强现实的英语单词卡系统，通过扫描纸质英语单词卡，呈现与单词相关的AR效果，朗读英文发音，同时具有交互功能，有助于儿童英语学习。

1 研究综述

1.1 国外研究现状

国外开展增强现实技术的研究相对较早，但早期由于硬件设备限制，将增强现实技术应用于教学的例子并不多。2002年，Mark Billinghurst& Hirokazu Kato[5]制作了具有增强现实效果的场景供学生观看。2003年，澳大利亚研究人员Kaufmann & Schmalstieg[6]尝试用增强现实展现几何体，帮助孩子理解空间知识。2007年，Andreas Dunser&Eva Hornecker[7]使用增强现实技术制作儿童故事书。2010年，美国学者Juan [8]研制增强现实立体玩具，帮助孩子认识濒危动物。孩子通过观察立体的动物，查看动物习性信息以了解濒危动物生存状况。

2016年，随着任天堂“Pokemon Go”游戏的流行，增强现实技术也被大众了解，随后增强现实的相关产品愈加丰富，2016年被媒體称为“VR/AR元年”。由于增强现实技术的发展，人们借助ARToolKit、Vuforia、Metaio等AR软件开发工具包，使增强现实的开发过程变得相对简单[9];另一方面，随着移动终端设备运算能力及图形处理能力增强，开发基于移动终端的增强现实应用程序并应用于教学成为可能。2016年真田博文等 [10]为初中生设计Android应用程序，通过扫描相应字母卡片，朗读英文发音。

1.2 国内研究现状

国内将增强现实技术应用于教学的时间虽晚于国外，但也取得了丰硕成果。北京师范大学蔡苏团队[11]为AR应用于教学领域作了大量尝试：在数学教学中，利用AR技术模拟耗费人力的重复性过程，如投硬币概率事件，帮助学生理解概率知识;在物理教学中，通过增强现实把抽象的概念（如磁场）进行可视化显示;在化学教学中，展现难以用肉眼观察到的化学反应过程，如水分子形成;还有计算机学科也利用AR技术进行辅助教学研究。曾丹[12]尝试把增强现实技术应用到汉语教学中，通过对现有汉语课本添加虚拟信息帮助学生认读。在英语教学中，李丹[13]提出基于增强现实的英语教学模式有利于提高学生学习动机。

总体上国内外皆有将增强现实技术应用于教学的实践，特别是关于物理、数学、化学等含较多抽象知识的学科，也有少量将增强现实技术应用于语言教学的研究，以上尝试对知识习得均提供了一定帮助。

1.3 增强现实技术应用于英语教学的优势

增强现实技术可融合虚拟与现实场景，提供真实的感官体验，具有立体化视觉呈现、实时交互、增强用户沉浸感等特点[14]。增强现实技术应用于英语教学有3方面优势。

（1）提供良好的感官体验，丰富英语学习环境。儿童学习过程以形象思维方式为主，即学习对象应“看得见，摸得着”[15]。英语学习过程提供学习材料与真实事物相似程度越高越好，图片、视频等学习材料的二维呈现与三维模型相比形象程度偏低。增强现实系统把三维模型、音频、视频融合成一个整体，让孩子能看、能听、能摸，逼真的环境、多感官的体验让幼儿融入到学习环境中，一定程度上缓解了现有英语学习氛围的单调。

（2）培养英语语感，提高听力水平。实际生活情境中置身于英语对话的场景十分稀少，儿童英语教学环境中虽不缺乏英语训练，但传统学习方式往往是听、说为主[16]。而增强现实系统的帮助下，视、听、说相互融合，让儿童置身于真实的英语情境下，把英语词语与现实事物联系在一起，增强对英语词语语义的理解[17]。同时调动眼、耳、口多个感官，对于儿童理解、记忆英语，提高英语听力有所帮助。

（3）玩中学，激发学习兴趣[18]。玩是儿童的天性，孩子很乐意学习有趣、好玩的事物[19]。在增强现实环境下，威风的老虎、穿梭水中的游鱼等英语单词相对应的景象呈现在儿童眼前，轻轻地触摸后，动物们或是吼叫，或是游动，清晰标准的英语发音同时被朗读出来。

2 增强现实英语单词卡系统设计与实现

2.1 功能概述

增强现实英语单词卡系统具有4个功能，即下载资源、加载资源、AR显示、AR交互功能。系统下载与英语单词、句子有关的声音、文字、3D模型资源后再加载到移动设备中显示出AR效果，最后用户通过AR交互功能使系统朗读英文读音。

2.2 系统设计

系统采用客户服务模式，分为客户端与服务器区，如图1所示。手机、平板等移动设备作为客户端，有携带方便、无线方式连接互联网的优点，也具备增强现实技术必需的摄像、跟踪计算、图形渲染等能力。服务器主要作用是存储模型、声音、图片等需占用大量存储空间的资源。

客户端包含下载资源、加载资源、AR显示、AR交互4个功能模块。首先通过下载资源功能可下载存放在服务器中的英语单词相关的模型、音频、图片资源;然后移动设备通过系统加载资源功能将资源加载到系统中;接着AR显示功能通过跟踪目标对象，把虚拟对象如模型与现实世界的场景叠加并显示出来;最后通过旋转等交互功能进行一系列交互。

服务端除了存储资源外，还需建立数据库，存储资源路径、名称、编号等相关信息，以供客户端提取，下载关联资源。客户端与服务器的通信是基于HTTP协议实现的，由于其支持客户/服务模式、连接方式简单且传输数据的类型灵活，因此在互联网上应用十分广泛[20]。通信过程是客户端先向服务器发送请求，服务器接收请求后，根据请求的内容查询数据库，再将查询结果返回到客户端。

2.3 功能实现

（1）下载资源功能。资源有3D模型文件、文本文件、图片文件、音频文件、识别文件等，皆存放在服务器中，在使用前需先下载，下载中使用Unity软件的WWW类库，传输方式为HTTP协议POST方式。

WWW是Unity封装的一个基于HTTP协议的类库，可以使用该类库进行网络请求[21]。WWW类采用客户端与服务器工作模式，首先通过客户端与服务器建立连接;发送请求;服务器接收到请求后，返回信息到客户端;通信完成后关闭连接。按照HTTP协议使用POST或者GET方式传输数据。GET方式请求会附加在URL后面，POST方式则通过FROM形式提交。GET方式最多只能传输1 024字节，POST方式在理论上则没有限制、且POST比GET方式安全性更高，所以本文使用POST方式。关键代码如下：

IEnumerator SendPost（string _url， WWWForm _wForm）

{

WWW postData = new WWW（_url， _wForm）; //声明一个WWW类用于接收资源数据

yield return postData; //獲取下载的资源

if （postData.error ！= null） //检查数据是否有错

{

Debug.Log（postData.error）;

}

else

{

Debug.Log（postData.text）;

}

public void HttpSend（string name，string id，string urlString）

{

WWWForm form = new WWWForm（）; //声明一个表单变量存储服务器端的账号与密码

form.AddField（“Username”，name）; //填写账号、密码

form.AddField（“ID”，id）;

StartCoroutine（SendPost（urlString， form））; //开启一个协程来进行下载工作

}

（2）加载资源功能。系统需把资源转化为Unity支持的资源格式后才可加载资源，如音频资源需要转换为Audio Clip格式，对于文本、贴图、资源包类型的资源，对应格式分别为Text、Texture、AssetBundle，而Unity不支持的格式需转换为字节数组类型，其后通过Unity提供的资源加载函数，把相对应的资源加载到系统中。

（3）AR显示功能。EasyAR作为增强现实开发的AR SDK，显示模型需要包含3个步骤，分别是获取密钥、准备识别图、书写识别代码。具体包括：①获取密钥是获取使用AR SDK的使用权限，需把密钥填写到AR Camera的Key属性栏中;②为使移动终端在开启摄像头扫描后可以追踪到识别对象，需提前准备识别度较好的图片作为识别图，并把识别图的名称与路径填写到Image Target的属性栏中;③书写识别代码可反馈识别对象被追踪检测时观测模型能否正常显示。当扫描或远离识别图时，在OnTargetFound和OnTargetLost函数中，系统可接收识别对象的反馈消息。

（4）AR交互。3D模型控制。unity支持多种3D模型格式，如fbx、dae、3ds、dxf、obj等文件格式，但较为常用的格式是fbx格式。首先fbx格式可存储3D模型包含的网格、材质、动画、骨骼等信息，unity引擎可解读信息;其次，fbx格式允许不同3D模型制作软件读取编辑，如Maya和3D Max三维制作软件都可以打开fbx格式文件进行编辑。但其它格式只能被相应的3D模型制作软件读取，如mb格式可以被Maya三维制作软件读取，但不能被3D Max三维制作软件识别。

通过改变两指之间的距离进行缩放，以确定模型的缩放效果。若两指之间距离增大，则放大模型;反之则缩小模型。通过单个手指朝不同方向滑动旋转，可从不同角度观看模型。当手指向右滑动，模型会向右旋转;反之模型则向左转。关键代码如下：

float offset = newDistance - oldDistance;//两指间距离，为正表示放大手势，为负表示缩小手势

float scaleFactor = offset / 100f; //缩放因子，确定缩放的比例

Vector3 scale = new Vector3（localScale.x + scaleFactor，//模型按缩放因子进行缩放

localScale.y + scaleFactor，

localScale.z + scaleFactor）;

Vector2 deltaPos = touch.deltaPosition;//手指触点的改变距离

transform.Rotate（Vector3.down * deltaPos.x，Space.World）;//围绕Y轴进行旋转。若手指触点改变距离为正，则向右旋转;反之向左旋转。

英语发音播放与暂停。Unity支持4种音频格式aiff、wav、mp3、ogg。aiff、wav适合较短的声音文件存储，而mp3、ogg适合较长的声音文件存储。英语单词发音及例句的朗读都属于较短的声音。另外wav格式属于无损压缩格式，单词、例句声音的清晰程度不会受到影响，所以采用wav格式较为适合。Unity使用AudioSource组件的 Play、Stop等函数，控制声音播放、暂停及循环播放。

文本信息显示与隐藏。文本信息包含英语单词及例句相关信息，可以控制文本信息的显示与隐藏。当需要查看包含英语单词的例句时，单击一次按钮，则展现相应例句，再次单击按钮则例句消失。Unity通过GameObject组件SetActive函数的布尔参数，决定单词或例句信息是否显示。

UI控件控制。UI控件实现与用户可视化交互，可控制例句显示或隐藏，控制暂停与播放单词、例句等音频及场景切换。Unity通过Button组件onClick函数响应用户点击事件。

3 实验结果与分析

3.1 测试环境

硬件环境选用Andriod移动设备作为调试平台，软件操作系统为Andriod4.0版本。另外，还需要英语单词卡，本文设计了由绿色背景、黄色前景色英文和动物图片组成的英语单词卡，如图2所示。

3.2 测试流程与结果

打开摄像头，将摄像头对准英语单词卡，平板上会出现呼噜呼噜叫的鳄鱼，伴随着鳄鱼爬行与吼叫，系统发出鳄鱼叫声及相应英语发音，并显示相应英文单词，如图3所示。通过手指操作还可以细致观察，手指滑动屏幕，鳄鱼就会转过身去，双指捏放，鳄鱼会缩小与放大。如果需要反复听发音，则选择相应“中”或者“英”按钮。

从结果来看，本系统完成了核心功能，通过下载、加载英语单词卡对应的动物模型、中英文发音、文本，以AR效果显示出来，然后可对其进行缩放、旋转等交互操作，控制朗读声音的播放等。测试过程中，系统仍存在一些问题，需要继续优化：①个别英语单词识别速度慢，原因可能是识别图精准度偏低;②可能由于网络原因，资源下载速度较慢;③模型动画需更丰富。

4 结语

增强现实技术具有融合虚拟与现实的特点，能够立体化呈现知识内容，将其应用于英语教学，对提高儿童学习兴趣，理解、记忆英语能力和英语听力等方面有所帮助。本文设计的基于增强现实的儿童英语单词卡系统，把抽象的英文单词转为具有视听效果的AR场景，符合儿童认知特点，有助于儿童英语学习。尽管增强现实技术相对于其它教学媒体在感官体验上有较大优势，但如何有效应用到教学中仍是信息技术与课程深度融合过程中需进一步探索的问题[22]。

参考文献：

[1] 朱淼良，姚远，蒋云良. 增强现实综述[J]. 中国图象图形学报，2004（7）：3-10.

[2] 钟毅. 增强现实（AR）技术的教育应用略谈[J]. 电子世界，2018（12）：61-62.

[3] 蔡苏，薛晓茹，张晗. 增强现实（AR）在K-12教育的应用实践[J]. 中小学信息技术教育，2017（11）：71-75.

[4] 蔡新元，陆晴漪. 增强现实技术在传统儿童书籍中的应用研究[J]. 湖北大学学报，2013（4）：100-103.

[5] BILLINGHURST M，KATO H. Collaborative augmented reality[J]. IEEE Communications of The ACM，2002（7）：64-70.

[6] KAUFMANN H，SCHMALSTIEG D.Mathematics and geometry education with collaborative augmented reality[J]. Computers & Graphics，2003（3）：339-345.

[7] DUNSER A，HORNECKER E. An observational study of children interacting with an augmented story book[C]. Technologies For E-Learning and Digital Entertainment. Berlin Heidelberg：Springer，2007：305-315.

[8] JUAN M. Tangible cubes used as the user interface in an augmented reality game for edutainment[C]. 10th IEEE International Conference on Advanced Learning Technologies，2010：599-603.

[9] 黄凌，李颖. 增强现实与Unity结合的初探[J]. 艺术教育，2017（7）：77-78.

[10] 真田博文. 拡張現実を利用した初等英語向け学習教材の開発[J]. 教育システム情報学会誌，2016（4）：176-180.

[11] 蔡苏. 增强现实（AR）在教学中的应用案例评述[J]. 中国电化教育，2017（3）：1-9.

[12] 曾丹. 增強现实技术的汉语教学研究[J]. 语文学刊，2017（5）：163-166.

[13] 李丹. 增强现实英语教学应用设计研究[J]. 中国教育信息化，2017（15）：68-73.

[14] 李文霞. 浅谈增强现实技术[J]. 电脑知识与技术，2013（28）：6411-6414.

[15] 王昕. 基于儿童心理、认知特点的教育类APP设计研究[D]. 呼和浩特：内蒙古师范大学，2016.

[16] 李华. 幼儿英语教学存在的问题及对策[J]. 中国教育技术装备，2018（2）：111-115.

[17] 王萍. 基于增强现实技术的移动学习研究初探[J]. 现代教育技术，2013（5）：5-9.

[18] 顾云玉. 玩中学，学中玩——幼儿园课程游戏化的思考[J]. 读与写：教育教学刊，2016（4）：238-238.

[19] 温洪念，刘洋，韩朵朵. 移动增强现实关键技术综述[J]. 石家庄铁路职业技术学院学报，2017，16（1）：71-74.

[20] 王旭. 网络数据库的访问模式的分析与研究[J]. 计算机光盘软件与应用，2014（17）：41-41.