人工智能辅助英语情境式教学研究

高亚男 广东省深圳市盐田区乐群实验小学

情境教学法是国内外教育学家和语言学家都着重强调的外语学习方法，情境的创设和恰当应用对学生的英语学习起着至关重要的作用。但在英语教学实施的过程中，创设合适的情境，并尽可能多地合理融入英语教学，需要教师不仅要具有丰富的教学经验，还要具有创造力和联想能力，同时付出大量的时间成本，而当学生遇到相关问题情境时，教师也很难在第一时间根据相关情境组织教学。为解决以上问题，笔者尝试将人工智能引入英语情境式教学，使计算机能够自动化地完成语言描述和问题情境之间的转换。

● 人工智能用于语言和情境关联的理论基础

图像处理和自然语言处理作为人工智能研究的两个重要分支，在人脸识别、智能驾驶、语义分析、智能问答领域都得到了广泛应用。随后，出现了图像信息和语义信息的跨模态关联模型，这种关联模型的出现和发展，为人工智能辅助英语情境式教学提供了理论基础。

1.图像描述模型

图像描述模型的任务：将任意输入的照片或图像，通过深度神经网络后生成一段与图像内容高度关联的语言描述。训练这类神经网络需要大量已经被标注的数据作为训练集，目前这类训练数据以英语语言描述居多，已发表的模型也以生成英语描述为主。这意味着借助图像描述模型，学生在任何时候都可以将所看到的情境通过拍摄和录制的方法形成图像记录，然后生成相关英语描述，即随时随地通过相关情境学习英语。

图像描述模型一般由一个基于卷积神经网络（CNN）的编码器和一个基于循环神经网络（RNN）的解码器构成（如图1），该架构于2015年由Vinyals等人提出。其中，编码器用于提取图片的关键特征，将图片从由像素点数值描述的矩阵编码为一个低维的一维向量；解码器则由多个长短时记忆单元（LSTM）构成，每个LSTM单元的输入都是上一个LSTM单元的输出，用于结合图片特征和已得到的上文信息，预测下一个单词，从而得到完整的描述。

图1

2.图像生成模型

图像生成模型的任务：对于给定的语言描述，利用深度神经网络生成与描述相符的图像。通过图像生成模型，教师可以在教学过程中，基于教学目标引导学生主动进行情境描述。根据学生的描述生成具有情绪色彩的、以形象为主体的生动具体的场景，从而帮助学生理解教材。

图像生成模型一般包括词嵌入（embedding）单元和卷积网络（CNN）单元。此外，为了保证生成的图像与真实世界图像相仿，一般还会额外使用一个判别器，从而组成生成对抗模型（GAN）。其中，词嵌入单元用于将单词转化为与语义相关的数值向量。在词嵌入单元后，隐层用于将这些数值向量合并，然后通过多个卷积层，输出与图片大小一致的代表像素点的数值矩阵。判别器则用于区分真实世界图像和被生成的图像。在训练中，生成模型与判别模型最终达到纳什均衡，此时生成的图像便会达到与真实世界相似的效果。

● 人工智能用于英语情境式教学的应用示例

笔者将上述模型整合为可以在个人台式计算机运行的可视化软件，并在小学英语课堂上辅助教学，取得了良好效果。软件的运行界面如图2所示，教师和学生既可以上传生活中随手拍摄的照片，通过软件获得该照片情境的1～3条英语描述，也可以输入英语描述，运用软件生成符合描述的情境图像。整个过程无需了解相关背景知识，只需要通过简单的鼠标操作完成。

图2

1.教学示例：描述动物

在牛津深圳版一年级下册教材第1单元中，学生需要学习并应用动物有关的单词frog、bee、bird、rabbit等，需要掌握在场景下使用句型“What do you see?”“I see...”向他人询问所看见的东西，并获取信息。

（1）课前激趣导入

课前，教师向学生展示生活中拍摄的小动物照片，由此引入新的句型：What do you see？对于常见的动物，学生往往具有一定的生活基础，可以用I see a cat/dog这种简单的方式回答。此时，教师向学生提问：你们知道计算机是如何回答：What do you see？这个问题的吗？教师将这些照片输入人工智能软件，并将软件返回的英文描述展示给学生，如A dog is sitting on the bench。

（2）课中增设情境

在新授环节，教师引导学生将课前准备的青蛙、蜜蜂、鸟、兔子的图片输入人工智能软件，学生向计算机提问：What do you see？软件依据照片返回英文描述，如A frog is sitting on the rock/A bee is near to a flower。教师可以引导学生在情境中学习生词和句式。英语描述与图像的高度一致性，能引导学生产生记忆上的联结，看图说话的形式可以让学生加深记忆。

（3）练习辅助输出

在课堂练习环节，学生展示各类动物图片，并在小组活动中相互提问：What do you see？学生在教师的帮助下，通过人工智能软件生成对情境的描述，并自主学习描述图片情境的单词和句子，然后相互回答。整个过程充满趣味性，同时使教学内容更贴近生活实际。在描述完整情境时，软件协助学生进行完整的遣词造句，同时扩充了学生的视野，扩展了学生的知识储备。

2.教学示例：学习颜色

牛津深圳版一年级上册教材第12单元创设了学生在公园游玩的场景，学生需要学会描述不同颜色如red、blue、yellow、green等，并需要掌握句型“What colour is it?”“It's...”询问和回答颜色。

（1）课前激趣导入

课前，教师向学生展示不同颜色的小鸟图片，由此引出新的句型“What colour is it？”。这种直观的视觉体验，可以激发学生对颜色的认知。

（2）课中增设情境

在课中，教师引导学生发挥想象力，自发使用这些词汇描述不同颜色的小鸟，然后通过软件生成这些颜色的鸟类图片并向其他同学展示。在练习中，学生语言输出与视觉输入产生联结，更容易辅助学生将颜色与对应表达关联在一起，学生学习的有效性也大大增强。在课堂上，一些学生出于对软件生成结果的好奇，还查阅了更多描述颜色的词汇，如pink、purple、black、white等，大大激发了学生探索新知识的主动性。基础较好的学生还试图使用更加复杂的表达，如A bird bird with green crown/A yellow bird with black tail等，使软件生成更加色彩丰富的鸟类图片。

（3）练习辅助输出

在练习阶段，学生以小组讨论的形式，首先使用不同的颜色词汇进行语言表达，并使用软件生成相关图片，然后根据生成的图片，使用“What colour is it?”“It's...”相互提问和回答。这种图文并茂的形式让学生能够在趣味中理解、认读、辨认颜色，同时，培养了他们学习英语的兴趣和习惯。学生在实际操练中不断增加单词和句子的储备量，通过图片自动生成的系统，也在不知不觉中增加了英文阅读量。

● 人工智能用于英语情境式教学的实践意义

笔者整合了人工智能模型，编写和使用情境化教学软件，并应用于英语课堂。该软件具有直观性、趣味性、互动性的特点，在课堂上学生表现出积极的参与和学习欲望。课程实践表明，在人工智能软件的辅助下，教师能够容易地设置有趣、合理的语境，带动学生理解文本，开展语用活动，达到在情境中获得知识、培养能力、发展智力的目的。对于学生在写作练习中遇到的普遍性问题——句子生成困难，以及教师在备课中偶尔遇到的例子匮乏问题，也都可以通过软件得到部分解决。

未来，随着人工智能领域的发展，笔者将继续完善该情境教学软件的功能，提高模型预测的精度，丰富软件的使用场景和功能，如故事生成、情境对话等，并进一步在教学实践中推广应用。同时，笔者还将使软件描述更加贴近教学目标，通过修改语料库权重，使模型侧重于学生所处的各学习阶段常用的英语语料，使之能够区分学段地服务于中小学教学。