基于WebXR和AI智能体的小学英语情境化学习系统设计

摘要：本文提出了结合AI智能体与WebXR技术标准，打造智能沉浸式小学英语情境化学习系统的方案。作者阐述了基于WebXR和AI智能体的小学英语情境化学习系统的架构设计，为读者提供了一个清晰的整体框架，并聚焦于AI智能体在整个学习系统中运行的核心原理，展示其在学习过程中的关键作用。本文旨在为开发者提供一套全面而详尽的产品设计蓝图，推动小学英语情境化学习的创新发展。

关键词：人工智能；AI智能体；WebXR；英语学习

中图分类号：G434 文献标识码：A 论文编号：1674-2117（2024）18-0086-04

引言

英语情境化学习对提升学习者的实际应用能力至关重要。然而，现实环境的限制使得学习者难以进行充分的真实环境对话练习。因此，就有必要引入AI角色参与对话练习，进行泛化学习。然而，在与AI角色进行对话时，存在一个关键问题：AI角色对话内容的生成。虽然AI具备丰富的通识知识，能够灵活应对各种话题，但对于一些特定的学习场景，我们希望学习者能够按照既定的句型与内容进行针对性的训练，此时需要AI角色能够根据对话的上下文，精准地按照预设句型与内容进行对话，而不要进行泛化生成。再有，AI在处理时效性较强的近期事件时存在一定的局限性，为了弥补这一不足，希望能够协同网络搜索功能，以便在必要时为AI提供相关的最新动态，确保其对话内容既准确又富有时效性。

针对上述问题与需求，本文致力于设计一个基于WebXR和AI智能体的小学英语情境化学习系统。

基于WebXR和AI智能体的小学英语情境化学习系统框架

1.系统功能结构

本系统主要功能涉及学习中心与后台管理两大部分。

（1）学习中心

学习中心是与学习者直接相关的功能，包含账户维护、场景构建、场景学习、会话导出、会话分享。账户维护指学习者注册、登录和个人信息维护等基础功能；场景构建指学习者可以自己构建个性化学习场景，并与其他角色一起学习；场景学习指学习者可以进入自己或他人创建的场景，与其他同伴角色或AI角色进行沉浸式对话学习；会话导出指可以将基于场景的会话以视频的形式进行导出，内容涉及场景视频、对话音频、字幕等，形态可以是一般MP4视频、固定视角的VR视频，也可以为基于本系统序列化数据的在线沉浸式视频（在支持VR设备下可调整观看视角）；会话分享指将生成的视频提供给其他学习者观看和学习。

（2）后台管理

后台管理是支撑系统运行的相关功能，包括用户管理、模型管理、内容管理、AI策略管理。用户管理指用户注册验证与密码找回等基础功能；模型管理指对3D场景模型和3D角色模型的管理，这些模型主要由系统提供，用户在创建具体场景时，可从系统中进行选择（也可上传自己的个性化3D模型）；内容管理指关于对话内容（文本和音频）的维护，用户在创建具体场景时，可以选用已有内容（也可自己编辑内容）；AI策略管理指在会话过程中如何让AI发挥作用，如AI角色在生成对话内容时对本地知识库的依赖度、协调会话过程中AI的协调策略等。

2.系统运行流程

系统运行的总体流程如图1所示。首先，管理员需要创建场景模型库、角色模型库以及对话内容库。随后，学习者可以根据自己的需求创建新的学习场景，他们可以从库中选择或上传场景模型与角色模型，并选择或自定义对话内容，这些内容既可以是预设的，也可以是开放式的。在创建完场景后，学习者需要发布该场景并邀请其他学习者加入。一旦场景准备就绪，学习者便可以进入自己创建或他人发布并邀请自己的场景中进行学习，从而正式开启基于具体场景的沉浸式对话学习体验。在整个会话过程中，AI智能体会积极参与并协调对话，确保会话能够顺畅且持续地进行。

AI智能体运行核心原理与任务

本文中AI智能体运行的核心原理如图2所示。AI智能体（Agent）协调大语言模型（LLM）进行环境感知与工具调用，这一复杂过程涵盖了多个关键组件：大语言模型（LLM）、场景库（Scenes）、思维链（Chains）、工具库（Tools）、原始内容库（Contents）、向量内容库（Contents_Vector）、会话库（Records）、向量会话库（Records_Vector）。

1.组件间的协同与分工

LLM代表任一款大语言模型（如ChatGPT、文心一言、ChatGLM等），负责深度理解和生成自然语言文本；Agent是系统的智能会话控制中枢，在会话过程中负责调用LLM与用户进行交互，必要时进行工具调用，并将结果返回给LLM参考和使用；Tools是提供给LLM的各种工具，主要负责本地向量化嵌入数据的存储与检索；Scenes指具体会话场景，LLM能够从Scenes中感知会话信息并与Agent进行协调处理；Contents是对话内容原始文本资料（如关于购物的一段完整对话文本）；Contents_Vector是原始文本资料的片段拆分及其向量化嵌入表示，方便Agent进行语义检索；Records是在具体场景中记录的各角色的会话信息（由AI从会话音频中解析出的文字）；Records_Vector是会话文本信息的向量化嵌入表示；Chains指Agent多次与LLM进行交互产生的任务链，包括系统运行过程中LLM与Agent自动生成的任务链，也包含系统预先设定的任务链。例如，根据当前的会话进程与内容，Agent可以有针对性地多次调用LLM来评估用户的历史会话和系统内容库，从而提升生成内容的匹配度。

2.关于场景和角色的说明

场景是会话的虚拟空间，场景={主题，场景说明，场景模型，会话内容，是否固定会话内容，是否固定角色数，角色数量，最大真人角色数量，AI角色数量}。对于角色数量，如果会话内容固定，角色数量也即固定，会话时各个角色依次进行对话；若会话内容不固定，则需要规定AI角色数量，真人角色数量不限；在会话过程中，如果场景中真人角色不足，则缺失角色由AI角色自动补充。

3.AI角色会话内容生成策略

在涉及AI角色扮演的会话场景中，本文采用以下策略生成会话内容：AI智能体根据当前会话的上下文内容，运用检索增强生成（RAG）技术，从系统已有会话内容库中检索相关信息。若检索到的内容与当前会话情境匹配度达到预设的阈值，AI智能体将直接采用这些内容进行回应；否则，AI智能体将检索到的内容及匹配度、当前会话上下文传给大语言模型，由大语言模型基于上述信息进行深入理解，辅以网络搜索工具，自动创作出符合语境的对话内容。

在整个对话内容生成过程中，AI智能体、大语言模型和网络搜索工具三者紧密协作，充分利用系统自有会话内容、网络上的丰富信息以及AI本身所掌握的广泛知识进行内容生成。这种设计旨在实现精准内容与通识知识之间的互补，既避免内容过度泛化，又能确保会话可持续进行，从而让AI角色与学习者之间的交流更加自然、顺畅，仿佛两位真实的学习者在进行互动。

4.AI智能体的多元化协同工作

在系统运行过程中，除会话内容生成外，AI智能体还需在其他各方面与大语言模型紧密协作，以确保系统稳定高效运行。

（1）AI角色自动生成

在涉及AI角色的会话中，AI智能体会依据场景需求，动态生成适量的AI角色，与学习者一起参与会话，丰富交互体验。

（2）角色形象智能匹配

根据当前场景的主题、内容描述以及预设的会话内容，AI智能体会调用大语言模型进行语义匹配，并从系统3D角色模型库中自动为各个角色分配模型。

（3）语音识别与生成

在场景会话中，AI智能体需要调用大语言模型和工具进行语音识别并对识别出的文本进行向量化嵌入与存储。在有AI角色参与的会话中，还需要根据智能生成的对话文本，调用文本转语音工具生成音频（需要根据角色选用合适的音色）。

（4）会话活动的组织

AI智能体会结合当前场景、学习者的参与情况、历史会话信息和角色基本信息，适当地组织会话的开场，介绍背景、穿插旁白，以营造活跃的氛围。

（5）确保会话的持续性

在会话进行过程中，AI智能体会在突发事件时发挥组织与协调作用。例如，当某个学习者中途退出场景时，AI智能体会立即生成替代的AI角色，确保会话能够不间断地进行。

（6）场景的无缝切换

随着会话的深入，可能需要转换到不同的场景。AI智能体会根据当前场景和会话上下文，自动从系统中选择并切换到新的场景，使会话更加自然流畅。

小学英语会话场景构建依据与策略

1.场景构建依据

在设计小学英语学科会话场景时，要遵循《义务教育英语课程标准（2022年版）》（以下简称“英语课标”）的指导原则及小学英语核心素养要求，确保场景的实用性和教育性。首先，依据标准中提出的“以学生为中心”的教学理念，践行学思结合、用创为本的英语学习活动观，以主题为引领选择和组织课程内容，设计与学生日常生活紧密相关的会话场景，以激发学生的学习兴趣和积极性。其次，注重场景的交际性和实践性，通过模拟真实场景中的对话，培养学生的语言运用能力和跨文化交际能力。最后，遵循循序渐进的原则，按照课标规定的小学英语分级体系，从简单的日常会话开始，逐步过渡到涉及更多复杂语法结构和词汇的会话场景，以确保学生能够在逐步提高的过程中建立自信，掌握扎实的英语基础知识。同时，场景构建坚持开放性原则，用户可以进行个性化场景构建。

2.场景构建策略

在围绕小学英语课标构建学习场景时，既要考虑场景的内容承载性，又要兼顾场景之间内容的关联性，以便于大语言模型能够精准地捕捉场景的核心要素，并顺畅地在不同场景间进行无缝切换。依据小学英语课标的具体内容与其内在的逻辑关联，除了上文中明确界定的场景内容等属性外，还应为每个场景设定相应的元数据集合，这些元数据是小学英语课标中涉及的各个元知识点。例如，在购物场景中，元数据集合可以包括颜色、种类、大小、尺码、价格、喜欢与否、打招呼方式以及告别语等；而在自我介绍场景中，元数据集合则应涵盖高矮、胖瘦、具体身高、具体体重、性别、饮食喜好、体育爱好、五官特征描述、喜欢的颜色、头发长短等。通过场景和元数据集形成的场景知识关联矩阵，将极大地提升大模型在会话中的智能调度能力，让AI驱动下的会话活动更加自然。

风险与应对策略

本系统的潜在风险主要是AI内容生成。尽管本文设计的AI角色对话内容生成策略在平衡精准内容与通识知识方面进行了兼顾，但也必须正视其中存在的一些不容忽视的风险与挑战。

首先，在调用具体大语言模型时，生成内容的可控性是一大挑战。这可能导致在某些敏感或关键对话中，AI智能体的回应可能引发不必要的争议或误解。因此，需要根据实际情况持续调整和优化智能策略，以确保对话的相关性和适宜性。

其次，随着大语言模型的持续进化，其思维和价值观也会随之变迁，这无疑会对生成内容的方向产生持续而深远的影响。为应对这一挑战，需要时刻关注对话内容，并在必要时调整智能体策略以适应大模型的更新。更进一步，可以考虑引入一个辅助智能体，采用不同的大语言模型，独立承担内容相关性与适宜性的审查工作和纠偏工作，与本文所述的智能体协同作业，共同提升对话的准确性和适宜性。

最后，需要警惕用户故意误导行为可能对系统造成的负面影响。这种误导可能使大模型产生认知偏差和幻觉，甚至被用户同化，偏离小学英语情境化学习系统的设计初衷。为此，可考虑在智能体中引入误导监督机制，并在必要时进行干预与叫停，以确保系统良性运行，为用户提供高质量的学习体验。

结语

本文基于WebXR和AI智能体，设计了一款智能沉浸式小学英语情境化学习系统，所述方案均具备技术可行性，能够为系统实际开发提供具体可行的指导与遵循。伴随AI技术的飞速发展，本系统也将在多方面进行持续优化，如在技术更加成熟时，可以根据场景主题和对话内容，自动生成3D场景和3D角色，从而为学习者带来更加丰富的沉浸式学习体验。

参考文献：

中华人民共和国教育部.义务教育英语课程标准（2022年版）[S].北京：北京师范大学出版社，2022.

本文系吉林省教育厅“十三五”社会科学项目资助课题“VR/AR技术赋能教育出版应用模式研究及支撑平台构建”（课题编号：JJKH20200201SK）研究成果。