XEduLLM:让大模型进入中小学信息科技课
2024-08-08谢作如邱奕盛
摘要:生成式人工智能的迅速崛起备受教育的关注,信息科技教师希望在课堂中应用大模型,让学生熟悉提示词,但受限于条件而难以实现。本文分析了在课堂上使用大模型的不同解决方案,并重点介绍使用开源Python库XEduLLM,让教师搭建一个大模型服务,这样不仅能够让学生在课堂上研究大模型的提示词,还能够让学生随时随地借助大模型自主学习。
关键词:大模型;GenAI;XEdu
中图分类号:G434 文献标识码:A 论文编号:1674-2117(2024)15-0089-03
自OpenAI推出ChatGPT以来,生成式人工智能迅速崛起,展现出令人瞩目的巨大潜力。很多教师都很想为学生上一节关于大语言模型和提示词(Prompt)的课程,让他们真实了解当前人工智能的发展现状,并借助大模型自主学习。可惜因网络监管的要求,任何大模型的使用都需要实名认证,而大部分中小学不允许学生带手机,很难做到在课堂上正常登录国内各种大模型服务,因而无法通过不同提示词研究大模型。
在课堂上使用大模型的不同解决方案
2023年,笔者曾为学生上过一节与ChatGPT相关的课,其过程是将自己和ChatGPT的对话过程全部导出。现在,国内各大AI企业相继发布了大模型,其功能都可圈可点,已经具备了国产大模型走进中小学课堂的基本条件。为了能开展大模型的教学,教师们可谓使出浑身解数,笔者将他们的操作简要概括为三种方式。
方式1:批量注册大模型的测试账号
为上课的学生每人提供一个测试账号,这看起来有点笨,其实是一种可行的方法。一般来说,一个班级数十人,几位教师找一个支持邮箱注册的网络服务同时申请,也能很快完成。之前执教电子邮件之类的内容,有些教师就用这样的方式解决实名认证的问题。
方式2:在局域网搭建本地大模型服务
有些经费充足的学校会直接购买一台AI一体机(指非集群工作的单台服务器),内置了大模型的相关服务。有一定技术能力且拥有高性能工作站的教师,往往也会采用自主搭建大模型服务的方式。因为随着技术的快速迭代,已经出现了多种在本地搭建大模型服务的工具,技术难度并不高。例如,Ollama是一个开源的大型语言模型服务工具,通过简单的安装指令,它可以让用户执行一条命令就在本地运行开源大型语言模型。但是这种方式还需要教师自主开发一个Web服务。
方式3:利用API开发网络中转服务
在ChatGPT刚刚出来的时候,有很多企业开发了提供中转服务的App或者网络应用,可是使用这些App依然需要实名认证,同样无法解决课堂教学的问题。有能力的教师会借助AI企业提供的API服务,自主开发一个网络中转服务。这里的“网络中转服务”指教师自己开发一个网页,利用Flask、FastAPI,结合Requests库,做一个类似网关的服务。
这三种方式的比较分析如右表所示。相对来说,利用大模型企业提供的API服务,用网络中转方式让多人共享是一种值得推荐的方案。
XEduLLM的功能简介和基础应用
XEduLLM是XEdu系列工具之一,为开发者提供了简便统一的方式来与大语言模型进行交互和微调,旨在帮助信息科技教师开展以大模型为内容的教学。XEduLLM的出现让开发者可以便捷地在自己的应用程序中加入大模型对话的功能,特别是在教学场景中教师可以利用XEduLLM提供一个API网络中转服务。
1.启动大模型网络中转服务的基本步骤
(1)获取API密钥
国内外知名的大语言模型基本上都提供了API服务,这里以“智谱清言GLM”为例,访问其官网(open.bigmodel.cn)进行注册登录,随后点击右上角的“API密钥”,再点击“添加新的API key”,获取到的就是每个人独一无二的API密钥,将在应用调用API服务时进行身份鉴别和计费。
(2)安装XEduLLM
作为一个开源Python库,XEduLLM可以使用Python包管理的方式进行安装,命令为“pip install xedu-python”,安装成功后会出现“Successfully installed xedu-python”的字样。
(3)启动大模型网络中转服务
下面提供了一段服务模板代码,只需要将其中的api_key的值替换为刚才获取到的API密钥,即可启动服务并使用。各家平台的模型效果和费率稍有不同,教师可以根据需要尝试并选择。
上页图1中的代码在运行后,输出了三个网址,在本机上打开任一网址都能够体验到通过大模型网络中转服务搭建的网页对话功能,效果如上页图2所示。
2.XEduLLM在课堂教学中的使用
(1)体验大模型对话
在课堂教学中,学生可以通过局域网访问的方式来进行体验。假设前面的程序运行在教师机上,并且学生机与教师机在同一个局域网内,学生就可以通过前面输出的三个网址中的第一个网址访问该服务,进行在线体验。整个过程学生无需注册登录,不同网页之间的聊天记录相互独立,互不干扰。
(2)体验大模型开发
如果学生想要基于大模型开发相应的AI应用,也无需注册登录,可以直接使用Python代码将对话内容发送给该网址,即可获得对话结果,教师也不需要担心自己的密钥泄露造成财产损失。代码示例如图3所示。
当然,上述功能的实现都要求在学生体验的过程中,教师机始终保持网络中转服务开启,且账号内费用足够。如果学生想要回家继续体验,则可以参照前面的方法自行注册并获取API密钥进行体验。
XEduLLM在教学中的应用展望
1.为学生配置借助XEduLLM开发的智能体
信息科技教师可能不满足于基础的大模型对话能力,希望能够让大模型成为课堂的得力助手。例如,在上“算法”有关的课程时,可以为学生提供一个专门回答算法编程问题的智能体,参考代码如图4所示。
2.学生自主开发基于XEduLLM的智能体
学生可以借助教师提供的网址进行智能体的开发,使用“set_system(prompt)”来设置属于自己的提示词,并且开启个人网页进行调试,通过不断完善提示词的方式,让智能体逐渐符合自己的需求。调试完成后也可以通过分享网址的形式,让大家一起测试。
结语
尽管各平台的模型仍在不断改进和上新,但借助XEduLLM能够让这些模型尽早进入信息科技的课堂,让学生体验到最新的大语言模型的魅力,甚至是让学生能够在大模型基础上加以开发和应用,这将更好地帮助他们顺应时代的潮流,引领未来。