人工智能时代数字化学习工具评价模型的建构与应用建议
2021-08-14赵慧臣张雨欣李皖豫李月盂丽娜
赵慧臣 张雨欣 李皖豫 李月 盂丽娜
摘要:人工智能不仅加快数字化学习工具的发展,而且支持数字化学习工具的教育应用。人工智能时代的数字化学习工具由多媒体时代的知识表征多元和网络时代的内容生产、个体学习拓展到大规模学习和社会化协同。其研究应该在多媒体时代和网络时代的数字化学习工具评价研究基础上,进一步凸显人工智能时代学习工具的特色。该文参考美国数字化学习工具评价标准,构建了人工智能时代数字化学习工具评价的层次模型和互动模型,分别从技术支持、功能保障、教育应用三个层次,技术性、可访问性、移动设计、功能性、数据安全、社会临场感、教学临场感、认知临场感八个维度建构数字化学习工具评价模型;并在数字化学习工具评价关系矩阵的基础上,探讨数字化学习工具评价模型在学校、教育管理机构、信息化企业中的应用策略。
关键词:人工智能;数字化学习工具;评价模型;评价指标
中图分类号:G434
文献标识码:A
新一轮人工智能技术的发展呈现出数据规模增加、计算能力增强和行业应用能力提升等显著特征[1]。人工智能极大地改变着教育生态,有助于变革教育模式与教育形式、为学生提供个性化服务、为教师提供精准化教学、为学校提供科学化管理[2]。在人工智能技术支持下,数字化学习工具在提高学习效率、改善学习效果方面发挥着重要作用。然而,人工智能时代数字化学习工具“分类不明确”“缺乏规范的建设标准”“信息安全存疑”等问题不断出现,造成了师生在选择和使用时的被动局面。在学习工具趋向智能化的背景下,如何评价种类繁多的数字化学习工具,如何利用评价更好地推动人工智能时代的数字化学习,成为需要探讨的问题。
一、人工智能时代数字化学习工具评价研究的反思
人工智能时代的数字化学习工具评价研究应该在多媒体时代和网络时代的数字化学习工具评价研究基础上,进一步凸显人工智能时代学习工具的特色。梳理数字化学习工具及其评价研究,总结已有的研究进展,反思存在的问题和局限,可以为人工智能时代的数字化学习工具评价研究提供参考。
(一)人工智能时代数字化学习工具的研究
在基本功能方面,数字化学习工具具备获取信息化、开放化、网络化和高效率等特点。学习工具整体有向开放化、免费化、网络化、社会化、面向学习对象的粒度微型化等发展的趋势[3]。在网络环境下数字化学习工具的发展趋势是高效率、易使用、低成本、交互强和开放源代码及二次开发[4]。
在教学应用方面,数字化学习工具主要用于支持信息化教学乃至智能教育。例如,刘建军结合实际口译教学介绍BlackBox学习软件的特点、功能及其在口译自主学习中的应用[5];顾连忠等介绍了概念图评估和学习工具COMPASS的结构体系,分析了利用COMPASS概念图开展学习诊断的情况[6]。刘艳艳等提出采用自然语言处理、情感分析技术等智能课堂助手与学生自然语言交互的课堂教学架构,并实现课堂教学具体应用[7]。
在设计开发方面,融合新的教学理念和新兴技术的数字化学习工具设计与开发愈发成熟。例如,冯锐等利用基于案例的推理(CBR)的教学建议,设计、开发了促进学生深度学习的CBR经验学习工具[8];潘征宇等分析了智慧教育中开展个性化学习所需要的学习环境和支撑工具,并对个性化学习工具进行设计及应用研究[9];鲍贤清等开展了场馆环境中介性学习工具的设计与开发[10],面向个体的学习需求,以新颖的思路设计数字化学习工具的功能,成为人工智能时代数字化学习工具发展的方向。
面向多媒体、网络和人工智能等不同时代的数字化学习工具发展历程,我们可以从学习资源、交互方式、学习空间、应用场景四个方面来阐释数字化学习工具的特点,如表1所示。首先,在学习资源方面,多媒体时代的学习工具主要关注单向的、适量的数字化学习资源;网络时代的学习工具重点关注超媒体性和海量的学习资源;人工智能时代的学习工具关注学习资源的生成性、交互性、动态性,支持人机协同学习和工作。其次,在交互方式上,多媒体时代的学习工具以图形界面为主,网络时代的学习工具以多点触控为主,人工智能时代学习工具的交互则包括体感交互、脑机接口、多模态交互等。再次,在学习空间的要求上,多媒体时代的学习工具通常在封闭的物理空间下支持教学活动,网络时代的学习工具则进一步拓展到虚拟空间,人工智能时代的学习工具能够适配虚实融合的无边界学习空间。最后,在应用场景方面,人工智能时代的学习工具由多媒体时代的知识表征多元和网络时代的内容生产、个体学习拓展到大规模学习和社会化协同。
(二)人工智能时代数字化学习工具评价的研究
数字化学习工具评价研究主要集中在评价框架和指标体系两方面。在评价框架方面,孙洪涛等从技术选择、教学应用和能动性等视角,提出了包括操作可用、联结构建、信息获取、内容加工、交流协作等5个维度的远程学习工具分析框架[11]。在評价指标体系方面,杜华等从界面、技术、内容、功能、学生体验五个层面设计了移动学习工具的指标体系,并据此对场馆APP进行了评测[12];钱东明等将学习工具评价标准分为可用性、友好度、实用性、趣味性、可扩展性五个主要维度[13]。
随着人工智能时代的到来,人机关系进入新阶段,数字化学习工具的评价也随之变迁,如图1所示。多媒体时代的数字化学习工具的评价侧重于从人机交互的角度评价学习工具的主要性能。网络时代的数字化工具评价更多从人机共生关系的角度来评价学习工具的网络互动特征。人工智能时代的数字化学习工具的评价则关注通过智能交互方式实现智能化内容的形成和学习质量的提高,以最大程度上发挥人机协同的效益。
(三)人工智能时代数字化学习工具评价模型的反思
随着以人工智能技术为代表的新兴技术不断发展,人工智能技术不断应用于数字化学习工具中,形成人工智能时代的数字化学习工具评价模型就显得尤为必要。一方面,人工智能时代的数字化学习工具需要更高的评价标准,来判断数字化学习工具是否与人工智能发展一致、能否实现智能化的交互活动、是否有助于群体知识建构、师生间是否可以人机协同等。另一方面,人工智能时代数字化学习工具评价模型能够指导师生选择高质量的数字化学习工具,为数字化学习工具的设计与开发给予指导,为数字化学习工具的性能改进提供参考。
二、人工智能时代数字化学习工具评价模型的建构
美国西北大学(Western University)教学中心(Centre for Teaching and Learning)的两位教授(LaurenM.Anstey&CJavan P.L.Watson)面向教师和员工开发了数字化学习工具评价标准(Rubric for e-LearningTool Evaluation),可以作为评价数字化学习工具的参考框架[14]。该标准支持对数字化学习工具的功能、技术和教学方面的多维评价。本文参考该评估标准的评价维度,结合人工智能时代数字化学习工具评价特点,构建人工智能时代数字化学习工具的评价模型。
(一)数字化学习工具评价标准的反思
数字化学习工具评价标准提出了技术性、可访问性、移动设计、功能性、数据安全、社会临场感、教学临场感和认知临场感等8个维度。(1)功能性(Functionality)指数字化学习工具支持学生学习的功能服务。(2)可访问性(Accessibility)指数字化学习工具能否支持任何人使用。(3)技术性(Technical)指数字化学习工具的技术易用程度。(4)移动设计(Mobile Design)指数字化学习工具能够在移动设备上使用,并发挥应有功能。(5)隐私数据的维护和权限(Privacy Data Protection and Rights)指数字化学习工具的数据安全防护性能和对个人隐私的保护程度。(6)社会临场感(Social Presence)指数字化学习工具帮助学生创设交互的环境,支持学生开展协作学习、交互式教学的情况。(7)教学临场感(TeachingPresence)指数字化学习工具支持学生教学过程的形成,以实现学习行为的个性化分析、干预与管理。(8)认知临场感(Cognitive Presence)指数字化学习工具支持学生高阶思维的训练与养成。
尽管该数字化学习工具评价标准提出了具体的评价维度和评价指标,但并未对各项指标重新归类解读,应用中难免会出现指向不明等问题。因此.如何在已有数字化学习工具评价标准的基础上,形成更为科学合理的数字化工具评价模型,成为需要解决的问题。
(二)人工智能时代数字化学习工具评价的层次模型
本文以“戴尔经验之塔”为参考,从技术支持、功能保障和教育应用三个层面对数字化学习工具评价维度进行分类,形成由下至上抽象程度越来越高的数字化学习工具评价层次模型,如图2所示。首先,技术支持层作为数字化学习工具评价模型中的基础层,涵盖了系统性能、可访问性和移动设计三个维度,为功能保障层和教学应用层提供支持。其次,功能保障层作为数字化学习工具评价模型的中间层,包含用户体验和数据安全两个维度,体现了数字化学习工具给师生提供的基础功能和支持服务。最后,教育应用层作为数字化学习工具评价模型的核心层,涵盖了社会临场感、教学临场感和认知临场感三个维度,是学习工具发挥教学功能的最重要的因素。
(三)人工智能时代数字化学习工具评价的互动模型
数字化学习工具评价的层次模型中评价要素间存在一定关系。其中,技术支持层、功能保障层支撑教育应用层中教育临场感的实现,同时教育应用层影响技术支持层和功能保障的设计优化。因此,数字化学习工具评价的三个层面既相对独立,又相互作用,形成了数字化学习工具评价的互动模型,
首先,技术支持层作为数字化学习工具的功能保障层和教育应用层的支撑。技术支持层通过系统性能、可访问性的实现以及移动设计来支持功能保障层,也在一定程度上影响教育应用层。系统性能解决了功能保障层必备的技术要求;可访问性支持不同能力、不同硬件基础配置条件下学生使用学习工具;移动设计解决了学习工具在移动设备上的运行问题,更好地保证学习工具在移动学习环境中发挥作用。
其次,功能保障层衔接数字化学习工具的技术支持层和教育应用层。其中,用户体验保证了形成社会临场感、教学临场感和认知临场感必备的资源、支持和服务,数据安全则帮助学生形成对学习工具的信任感,为应用学习工具支持有效学习提供了更大可能。
最后,教育应用层引领数字化学习工具的功能保障层和技术支持层的优化。教育应用层中的社会临场感、教学临场感、认知临场感的实现有赖于技术支持层和功能保障层的支持,同样也反过来从教育教学的角度指导技术支持层的不断优化和持续改进。
三、人工智能时代数字化学习工具评价模型的指标设计
数字化学习工具评价模型由不同层次和維度组成,不同评价维度又可以细分为不同的指标。鉴于数字化学习工具评价的可操作性,从技术支持、功能保障、教育应用三个层面对评价指标和效果适用程度进行具体阐述,有助于促进数字化学习工具评价的良好开展。
(一)技术支持层:体现数字化学习工具的基础性能
技术支持层应当保证技术可用性,并尽可能减少学生的技术负担、时间成本等,并通过移动设计满足学生泛在学习需求。评价数字化学习工具的技术支持层,应当从系统性能、可访问性和移动设计三方面展开,并按照“存在严重问题、存在较小的问题、效果好”的程度形成评价量规,如表2所示。
1.系统性能:评价数字化学习工具的底层设计
数字化学习工具的系统性能决定了功能保障层和教育应用层提供的服务类型。首先,可拓展性体现在数字化学习工具是否具备其他应用程序访问的接口、能否支持数据互通、是否允许与外部环境进行信息传递。特别是在人工智能时代,可拓展性较强的数字化学习工具打通不同应用程序的数据接口,可以支撑教学流程的全过程收集。其次,兼容性体现在数字化学习工具能否在不同版本操作系统和浏览器中运行和使用。最后,技术更新体现在数字化学习工具的更新周期以及更新效果。根据用户需求定期更新的数字化学习工具更受人工智能时代师生的喜欢。
2.可访问性:强调数字化学习工具的学生参与便捷度
可访问性较差的数字化学习工具会影响部分学生的参与。评价数字化学习工具的可访问性可以从可达性、以学生为中心的参与度、所需设备三个指标展开。首先,可达性体现在数字化学习工具能否匹配不同输入、输出方式以满足视觉、听觉、肢体、言语、认知障碍等不同类型学生的需求。其次,以学生为中心的参与度体现在数字化学习工具提供的服务能否满足学生多样化的需求。最后,需要固定物理环境和专用硬件设备的数字化学习工具限制了学生参与,甚至会把部分学生拒之门外。
3.移动设计:关注数字化学习工具的应用场景
移动终端不仅满足了学生泛在环境下的学习需求,而且极大延伸了学习的交互性。首先,学生访问体现在数字化学习工具能否支持學生使用多种类型的移动操作系统和移动设备。其次,移动设计表现在不同终端之间功能适配有无显著区别和能否实现不同学习终端上学习进程的连续性。师生更倾向于选择多终端一体化且兼容性较强的数字化学习工具。最后,离线功能要能够满足学生在没有网络环境中使用数字化学习工具的需求。
(二)功能保障层:面向数字化学习工具的教学支持
数字化学习工具的功能保障层要能提供满足学生需求的服务、技术支持和帮助,同时解决学生隐私和知识所有权的问题。功能保障层主要的评估指标为用户体验和数据安全,按照“存在严重问题、存在较小的问题、效果好”的程度来形成评价量规,如下页表3所示。
1.用户体验:体现数字化学习工具的系统功能设计
人工智能时代数字化学习工具的用户体验可以从应用规模、易用性、可用性和超媒体性四个指标来进行评价,首先,应用规模体现在数字化学习工具是否可以灵活扩展,以及能否灵活地创建学习小组和实践共同体。其次,易用性体现在数字化学习工具能否面向学生群体的心理特征和认知特点,提供人机友好的交互设计、美观的页面设计和简单的操作逻辑。其次,可用性较强的数字化学习工具支持语音识别、手势识别、眼动追踪等类型的用户界面,提高沉浸感的同时使人机交互形式更多元、自然。最后,超媒体性体现在数字化学习工具能否支持学生按照学习需要不断重组教学序列,以多种维度表征知识、揭示知识的关联关系;是否支持学生自主选择学习资源和学习路径,并反思和重构知识内容的结构、关系。
2.数据安全:评价数字化学习工具的数据防护与管理服务
人工智能时代数字化学习工具在隐私方面的评价主要考虑数据的维护和权限,体现在登录/注册、数据安全、数据管理等方面。首先,登录/注册个人信息时的隐私保护情况、机构审核、第三方团体收集等方面可能存在问题,进而给学生带来个人信息泄露的隐患。其次,数据安全体现在学生在使用学习工具过程中产生数据的知识产权、资料所有权和版权的保留情况。最后,数字化学习工具能否提供便捷的数据管理服务,以帮助学校、教师、学生和家长掌握教学情况,也是其数据安全评价的重要方面。
(三)教育应用层:聚焦数字化学习工具的育人效果
评价数字化学习工具的教育应用层不仅要判断能否有效支持学生展开有意义的学习活动,也要判断支持学生展开高阶思维活动的情况。教育应用层的评价主要从社会临场感、教学临场感和认知临场感三个维度,按照“存在严重问题、存在较小的问题、效果好”的程度来形成评价量规,如表4所示。
1.社会临场感:面向学习工具支持师生交互情况
社会临场感指数字化学习工具支持学生人际交互时创设多元学习情境,来提高学生的学习体验。人工智能时代的数字化学习环境正在由个体学习向协作学习转换,应该针对协作技术、学习问责和传播程度的标准进行评价。首先,面向协作技术的评价主要体现为数字化学习工具是否支持同步异步的社交互动、可用的知识表征形式以及能否支持大规模社会化协同学习。社会临场感可提供基于学习行为及学生活动的同步或异步的社交互动,并支持大规模社会化协同。其次,学习问责方面的评价体现在数字化学习工具支持教师对学生匿名情况的掌握程度,和能否为学生学习行为负责提供解决方案。最后,社会传播程度评价主要体现为学生对数字化学习工具是否熟悉及熟悉程度、是否有使用基本功能的能力等。学生更偏向于使用有一定了解、有部分操作基础的数字化学习工具。
2.教学临场感:体现学习工具对教学行为的支持作用
教学临场感指数字化学习工具给师生带来的教学体验,可以从师生交互、用户定制和学情分析三方面进行评价。首先,师生交互体现为数字化学习工具能否支持师生有效建立和维护对话,并通过管理、监控、参与和反馈来提高师生交流。其次,用户定制体现为数字化学习工具对学生情况的适应性、能否定制以及定制的难易度。良好的数字化学习工具能适应学习环境并支持白适应推荐与个性化定制,既能支持自主学习、协作学习等多种学习模式,也能支持混合式教学等多种教学模式。最后,学情分析表现在数字化学习工具在数据收集类型、呈现形式、反馈时间等方面的情况。人工智能时代数字化学习工具应能充分收集教师、学生、家长在教学过程中的多模态数据,并以自动化的方式提供可视化的学习分析,帮助教师和家长发现学生学习的隐性问题,进而选择和调整教学策略。
3.认知临场感:面向学习工具支持学生深度学习的情况
认知临场感体现学习工具支持学生深度学习的情况,可以从认知任务强化、高阶思维和元认知参与三个指标进行评价。首先,评价认知任务的强化体现为数字化学习工具能否通过有效的方式提供易于学习的框架和辅助性帮助。其次,高阶思维体现在数字化学习工具能否有效支持智能诊断与预测,形成有效的支架或者提供优质的资源,以帮助学生开展高级思维活动。最后,元认知参与的评价体现在数字化学习工具能否为学生定期或周期性地提供反馈、以及反馈是否形式化。较好的数字化学习工具提供在线学习过程的实时反馈、学习活动的自动记录、自评工具、反思工具等,支持学生自主优化学习行为,辅助学生提高自我监控水平。
四、人工智能时代数字化学习工具评价模型的应用建议
根据人工智能时代数字化学习工具的评价模型,我们可以建立数字化学习工具评价核心要素和关键维度之间的关系矩阵,如表5所示。其中,“+”代表着核心要素与关键维度之间的强相关性, “一”代表核心要素与关键维度之间的弱相关性。该矩阵可以为学校选择应用数字化学习工具和教育管理机构规划数字化学习工具发展提供依据,为企业设计开发数字化学习工具提供参考。
首先,科学选择数字化学习工具,支持智能化教学设计。学校应根据人工智能时代师生教学活动对学习工具的需求,选择支持教学个性化、学习自主化、管理自动化的数字化学习工具。
其次,结合智慧校园建设基础和规划,选择相适应性的数字化学习工具,以实現人工智能时代多模态数据的收集整合和师生一站式服务;对教师进行智能化教学设计培训,打造面向智能教育的专业化教学设计团队,以实现数字化学习工具高效应用于教学实践。
最后,关注学生数据安全问题,考虑智能环境下多模态数据的知识产权问题。当涉及到隐私信息和知识产权问题时,学校要统一处理师生相关信息的导人、导出以及存档,建立完善的教务管理系统,确保师生教学活动安全有序进行。
(二)作为教育管理机构制定数字化工具相关行业政策的决策依据
一方面,制定数据安全防护的政策法规,确保学习工具在教育中的有序应用。加快出台人工智能教育应用的法规制度建设,解决人工智能背景下的数据安全问题;建立线上线下相结合的网络安全培训机制,着力防范化解网络安全的重大风险;建立市区校教师在线实践共同体,联合打造智能化的在线学习空间,构建市区校协同的应用生态系统[15]。
另一方面,加强相关高校与教育信息化企业合作,建立智能时代数字化学习工具的应用标准。教育管理机构结合人工智能时代的技术要求和潜在的风险,尽快完善相关的教育法律法规;制定管理标准和应用指南,将评价指标纳入数字化学习工具的标准体系;引导人工智能时代数字化学习工具的有效应用,促进数字化学习工具在教学中发挥更大作用。
(三)作为企业开发与设计数字化学习工具的技术参考
一方面,开发兼具“技术性、功能性、教育性”的数字化学习工具,满足智能时代师生的教学需求。信息化企业应当着眼于未来教育的发展需求,结合人工智能时代的技术发展,从教育教学视角设计数字化学习工具的体系架构;应用大数据、人工智能、学习分析等技术开发能够支持精准教学的数字化学习工具;完善数字化学习工具的育人功能,尽量减小数字化学习工具的使用成本;升级数据安全防护技术,保证师生个人信息安全;持续增加学生对学习工具的认可度,扩大数字化学习工具的使用范围。
另一方面,推动教育信息化产学研深度融合,共创精品智能化学习工具。信息化企业应寻求与教育科研机构、教育领域相关专家、一线教师等多方合作,融合人工智能领域前沿技术,探索导师系统、评分系统、学习预测与分析技术等智能教育新样态,研发有效支撑人机协同的数字化学习工具,探索人工智能时代数字化学习工具的应用模式、方法与策略。
参考文献:
[1]刘德建,杜静等.人工智能融入学校教育的发展趋势[J].开放教育研究,2018,(4):33-42
[2]宋灵青,许林.人工智能教育应用的逻辑起点与边界——以知识学习为例[J].中国电化教育,2019,(6):14-20.
[3]钱冬明,郭玮等.从学习工具的发展及应用看e-Learning的发展——基于Topl00学习工具近五年的排名数据[J].中国电化教育,2012,(5):135-139.
[4]张力.数字化学习T具的发展对信息化教学的作用分析[J]电化教育研究,2008.(9):27-30.
[5]刘建军.计算机辅助学习工具BLuk Box在口译自主学习中的应用[J].现代教育技术,2011,(4):102-106.
[6]顾连忠,刘建军等.一种适于Web的概念图评估和学习工具[J]电化教育研究,2010,(10):61-64.
[7]刘艳艳,黄双根等.智能课堂助手:人工智能背景下的教学工具[J]软件导刊,2019.(9):217-220+224.
[8]冯锐,董利亚等.运用CBR原理设计经验学习工具的研究[J]电化教育研究,2011.(11):46-52.
[9]潘征宁,钟绍春等.个性化学习工具设计及应用研究[J].中国电化教育,2015,(6):86-91.
[10]鲍贤清,毛文瑜等.场馆环境中介性学习T具的设计与开发——以上海科技馆学习单设计研究为例[J].中国电化教育,2011.(10):40-47.
[11]孙洪涛,陈丽等远程学习工具交互性研究[中国远程教育,2017,(4):33-41.
[12]杜华,杨晓宏.移动学习工具评价指标体系研究——以场馆APP评价为例[J].中国远程教育,2018,( 8):63-69.
[13]钱冬明,罗安妮等.数字化学习工具标准研究与框架设计[Jl.电化教育研究,2019,(2):62-67.
[14] Lauren M.Anstey.Gavan P.L.Watson..Ruhric for eLearning ToolEvaluation [EB/OL].https://teaching.uwo.ca/pdf/elearning/Rubric-for-eLearning-TooI-Evaluation.pdf, 2020-03 -20.
[15]张惠敏,梁为等.面向未来的新型教育教学组织体系构建与实施路径研究——深圳市长周期“停课不停学”实践反思[J].中国电化教育,2020,(8):33-40.
作者简介:
赵慧臣:教授,博士生导师,系主任,研究方向教育信息化、STEM教育与创客教育。
张雨欣:在读硕士,研究方向为信息化教学设计。
李皖豫:在读硕士,研究方向为信息化教学设计。
*本文系国家社会科学基金教育学国家一般课题“面向STEM教育的教师教学能力的评价与提升研究”(课题编号:BCA180089)阶段性研究成果。
The Construction and Application of Evaluation Model of Digital Learning Tools in the Era
of Artificial Intelligence
Zhao Huichenl.2, Zhang Yuxinl, Li Wanyul, Li Yue1, Meng Linal
(1.Education College, Henan University, Kaifeng 475004, Henan; 2.The Research Center of Education Informatizatio
Development of Henan Province, Kaifeng 475004, Henan)
Abstract: Artificial Intelligence not only supports the development of digital learning tools, but also accelerates the educationalapplication of digital learning tools. The leaming tools in the artificial intelligence era have expanded from the multiple representationsof knowledge in the multimedia era and content production and individual learning in the Internet era to large-scale leaming andsocial collaboration. Its research should further highlight the characteristics of leaming tools in the age of artificial intelligence basedon the evaluation of digital chemical tools in the multimedia age and the Intemet age. This paper constructs a hierarchical model andinteractive model for the evaluation of digital leaming tools in the era of artificial intelligence based on the evaluation standards ofdigital leaming tools in the United States, which concludes the three levels: technical support, functional guarantee, and educationalapplication, and eight dimensions: technical. accessibility, mobile design, functionality, data security, social presence, teachingpresence, and cognitive presence, and discusses the application strategies of the evaluation model of digital leaming tools in schools,education management institutions, and information enterprises on the basis of the evaluation relationship matrix of digital leamingtools.
Kevwords: Artificial Intelligence; digital learning tools; evaluation model; evaluation index
收稿日期 : 2021年3月8日
責任编辑:李雅瑄