国际汉语数字教学资源评价研究

2021-11-25陆方喆

华中学术 2021年2期

陆方喆

(华中师范大学文学院，湖北武汉，430070)

随着5G时代的来临，国际汉语教学的数字化、网络化已然成为不可逆转的趋势，本次新冠疫情暴发则进一步加速了这一过程。作为数字化学习的重要基础和支撑条件，数字教学资源的建设与评价也日益重要。国际汉语数字教学资源主要指促进与支持国际汉语教与学活动的，可以在计算机或其他移动设备运行使用的教学材料，包括数字教材、多媒体素材、语料库(资源库)、试题试卷、教育教学网站、教学软件、文献资料、教学工具等八大类。目前，国际汉语数字教学资源建设取得了丰硕的成果，汉语数字教材加快推出，汉语语料库(资源库)类型多样，汉语教学网站数量繁多，汉语教学软件层出不穷，但是针对不同类型的国际汉语数字资源评价标准却少之又少。没有科学、可靠的评价指标就无法对教学资源进行诊断、导向和激励，不利于国际汉语数字教学资源建设的良性、健康发展。基于此，本文主要探讨以下四个问题：

(1)国际汉语数字教学资源评价的含义是什么？

(2)国际汉语数字教学资源评价的类型有哪些？

(3)国际汉语数字教学资源评价的原则与方法是什么？

(4)有哪些常见的国际汉语数字教学资源评价指标体系？

一、国际汉语数字教学资源评价的含义

国际汉语数字教学资源评价属于评价范畴的一个子集，从评价到数字教学资源评价的概念关系构成一个如下的欧拉图：

图1 “评价”—“国际汉语数字教学资源评价”概念关系图

从概念层级而言，国际汉语数字教学资源评价∈教育评价∈评价，欲更精确地概括国际汉语数字教学资源评价的概念，我们需要对以上几个概念逐层进行剖析。

(一)评价

“评价”是评定价值的简称，本质上是对人、事、物属性的价值判断。冯平认为，评价是人把握客体对人的意义、价值的一种观念性活动[1]。格朗兰德则指出，评价可以用以下公式简明地表示：

评价=测量(量的记述)或非测量(质的记述)+价值判断[2]

对人、事、物进行量或质的记述属于事实判断，是对人、事、物的现状、属性与规律的客观描述，基本要求是客观性。价值判断则不同，不同的主体由于其需要不同，对同一事物可能产生不同的判断，所谓“甲之蜜糖、乙之砒霜”是也。因此价值判断并非如事实判断一样由客体单方面决定的，而是在事实描述的基础上，根据评价者的需要和愿望对客观事物作出评价。故而陈玉琨、瞿葆奎谓“评价”是在事实判断的基础上进行的价值判断的活动[3]。

(二)教育评价

教育评价是评价的一个子类，是对教育活动进行价值判断的过程。最早提出教育评价概念的是被称为“现代教育评价之父”的美国学者拉尔夫·泰勒。泰勒指出，“评价过程本质上是一个确定课程与教学计划实际达到教育目标的程度的过程。但教育目标本质上是指人的行为变化,因此,评价是一个确定行为发生实际变化的程度的过程”[4]。

从早期定义来看，教育评价主要指向学生，即对学生是否达到教育目标的评价。随着时代的发展，教育评价的对象扩大到教育的全部领域。日本学者梶田叡一认为,“教育评价是对全部与教育活动有直接或间接关系的各种实态把握和价值判断”[5]。具体而言，教育评价可进一步分为学生评价、教师评价、学校评价、教学过程评价、教学资源评价等多个方面。我国学者认为“教育评价是根据教育目标及有关标准，对教育活动进行系统的调查，以确定其价值和优缺点并据此调整有关活动”[6]。

(三)国际汉语数字教学资源评价

国际汉语数字教学资源评价是教育评价的下位概念，是专门针对汉语数字化教学材料的优劣高下进行价值判断的过程。由于数字教学资源是以数字化形态存在的，对资源的加工、传输和存储都是以二进制数的方式进行，因而与传统的纸质(实体)教学资源存在一系列差异，比如数字教学资源更具便捷性、交互性、易生成性、强赋能性等等。对数字教学资源的评价与传统的纸质(实体)教学资源评价应该有所不同。总体而言，国际汉语数字教学资源评价是一种确定、获取及提供事实性与价值性信息的过程。这些信息涉及汉语数字教学资源的目标、设计、实施及结果的价值与优缺点,以便为资源建设和筛选决策提供依据。

二、国际汉语数字教学资源评价的类型

根据评价主体和评价目的的不同，对于数字教学资源评价有多种分类方式。比如根据评价主体，可分为专家评价、用户评价、管理者评价、机器评价等。根据评价目的，可分为形成性评价和终结性评价等。

(一)根据评价主体的分类

评价主体即评价者。国际汉语数字教学资源的评价主体多样，不同的评价主体由于所处的立场和专业角度不同，所关心的侧重点也有差异。根据评价主体的身份，国际汉语数字教学资源评价可分为：

(1)专家评价，包括教育技术专家、学科专家、研发专家等。数字教学资源评价是一项专业性和跨学科性均很强的工作，需要不同领域的专家通力合作，如教育技术专家从技术性角度评价数字教学资源，学科专家从科学性角度评价，研发专家从艺术性和商业性等角度评价。专家评价就是由各方面的专家组成评价小组对教学资源的优劣作出评定。专家在业界具有较高的威望和专业知识，很大程度上能保证评价的信度和效度，因此得到广泛采用。但是专家一般不在真实环境下亲自使用所评价的教学资源，因而不一定能够全面评估教学资源的实际效果。数字教学资源是否达到汉语教学目标，是否符合师生的实际需要，是否能够激发学生的学习兴趣？要回答这些问题就需要加入用户评价。

(2)用户评价，主要指使用数字教学资源的群体，包括教师评价和学生评价。用户评价通过让教师和学生实际应用数字教学资源，调查师生对数字教学资源的体会及达到教学目标的程度如何，从而判断数字教学资源的应用价值。传统上，由于一般是教师决定用什么数字教学资源、如何使用数字教学资源以及判断数字教学资源的使用效果，并因其在经验性和权威性上的优势，教师评价往往比学生评价更受重视。但是，学生作为数字教学资源的另一个主要使用者和直接作用者，他们对于数字教学资源的评价不应该被忽视。实际上，学生评价标准与教师和专家的不一定相同，专家和教师认为重要的评价指标也未必符合学生的标准。

(3)管理者评价，主要是教育管理部门或教育资源系统管理者主导的评价活动，是一种自上而下的评价，多以推荐精品资源，评优评先，促进数字教学资源建设为目的。这类评价一般活动规模大、参评教学资源多，评选程序规范、严格，具有较强的权威性、科学性和统一性。比如2012年教育部举办的“优秀网络课程及资源征集活动”，国家汉办/孔子学院总部举办的“国际汉语教学优秀课例大赛”等。

(4)机器评价，前三类评价主体均是人类，机器评价的主体则是计算机。具体而言，机器评价是借助技术实现的客观量化评价，由计算机智能技术自动对资源的技术参数进行测试，以及对资源的引用、点击、转发、收藏等信息进行分析计算，形成直观的评价结果[7]。这是数字教学资源与传统实体教学资源相比的一个显著特点，比如对汉语教学网站的评价可以通过网站的访问量、链接数、下载量、转发量、收藏量等信息自动抓取。随着大数据、人工智能、云计算等技术的发展，人们还可以借助信息技术收集学生的学习行为数据，比如对哪些数字教学资源的学习时间较长，点击量较多都可以有一个客观量化的数据。信息技术辅助量化测评可以瞬间完成，一定程度上克服了人类评价主体的主观性和惰性，提供了一个系统、客观、自动化的评价方法。

在评价时，根据具体评价需要，评价主体可以是单独个体，也可以是多个主体的组合。

(二)根据评价目的的分类

对数字教学资源的评价是为了纠正错误，改进资源质量，还是为了甄别优劣，为资源鉴定分等，可以将评价分为形成性评价和终结性评价。这两种评价类型原来主要针对的是课堂教学中的学生，但是也可以应用于数字教学资源的评价。

1.面向数字教学资源的形成性评价

数字教学资源的形成性评价主要在数字教学资源的开发设计阶段，评价主体是资源开发者，通过诊断数字教学资源设计方案、计划、进程、阶段性成果，揭示和发现问题，并及时反馈，加以改进、调控、矫正，以达到提高数字教学资源质量的目的。比如在开发一款汉语学习App时，在开发过程中，开发人员对该App的部分模块进行测试，以发现问题，改进设计。

2.面向数字教学资源的终结性评价

数字教学资源的终结性评价主要在数字教学资源建设完成之后，对数字教学资源的有效性和价值进行较为全面的评价。为保证评价的客观性，应由资源开发者之外的人员进行，比如使用该数字教学资源的教师和学生或相关领域的专家等。终结性评价旨在对数字教学资源做出总结性的结论，用以鉴别优劣、评等定级，为各级决策人员提供参考依据，评价结果可用于数字教学资源的宣传和销售。比如一款汉语学习App开发完成后，邀请师生使用，从而评定该App的教学效果和价值，作出诸如优、良、差等终结性结论。如果说，形成性评价的主要功能是促进、改善数字教学资源的开发建设，重在通过评价进行反馈，那么终结性评价的主要功能则是评估、总结数字教学资源的教学效果和使用体验，重在给数字教学资源评定优劣。

三、国际汉语数字教学资源评价的原则与方法

(一)国际汉语数字教学资源的评价原则

评价原则是对评价体系涉及的各层面做出的总体要求，综观国内外对各类数字教学资源提出的林林总总的评价原则，我们认为国际汉语数字教学资源评价应遵循以下原则：

1.针对性原则

数字教学资源包含许多小类，比如数字教材、网络课程、教学网站、教学软件等，适用数字教材的评价标准不一定完全适用网络课程或教学网站。在进行评价时，首先就要遵循针对性原则，即明确评价的对象是什么，按照不同对象的特点和属性有针对性地设置评价指标，比如杜迎洁为对外汉语网络课程设计了五个一级评价指标，分别为：课程目标、课程内容、教学设计、界面设计和技术性能[8]。而周梅群、吴华对教育网站的评价则确立的是内容、技术、效用性及发展性四个一级指标[9]。针对性原则还指根据评价的目的、主体不同，选择有针对性的评价方法，如评价是为了改进数字教学资源的开发，则应使用形成性评价，如果是为了给数字教学资源评定等级，则需使用终结性评价。如果教师作为评价主体，其对数字教学资源的评价标准也应该与学生的标准有所不同。比如对于汉语教材的评价，教师可能看重教材是否有利于节省备课时间，是否为教师提供教学思路和教学流程，但是对于学生，上述标准则不会出现在他们的评价指标中，他们可能更看重教材的主题或内容是否具有吸引力。

2.全面性原则

对数字教学资源进行评价时要根据系统论的观点,从整体出发,即考察资源各个部分的关联情况和综合性能,既考虑其作为教学资源的特点，又注意数字资源在信息技术方面的要求，不能因为某一方面特别突出而以偏概全。比如朱凌云、罗廷锦、余胜泉从网络传输系统、教学系统、交互系统、教师/学生支持系统、评价系统、管理系统五个方面对网络课程进行评价[10]。这就既照顾了传统线下课程在教学系统、交互系统、评价系统和管理系统的特点，又考虑了网络课程所特有的网络传输系统、教师/学生支持系统的特点。

3.准确性原则

准确是对评价的最高要求，评价既不能人为拔高，也不能故意贬低，要实事求是地反映国际汉语数字教学资源的特点和属性。准确性的实现有赖于客观性和科学性，客观性是指从客观实际出发，对国际汉语数字教学资源做出真实的描述。以此为基础再做出相应的判断，避免出现主观随意性和情感因素影响评价的准确性。科学性是指评价方法的科学，包括评价指标的确立、指标权重的计算、评价体系的构建均要有科学的依据和计算方法。

4.可操作性原则

可操作性原则是指评价方案在实施时行得通，评价指标符合实际，具体可行，易于理解和接受，贯彻这一原则需做到：

(1)评价方案要考虑人力、物力、财力、时间、空间、技术等多种因素，针对不同的国际汉语数字教学资源，实施最适合的评价方案。

(2)国际汉语数字教学资源评价指标体系不要过于繁琐，评价计算体系简便易算。

(3)国际汉语数字教学资源评价指标应具有直接可测性。例如，受欢迎度是数字教学资源质量的一个体现，但是不能把受欢迎度作为评价的指标，因为受欢迎度不具有直接可测性，因此，要把这一指标转化为可测量的指标要素，间接地测量，如以下载量、浏览量或转发量作为国际汉语数字教学资源受欢迎度的指标。

(二)国际汉语数字教学资源的评价方法

选取何种评价方法是数字教学资源评价的关键问题之一，选用的方法是否科学、合理将直接影响评价的信度和效度。根据评价方法的性质不同，通常可分为定性评价、定量评价、定性和定量相结合评价三种方法。

1.定性评价

定性评价是按照一定的评价指标,依靠评价者的主观判断,给资源进行评分、排序的方法，一般是采用问卷调查和专家评议等方式，是一种比较常用的评价方法。定性评价的评价主体一般来自本领域的权威专家，他们具有丰富的学科知识和评价经验，能够对数字教学资源质量和价值作出合理、正确的评估和判断。为了保证评价的公正性，定性评价一般鼓励多专家评价模式，不提倡单一专家评价。定性评价容易受到主观经验和人为因素的干扰，造成评价结果的偏颇，且需要耗费大量的时间、人力、物力和财力，因此，定性评价较为适合少量的优质数字教学资源的评价。

2.定量评价

定量评价是运用科学、规范的数学计量法评价数字教学资源的一种方法。定量评价能有效地规避定性评价中的主观定势、人际关系和利害关系等评价主体主观因素的干扰，体现评价的客观性和公正性，评价的结果更为清晰、具体[11]。其中比较著名的是网络计量法(webometrics)，它是运用文献计量、信息流计量、网络链接分析等方法，对数字资源的组织、存储、分布、传递、相互引证及其功能和开发利用等作出定量描述并进行统计分析，以揭示其数量特征和内在规律的方法[12]。网络计量法一般把资源的访问率、下载率和推荐、转载的次数，以及内部、外部指向链接数、被链接总数、链接密度等作为评价指标。与定性评价相比,定量评价更加客观和准确, 可以弥补定性方法的不足，适合大规模数字教学资源的评价。但也存在无法深入揭示资源内容特征、搜索引擎的局限性、链接相关度以及链接是否等价等问题。

3.定性和定量相结合评价

定性与定量相结合评价的方法是为了弥补定性评价和定量评价各自的缺陷，结合两家之所长的产物，在主观评价上引入数学计量手段，将定性问题定量化处理。主流的方法有层次分析法(The Analytic Hierarchy Process，简称AHP)、因素分析法、回归分析法、模糊综合评判法等。其中最著名的是20世纪70年代美国运筹学家T.L.Saaty提出的层次分析法，这是一种定量与定性相结合、将人的主观判断用数量形式表达和处理的系统分析方法，在教育评价领域得到广泛应用。层次分析法的基本原理是：将一个复杂问题分解成若干组成因素(指标)，并按支配关系形成层次结构，然后用两两比较的方法确定各因素的相对重要性，计算出各因素的权重，并以此为基础实现不同因素的排序[13]。

四、国际汉语数字教学资源评价指标体系

一个完整的评价指标体系包括评价指标、评价标准以及权重系数三个要素。常见国际汉语数字教学资源主要分为数字教材、多媒体素材、语料库(资源库)、试题试卷、教育教学网站、教学软件(App)、文献资料、教学工具等八大类。不同的教学资源所适用的评价指标体系不尽相同。数字教学资源的评价研究较多集中在教育学界和教育技术学界，专门针对汉语数字教学资源评价的成果还比较少，本研究尽可能搜集整理目前已有的各类汉语数字教学资源评价指标体系，如果没有，则以其他学科或更为通用的数字教学资源评价体系代替，以期为今后国际汉语数字教学资源评价指标体系的设计提供参考。

(一)汉语数字教材

数字教材又称电子教材，与之相关或相近的概念还包括电子书、电子课本、电子书包等。汉语教学界对纸质教材的评价标准有较为丰富的成果，如赵金铭曾提出对外汉语教材评估的前期准备、教学理论、学习理论、语言、材料、练习编排、注释解说、教材配套、其他等9大项55小项标准[14]。梁宇则提出教材适配性、整体设计、教学内容、情感与策略和教材形式5个评价维度55项具体指标[15]。但是我们尚未发现针对汉语数字教材的评价标准体系，由于数字教材和纸质教材存在较大区别，针对纸质教材的评价标准并不能完全适用于数字教材。我们还要参考教育学界对通行数字教材的评价标准，如乐进军从教育目标、知识设置、呈现效果、支持教学、素材资源、交互效果、整体效果等七个维度提出数字教材的评价标准[16]。

(二)汉语教育教学网站

汉语教育教学网站主要是收集、整理、存储国际汉语教育教学资源的网站，也包括与汉语教学相关的博客和微信公众号。虽然有不少针对汉语教学网站建设现状、应用或设计等方面的研究，但目前尚未发现专门针对汉语教学/学习网站的评价指标体系。尽管汉语教学网站的评价指标尚未建立，但我们可以参考以往关于教育网站的评价研究成果，如李忠信提出教学特色、技术特色、网络特色三个评价教学网站的一级指标[17]。陈向东引入定量评价方法，将网站访问数、页面预览、停留时间、用户的IP、用户的入站路径等作为量化评价指标[18]。国家教育资源公共服务平台对学习网站提出了由4 个一级指标、11 个二级指标组成的评价体系，具体如下：

表1 学习网站评价指标[19]

(三)汉语网络课程

网络课程是以计算机网络为基础实现的课程教学内容及实施的教学活动总和。教育部教育信息化技术标准委员会早在2002年就制定了《网络课程评价规范》，该规范从课程内容、教学设计、界面设计和技术四个维度对网络课程进行评价[20]。就对外汉语网络课程评价体系而言，杜迎洁以学习者为评价主体，设计了三级指标体系，其中一级指标包括课程目标、课程内容、教学设计、界面设计、技术性能五项，二级指标包括课程定位、内容规范性等36项，三级指标包括课程内容等资源定期更新、测试能够自动评分等共103项指标[21]。与教育部的《网络课程评价规范》相比，杜迎洁的评价体系更为详细，更具针对性，但是100多项评价指标也略显繁琐。近年来，以慕课、微课等为代表的新兴网络课程蓬勃发展，国内也开发了不少汉语教学的慕课和微课，但目前尚未看到针对汉语慕课和微课的评价指标研究。

(四)汉语教学软件(App)

教学软件是根据教学大纲的要求，经过教学目标确定、教学内容和任务分析、教学活动结构及界面设计等环节而制作形成的计算机汉语教学程序。根据运行终端的不同可分为电脑端汉语教学软件和手机、平板电脑等移动端应用程序(App)，前者如罗塞塔石碑(Rosetta Stone)、长城汉语等，后者如Pleco、ChineseSkill、掌中汉语等。特别是后者，近几年发展迅猛，数量众多，适应了移动学习、泛在学习、碎片化学习的趋势。然而，尽管汉语学习类App数量多达上千种，但是还没有相应的评价指标体系。可供参考的是学界对教育类App评价指标的研究，如龚朝花、曾雪庆基于PACTS模型提出评价教育类App的五个维度，即教学、艺术、内容、技术、服务，其下又分为28个二级指标，具体如下：

表2 教育类App评价指标[22]

以上只有汉语网络课程有专门的评价指标体系，这说明我们对国际汉语数字教学资源的评价研究远远赶不上资源建设的速度和数量，形成重建不重评，想评也无标准可依的尴尬局面。

五、结语

资源评价对资源建设具有诊断功能、导向功能、激励功能和筛选功能，随着国际汉语数字教学资源建设与应用的发展，资源评价的重要性和紧迫性也日益凸显。为实现汉语数字教学资源的有效评价，推动优质数字资源的汇聚与共享，需要制订科学的评价策略，建立可行的评价机制。然而遗憾的是，有关国际汉语数字教学资源评价标准的研究还比较少，目前只有汉语网络课程有比较详细科学的评价指标体系，汉语数字教材、学习App、教学网站等重要的资源类型都还没有专门的评价体系，这不利于优质国际汉语数字教学资源的建设与汇聚。今后，我们需要加快国际汉语数字教学资源的评价研究，以评促建，推动数字教学资源建设的良性发展。

注释：

[1] 冯平：《评价论》，北京：东方出版社，1997年，第39页。

[2] [美]N. E. 格朗兰德：《教学测量与评价》，郑军译，石家庄：河北教育出版社，1991年，第3页。

[3] 陈玉琨、瞿葆奎：《教育评价学》，北京：人民教育出版社，1999年，第8页。

[4] [美]拉尔夫·泰勒：《课程与教学的基本原理》，施良方译，北京：人民教育出版社，1994年，第85页。

[5] [日]梶田叡一：《教育评价》，李守福译，长春：吉林教育出版社，1988年，第20页。

[6] 何克抗、李文光：《教育技术学》，北京：北京师范大学出版社，2017年，第323页。

[7] 柯清超、郑大伟、曾颖欣、赵兴龙：《基础教育领域数字教育资源的评价研究》，《电化教育研究》2014年第2期，第55～61页。

[8] 杜迎洁：《对外汉语网络课程评价体系的构建研究》，广州：世界图书出版公司，2016年，第162页。

[9] 周梅群、吴华：《教育网站评价指标体系设计之研究》，《电化教育研究》2004年第8期，第53～57页。

[10] 朱凌云、罗廷锦、余胜泉：《网络课程评价》，《开放教育研究》2002年第1期，第22～28页。

[11] 谢海波：《高校网络教育资源评价的探讨》，《远程教育杂志》2011年第4期，第60～64页。