教育信息资源专家评价标注模型的构建及仿真*

伍 姚 熊才平,2 葛 军 熊雅萍



教育信息资源专家评价标注模型的构建及仿真*

伍 姚1熊才平1,2[通讯作者]葛 军1熊雅萍1

（1．华中师范大学教育信息技术学院，湖北武汉 430079；2．华南师范大学教育信息技术学院，广东广州 510631）

优质教育信息资源匮乏的一个重要原因，是教育信息资源缺乏准确的质量评价方法。基于网络平台的专家标注可以扩大评价主体范围，节约评价成本，提高评价结果的准确性。文章通过文献分析，确定了影响资源质量的指标，构建了专家评价标注模型；利用数学方法处理专家标注结果，以优化评价结果；借助MATLAB进行模拟仿真，验证其合理性和有效性。研究表明，该模型能够较为客观、准确地评价资源质量，不仅能为资源开发企业提供合理反馈、促进资源质量的改进，而且能在教育信息资源发布之后为用户选择资源提供参考。

教育信息资源；社会标注；资源评价

引言

随着信息技术的飞速发展和教育信息化的不断推进，教育信息资源总量呈“爆炸式”增长。与此同时，信息资源内容繁杂、可用性不足、建设标准多样化等问题不断凸显，为此，《国家中长期教育改革和发展规划纲要（2010-2020年）》提出要加强优质教育资源的开发与应用。优质教育信息资源的匮乏已成为资源开发企业和学习者共同关注的焦点，以准确的质量评价方法评估教育信息资源成为了资源开发面临的新课题。虽然教育信息资源可以凭借学习时长、在线人数、点击率等指标数据作为定量评价依据，但更多的资源特征如资源的准确性、易用性、美观性等依赖于使用者主观感受的特征[1]，难以通过这类简单指标获取。本研究将探索基于网络的社会标注应用于教育信息资源评价的新方法，构建专家评价标注模型，并通过模拟仿真验证该模型在教育信息资源开发机制中的作用。

一 社会标注概念及作用

社会标注也称为用户标注，于2004年首次提出，被定义为“使用人们自己的词表描述网络资源的机制，是群众自发性定义的平面的非层级结构式标签分类，是基于用户的平面化标签分类机制”[2]；社会标注行为反映了用户对被标注资源的理解和分类[3]。社会标注在教育领域的应用突破了传统的学习资源揭示模式，为学习者和资源开发企业提供了一种自下而上的信息资源揭示方式。利用基于网络的社会标注对资源进行评价，简化了标注方式。同时，这种评价方式能充分利用互联网的技术优势，缩短评价周期，扩大评价样本，在教育信息资源开发过程中可及时反馈评价结果，降低了人力、物力和财力的消耗。

专家指技艺上有专门技能、学术上专业知识全面的人，具有资深教学经验的老师亦属于本研究所指的专家之列。鉴于专家拥有丰富的阅历、经验以及知识，因此在基于网络的社会标注中采取专家标注方式，能够更好地控制资源产品的质量。专家对专业知识的感知、理解水平和深度解读能力高，面对不同的教育信息资源，专家能够挖掘其中隐含的条件和联系[4]。通过基于网络的专家标注方式对教育信息资源进行评价，可以为信息组织者提供判断资源可信度的依据，也可以为主动检索网络信息资源的学习者提供鉴别方式，缓解“学习迷航”、“认知过载”等问题。学习者是否选择、学习某信息资源的关键因素之一，在于专家的权威意见或教师同行对该资源的具体评价[5]。因此，对信息资源的评价标签，可以有效帮助学习者选择资源进行学习。此外，专家定性、定量、客观、严谨、务实的评估意见可直接展示给资源开发企业，让其了解资源状况并进行改进，故对于帮助教师向学习者推荐合适资源也有一定的参考价值。

二 专家评价标注模型的构建与计算办法

1 评价维度选取的理论依据

关于信息资源评价指标维度的划分，国内外均以定性指标研究为起点，本文也主要探讨教育信息资源质量评价中的定性指标。

国外方面，Ballou[6]将信息资源质量划分为准确性、完整性、一致性和及时性等四个维度；Wang等[7]从用户使用数据的过程，将信息资源质量分为可存取性、可理解性、有用性和可信性等四个一级维度（含11个二级维度）。国内方面，廉立军等[8]将信息资源质量划分为专业性、系统性、权威性、全面性、新颖性和特色性；査先进等[9]从质量评估角度出发，将信息资源质量划分为内容质量、表达形式质量、系统质量和效用质量等四个方面，包括信息资源的正确性、完整性、新颖性、准确性、易用性、精简性、可靠性、资源可用性等16个维度；莫祖英等[10]基于顾客满意度模型理论，以信息资源内容的权威性、完整性与及时性维度为研究对象，构建了信息资源质量用户满意度概念模型。

总之，目前很难找出一个适用于所有信息资源的评价指标和评价标准，但在特定领域内，设计一个较为客观的评价指标体系仍是有可能和有必要的。

2 评价指标的确定

根据CELTS-22.1（CD1.0）网络课程评价规范，评估体系的首要评估维度是课程内容，所以应将教育信息资源内容的评价置于首位。基于文献分析，本研究将相关指标进行归类汇总，确定教育信息资源分为资源内容和资源形式等两个一级指标（含8个二级指标），如表1所示。

表1 教育信息资源质量评价指标体系表

3 专家评价标注模型的构建

教育信息资源的价值是潜在的，只有通过专家的使用与评估才能对资源价值进行判定。所以，遵从“以专家为中心”的思想，通过专家评价标注资源并将结果反馈给资源开发企业，如此才具有现实意义。根据前文评价指标的确定，本研究构建了专家评价标注模型，如图1所示。

图1 专家评价标注模型

该模型体现了以专家为中心的评价理念，其中，资源的内容和形式是衡量教育信息资源质量的两大维度。在资源开发的过程中，资源评价标注过程与资源开发企业间是一种循环机制，即资源评价标注结果及时反馈给企业，能够促进企业对资源质量的持续改进，而改进后的资源可重新由专家进行评价标注；同时，优质资源发布以后，可供广大用户进行合理的选择使用。另外，通过评定专家评价标注的准确度，可以建立专家准确度档案库，库内存放每次评价工作中每位专家的评价结果及其准确度，以确定未来评价标注工作中是否选择该专家。模型的动态调节使企业与专家之间的交流形成良性循环，深刻地影响着教育信息资源的开发和使用。

4 专家评价标注模型的计算办法

在评价过程中，先将专家评价标注信息进行量化，转化为评估数据，再通过数理统计的方法进行处理，得出评价结果。鉴于专家评价是一种主观行为，存在一定的主观性，故需要对专家评价结果进行处理。

用数学方法弥补专家评价的主观性，可提高评价结果的准确性。因此，冯辉等[11]提出了一种基于专家评价准确度的评估数据处理方法，较好地消除了专家评价的主观性和偶然性。运用该方法可得出专家评价的准确度，并以此作为综合各位专家评价数据的权重因子。基于此，本研究将此方法作为模型的计算办法，而为了方便地了解模型的计算办法及后续仿真，有必要对本研究中所用到的基本符号进行规范和统一，如表2所示。

表2 专家评价标注模型计算符号规范表

经过评估信息预处理（量化）后，由各个专家对某教育信息资源的8个指标打分。打分评价量表有“满意”、“较满意”、“一般”、“较不满意”、“不满意”等五个等级，对应分值为8～10，6～8，4～6，2～4，0～2。为区别专家评价与普通用户评价，本研究将评价标注量表中对应分值设定为可精确到小数点后一位，以使评价结果更精确，具体如下：

①采用去除最高分和最低分的办法，以防止某位专家的评价结果偏离较大。根据N位专家对某单项指标K的评价值X1，X2，X3，……Xn，求得（N-2）个有效评价的均值，并假设该均值比较接近客观评价值。②将各评价分值与均值逐一进行比较，求得每位专家的评价值与平均值的标准差σ和偏差y。偏差越大，说明此专家评价的准确性越差、可信度越低，因此可把该偏差作为衡量专家评价准确度的依据。③研究选取准确度模型为标准正态分布，则有公式（1）；显然，专家评价准确度Pi的取值范围为0～1，而每位专家评价的准确度Pi如公式（2）所示，将Pi作为该专家评价的权重因子。这种方法可以一次评定每位专家评价的准确度。④针对某一指标Kj（j=1，2，3，……8），计算N位专家对某信息资源的评价总分如公式（3）所示；假设上文中8项评价指标权重一样，则某信息资源R的专家评价总分如公式（4）所示。

公式（1）公式（2） 公式（3）公式（4）

三 专家评价标注模型仿真

仿真实验模拟了实验建构系统模型中各变量变化的全过程，可运用一定的编程达到模拟现实的效果。本研究以MATLAB为平台进行仿真，它是一款以矩阵计算为基础，把计算、可视化、程序设计有机地融合到一个交互式工作环境中的数学工具软件。专家在评价过程中会受到各种内外因素的影响，故在一定时期内，专家评价教育信息资源的过程是一个动态随机化的过程，结果体现为资源得到的标注分值是个动态变化的数值，它在仿真过程中被设为随机变量。

图2 专家评价偏差仿真图

图3 专家评价准确度仿真

假设现有100个专家，计划在网上根据专家评价标注模型中的8项指标对500个教育信息资源进行标注。为了得到上述资源的打分情况，编写的程序需模拟100个专家对500个教育信息资源的8项指标进行随机打分的过程，这相当于构建一个500×100×8的虚拟空间来存放随机打分数据。本研究首先构建出基于专家评价标注模型的单一资源的仿真，在此基础上将教育信息资源数量由1扩大至R，便可看出专家评价标注模型在资源开发中的作用。在单一资源的随机打分表中，横轴为8项指标，纵轴为100位专家。根据对表中数据直方图的观察及相关数学证明，可得每个指标打分Xi均服从正态分布。通过上述计算过程，可得出每位专家评价值与均值的偏差，如图2所示。该偏差可以帮助了解专家评价的准确情况，偏差越大，说明该专家评价能力越低；反之，则说明该专家评价能力较强，或趋于平均水平。得到专家评价偏差后，可计算出该专家评价的准确度，准确度值越大，表明该专家评价越可靠，可信度也越高。同样以某一指标为例，得到的准确度情况如图3所示。根据上述专家评价偏差和准确度，可得到各指标下100位专家的评价总分SK和资源得分总分S。以500个教育信息资源的仿真为例，得到的资源得分总表如表3所示。而根据资源得分总分，可绘出仿真结果直方图，如图4所示。由于专家随机打分近似于服从正态分布，资源得分总分也可认为近似于服从正态分布。

表3 500个教育信息资源得分仿真

从表3中各栏可以精确地看到各资源在对应指标上的得分。以资源R1为例，对应指标K3上的得分为560.5分，说明R1在适用性方面做得较好；对应指标K7、K8上的得分分别为479.3、475.3分，说明R1在精简性和美观性方面明显不足，需要在资源呈现方式、布局等方面加以改善。表3的最后一栏为各教育信息资源的评价总分，总分的高低可以显示资源的整体情况——在整个评价范围内，总分值越高，表明资源的可利用性越强，资源的整体水平也就越高。抽取资源R2与R381进行评价得分对比（如图5所示），可以看出R2的整体分值相对较高。在R2中，K2的分值最高，说明该资源在资源内容的完整性方面做得最好，能透彻地表达一个主题观点的特性；K6的分值最低，说明该资源在资源内容的精简性方面稍显不足。在适用性K3方面，R2得分为572.3，R381得分为351.6，两者相差220.7分，这表明R381在适用性方面极为欠缺，要着重改善。图5反映了资源R2与R381之间的整体水平及单项指标水平差异较大；资源R381需要加以相应改善，才能更好地满足用户的需求，并免遭被淘汰的危险。

图4 仿真结果直方图

图5 R2与R381评价得分对比图

四 讨论

专家评价标注模型能够优化教育信息资源质量评价过程，提高评价的准确度。计算专家评价的准确度并将其与专家原始标注值相结合，对准确度高的评价标注数据赋予较高的权重因子，对准确性低的评价标注数据赋予较低的权重因子，可降低其对最终结果的影响，从而得到较为科学、严谨的评价结果[12]。另外，通过评定专家评价标注的准确度，可以建立专家准确度档案库，库内存放每次评价工作中每位专家的评价结果及其准确度。资源评价组织机构在邀请专家时，可以根据档案库进行合理筛选——对于历次评价过程中准确度较高的专家，与其建立长期合作关系，并给予一定的奖励政策；对于历次评价过程中准确度较低的专家，则将其从档案库中删除，以促使教育信息资源质量的评定过程更加公正、可信、权威。

专家评价标注模型能够促进教育信息资源质量的提升，提高企业资源开发效率。教育信息资源建设是一个动态发展的过程，对优质资源应当投入更多的人力、物力，对劣质资源则应减少投入甚至放弃；而介于两者之间的资源，应该鼓励优化，并追根溯源，找到需要改进的方面。资源开发企业只有选择合适的资源类型，遵循一定的规范，才能开发出适合各种教育课程需求的优质资源[13]。专家标注结果可及时反映资源情况，当模型中的某一项或几项分值较低时，资源开发企业可以采取加强或修改资源的措施，使之成为利用率高的优质资源；或者，选择不再生产此类教育信息资源，使之逐渐被市场淘汰。若某资源在准确性上得分较低，说明该资源不能客观地反映知识点内容，应对其进行调整和修改；若某资源总体得分较低，那么该资源就很有可能会被淘汰。长此以往，在“优胜劣汰”的竞争环境下，劣质资源将逐渐被淘汰，而优质资源将得以保留，从而完成教育信息资源的筛选过程、实现教育信息资源的优化。

基于网络的专家标注方式对教育信息资源进行评价存在很多优势：①评价组织方面，在传统的专家评价中，专家们只能通过聘请的方式参与进来，人数相对受限，人力、物力投入成本较高；而这种评价方式可远程操作，便于邀请更多一线的、有资深经验的教师参与进来，因此扩大了评价样本，有助于提高结果的准确性。②评价过程方面，基于网络的远程评价方式给予评价专家更多独立思考的空间，并且能够反复查看资源，经过充分酝酿后再进行评价；简洁的打分标注方式也降低了专家的工作负荷，有助于提高工作效率。③资源使用方面，当教育信息资源发布以后，专家的评价标注信息可以与资源一起发布，从而为资源使用者筛选资源提供参考——对教师来说，可以因材施教，根据学生水平选择适合自身教学策略、教学方式的信息资源；对学生来说，可以根据对教育信息资源的需求，选择适合自身学习特点的信息资源。

五 结语

随着信息技术与教育的双向深度融合，人们对教育信息资源的需求更加多元化、个性化，资源质量必将深刻地影响着未来教育的发展。从理论上来说，网络上的一切信息资源都可作为标注的对象，这使得教育信息资源的标注工作拥有多个切入点。采用专家标注的理念，可充分利用专家与普通用户在认知、理解和思维上的不同，对资源进行更加合理的归类。本研究将基于网络的专家标注应用于资源评价，构建了涵盖8个指标维度的专家评价标注模型，优化了标注得分的计算办法，并在此基础上进行了仿真实验。结果表明，专家标注较为真实地反映了信息资源的优势和不足，能帮助资源开发企业对资源进行有针对性的改进，从而促进优质教育信息资源的筛选及其质量的提高。此外，专家评价标注信息能够为用户选择资源提供有价值的参考。由于仿真实验是对复杂的现实问题进行抽象化、简单化处理，与真实世界还存在一定的偏差，因此在后续的研究中，有必要建立相关平台进行深入的实证研究。

参考文献：

[1]康晓伟,林波.基于高校的网络学习资源评价研究[J].电化教育研究,2013,(6):76-79、85.

[2]WalTV. Folksonomy[OL].

[3]李枫林,张景.基于用户标注行为的相关性分析及重排序[J].情报理论与实践,2010,(10):57-61.

[4]桑新民.学习科学与技术——信息时代大学生学习能力培养[M].北京:高等教育出版社,2004:77-81.

[5]毛居华,覃文圣,许建华等.数字资源评估体系及其应用研究[J].中国电化教育,2012,(5):71-77.

[6]Ballou D P, Pazer H L. Modeling data and process quality in multi-input, multi-output information systems[J]. Management Science, 1985,(2):150-162.

[7]Wang R Y, Reddy M P, Kon H B. Toward quality data: An attribute-based approach[J]. Decision Support Systems, 1995,(3): 349-372.

[8]廉立军,叶素萍,庞楠等.高校图书馆信息资源建设质量评价指标体系研究[J].现代情报,2008,(4):57-59.

[9]查先进,陈明红.信息资源质量评估研究[J].中国图书馆学报,2010,(2):46-55.

[10]莫祖英,马费成.数据库信息资源内容质量用户满意度模型及实证研究[J].中国图书馆学报,2013,(2):85-97.

[11][12]冯晖,王志中.基于专家评价准确度的评估数据处理方法研究[J].学位与研究生教育,2002,(Z2):59-61.

[13]寇海莲,万正刚,高铁刚.中小学教师对基础教育优质数字资源质量评价实证研究——基于198名评审专家的调查[J].中国电化教育,2014,(10):70-77.

编辑：小米

Construction and Simulation of an Expert Evaluation Annotation Model for Educational Information Resources

WU Yao1XIONG Cai-ping1,2[Corresponding Author]GE Jun1XIONG Ya-ping1

The absence of high-quality educational information resource is importantly related to the lack of accurate evaluation method for educational information resource. Network-based expert annotation can expand the range of evaluation subject, reduce evaluation cost and improve the accuracy of evaluation result. Firstly, the paper determined the indicators impacting resource quality through literature analysis, and established expert evaluation annotation model. Secondly, the expert results were addressed through mathematical method to optimize the evaluation results. Thirdly, the rationality and effectiveness of this mode were verified according simulation by MATLAB. The results shown that the model can objectively evaluate the resource quality, offer reasonable feedback for resource development companies to improve resource quality, and provide reference for the users to select released resources.

educational information resource; social annotation; resource evaluation

G40-057

A

1009—8097（2016）07—0031—07

10.3969/j.issn.1009-8097.2016.07.005

本文为国家自然科学基金重点项目“基础教育公平实现机制与服务均等化研究”（项目编号：71433004）、广东省省级科技计划项目“基于大数据分析的智慧学习云服务及示范应用”（项目编号：2015B010109003）的阶段性研究成果。

伍姚，在读硕士，研究方向为教育资源管理，邮箱为z5xiaoyao@163.com。

2016年1月31日