近十年大数据环境下国际高等教育评价研究现状分析

邱均平

DOI：10.3969/j.issn.1008-0821.2021.09.001

[中图分类号]G250.252 [文献标识码]A [文章编号]1008-0821（2021）09-0004-08

大数据是信息社会纵横发展的产物，它开启了一次重大的时代转型，改变了人们的生活方式与思维。2008年《Nature》推出了“大数据”专栏，此后大數据迅速成为学界关注的热点。大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合。当前，随着国家大数据战略的实施，大数据正不断影响着高等教育的发展，高等教育信息化的完善深刻地改变了高等教育评价活动的样态。在高等教育环境中，大数据是指与高校教学活动有关的全部数据，而随着高等教育信息化的实现，在高等教育各个环节中的所有数据都可以被记录保存，以作为开展高等教育评价的基础。而当前国内高等教育评价存在“破五唯”问题，王洪才提出要从根本上“破五唯”，就要建立真正的科学评价体系，减少行政干预，使学术评价回归到学术主体本身。大数据的特点决定其可以在高等教育评价中减少或消除评价的主观性与行政干预，使高等教育评价真正地回归本真。

近年来，在大数据环境下高等教育评价研究持续发展，相关研究成果层出不穷。瞿振元等提出教育要遵循育人规律，坚持本真思维，以人才培养、科学贡献、社会服务为目标，且在新一轮信息革命下，大数据的发展为高等教育评价提供了新的技术动力。余波等研究了大数据驱动下“双一流”高校跟踪平台体系的构建。探讨国际高等教育评价的研究概况能推动我国高等教育评价进行技术性改革，对促进我国高等教育的国际化发展具有重要意义，但目前对这一方面还没有进行过深入研究。本文旨在揭示大数据环境下国际高等教育评价研究的现状，为我国高等教育评价提供启示。

1方法

1.1数据来源

本研究选取“Web of Science”核心合集数据库为数据源，根据其2019年的引文报告（Journal Citmion Reports，简称JCR），学科类别限定为“Eduction & Educational Research”，共有263种SSCI期刊。WOS数据库按照学科期刊排名将期刊划分为4个区度，各区度占比25%。本文从中选取Q1、Q2区的10种期刊，10种期刊名均含“Higher Eduction”，如表1所示。根据每个出版物名称，将文献发表起始时间限定为《Nature》杂志开始推出“大数据”专栏的2008年，结束时间为2020年，文献类型限定为“Article or Proceedings Paper or Review”，检索词为“Evaluation or Assessment”，最终选取1805篇文献作为研究对象。10种期刊的影响因子均大于1.5，具有分析价值。

1.2研究方法

为揭示国际高等教育评价研究现状，本文将使用SATI软件进行文本挖掘，SATI软件能够提供多种数据清洗工具，比如文献去重、词干提取、应用停用词、智能清洗等，能较为准确地保证研究结果。本文将按照以下3个步骤进行数据处理：

1）将文献集导入SATI软件中，首先经过数据清洗与处理，使用文献计量法从发表年份、发表机构、高频关键词对数据进行描述性统计。

2）进行高频关键词的分析，构建高频关键词的频次时间序列、相似矩阵及相异矩阵的转换。

3）基于相异矩阵使用SPSS进行关键词聚类;基于共现矩阵，使用SATI软件进行社会网络分析，生成知识图谱以获取关键词之间的联系，生成聚类结果。

4）根据聚类分析结果，对挖掘出的热点主题做深入地探讨和分析，为我国高等教育评价提供建议。

2研究结果及分析

2.1描述性统计

将检索到的1805篇期刊文献导入SATI软件中，选择“年份”进行频次统计，因WOS数据库上部分期刊会提前在线出版文献，本文将146篇还未正式见刊的文献出版时间定为其在线出版的时间，得到大数据环境下国际高等教育评价文献的年度刊载量图，如图1所示。

由图1可知，截至2020年末，在国际大数据环境下，关于高等教育评价的研究整体上呈现出了逐年平稳递增的趋势，并且在2020年出现了急剧上升趋势，可以初步判断，高等教育评价研究还处于热度上升时期。《高等教育评估与评价》是刊发高等教育评价的主要期刊，发文量为816篇，占比45.21%。此外，《高等教育研究（英）》《高等教育研究与发展》《高等教育研究（美）》发文量分别为256篇、212篇、194篇，占36.7%。从平均被引频次上看，所选的10种期刊的篇均被引频次均超过10，其中在《互联网与高等教育》期刊中关于高等教育评价研究的文献平均被引频次达到38.52。综合发文量与平均被引频次，可以认为所选期刊在高等教育评价方面具有较高权威性，能够引领国际高等教育评价的热点。

2.2学术机构分析

对作者所在学术机构的发文量进行统计与对比分析，由于篇幅限制，本研究选取发文量大于15篇的学术机构进行分析，如表2所示。从机构地域分布来看，发文大于15篇的机构超过一半分布在澳大利亚，分布在英国的机构有3所，新西兰2所，中国、瑞士、苏格兰分别为1所。发文数量排名前5的机构都位于澳大利亚，这表明澳大利亚在国际顶尖期刊上发表高等教育评价研究文献的数量处于优势地位。澳大利亚关于高等教育的研究起步较晚，但发展较快，二战后澳大利亚开始发展独立的教育体系，自20世纪60年代之后进入快速发展阶段，澳大利亚政府推动高等教育改革，改革不仅使得澳大利亚在高等教育评价研究中成效显著，在其他有关高等教育的领域中都占据强劲态势。比如Harper R等就澳大利亚高等教育评价中存在的学生将评估外包给第三方即“合同作弊”问题进行调查，研究结果表明，“合同作弊”可以通过改善教学环境来解决，比如改进师生间的关系。Bearman M等针对高等教育评估标准的“透明度”问题提出教师可以设计评估材料，比如标尺、任务说明和范例来传达他们的意图，同时促使学生发展自己的工作和学习方式。

我国只有香港大学发文量大于15篇，发文量大于5篇的有我国香港地区的3所大学与台湾地区的2所大学，表明我国在国际高等教育评价的顶级期刊上论文产出较少。我国港台地区大部分高校教师拥有海外留学经历，更容易追踪国际学术前沿，把握国外发展趋势，将研究成果发表在国际期刊上，使研究产生学术影响力。中国台湾地区的Hou Y C等提出高等教育目前正在学习整合及平衡不同利益相关者的需求，包括当地学生、政府以及全球市场，并以台湾地区高等教育3项认证为例探讨全球高等教育质量保证体系对亚洲高等教育的影响。

2.3高频关键词统计

关键词反映了作者对研究内容的认知，能概括文章的主要内容，呈现了这一时期研究的前沿热点，能反映未来研究的趋势。因此，可以通过关键词共现来挖掘研究内容的相似性与研究重点。为使关键词的统计更加严谨，将关键词导入SATI软件，SATI软件会对数据进行智能清洗与词干提取，提高处理效度与信度，随后将SATI的关键词词频统计结果进行手动清洗：将“学生学习”“学习”“学生评价”“学生评教”等意思相同的词合并;删除“Assess、Assessment、Evalu、High Educ、Univers”等代表研究范围和研究对象的关键词，最终得到国际高等教育评价研究排名前30的高频关键词，如表3所示。出现频率最高的关键词是反馈（Feed-back）、同伴评估（Peer Assess）、自我评价（Self-assess）等。

高频关键词在某一时间段的出现次数，可以直观地反映出这一时间段的研究热点与趋势，频次时间序列则可以反映不同关键词出现频次的变化。本文使用SATI软件绘制了关键词词频前6的时间序列图，如图2所示。“反馈”这一关键词从2013年开始出现爆发式增长，而后起伏幅度越来越小，逐渐趋于平稳。“同行评估”除了在2013年以及2019年出现下降趋势外，在高等教育评价中的热度一直存在，且在最近几年呈现出了突然递增的状态。“形成性评价”在2010年热度达到最高，此后逐渐趋于小范围波动。“学生评价”出现频次一直处于波动状态，近年呈现逐步上升趋势。“自我评价”“学生学习”近年来出现频次呈现出下降趋势。

2.4关键词相似矩阵分析

虽然高频关键词的频次可以反映出领域内的研究热点，但无法表现出各个关键词的内在联系与紧密程度。通过构建关键词相似矩阵可以探究关键词间的关联性，矩阵中的数值为相似系数，相似系数表示矩阵元素之间的相似性，数值越大说明元素间的关联程度越强。本文使用SATI生成相似矩阵，停用删除与研究热点无关的关键词以及代表研究对象的关键词，设置矩阵大小为50，由于篇幅限制，仅展示前15个具有代表性的高频关键词的相似矩阵。结合上文可以发现，国际高等教育评价研究出现频次高的关键词之间往往关联度高。如表4所示，“反馈—形成性评估”“同行评估—自我评估”“同行评估—同行反馈”“学生评价—有效性”“有效性—批判性思维”“有效性—可靠性”等关键词之间相似系数高，说明它们之间关联度较高。“有效性”在高等教育评价中指评价是否达成评价目的，评价是否具有真实意义，有效的评价能为决策者提供理论依据，学生评价与有效性关联度高说明学生评价可以为高校的实际教育成果评价的有效性提供正确的反馈。批判性思维与有效性的关联度高验证了在高等教育中批判性思维的重要性。

将相似矩阵转化为相异系数矩阵导人到SPSS25.0中进行K-means聚类分析，根据聚类结果提取出5个类别，如表5所示。

2.5关键词社会网络分析

使用社会网络分析对关键词进行共现可以确定主题词在相关研究中是处于核心还是边缘位置，共现图谱中的节点越大，则代表其出现频率越大，节点间连线的粗细则代表关键词之间的关联程度，共现次数越大，则连线越粗。本研究使用SATI绘制国际高等教育评价研究热点高频关键词的共现图谱，如图3所示。

在共现图谱中，除“高等教育”和“评价”这类代表研究对象的关键词之外，“反馈”一词节点最大，位于中心位置且连线居多，是国际高等教育评价的热点，一直被广泛研究。在共现图谱右上角可以发现，“学生满意度”“学生评估”“课程评估”与评价有效性及可靠性密切相关，这验证了上文所提到的学生评估对高等教育评价的重要程度，学生综合素质水平的提高是高等教育发展的动力与最终目的，高等教育评价要继续以学生为落脚点。

2.6国际高等教育评价研究热点分析

国际高等教育评价研究内容丰富，范围较广，结合聚类分析与社会网络分析，可以将研究热点划分成3个领域：一是以反馈为核心，包括同行反馈、自我评估、形成性评价、同行评估等评价方法问题;二是以学生为中心的评价指标问题，包括学生满意度、批判性思维、学习成果、学生参与度、教师能力等;三是以评价信度与效度为核心的评价质量问题。

2.6.1评价方法热点分析

评价方法可以决定评价质量，采用科学的评价所产出的科研成果才能对高等教育现状产生有力的解释、预测和指导。反馈不仅是高等教育中不可缺少的一个环节，也是高等教育评价中重要的评价方法同，反馈可以向教师反映出教学效果，为未来教学提供方向，也可以避免不良教学成果。Poulos A等发现反馈有效性的重要程度超过其交付方式和及时性，有效反馈可以加强教与学之间的联系。Burke D发现多数学生会混淆“真正的反馈”与“对如何使用反馈的指导”的区别，认为教师应该采取措施使学生能够在学位课程中得到更多反馈。正确的反馈也可以向政府等高校管理部門提供决策依据。

反馈是形成性评价的核心环节，形成性评价是相对于总结性评价而言的，相对于总结性评价，形成性评价能够使学生更真实地参与评价过程，明确教学活动中存在的问题。形成性评价能够通过老师—学生、学生—学生构建反馈对话，帮助学生获得高效的反馈，并促进自我评估的能力。Jenkins JO提出应将不必要的总结性评价替代为形成性评价，以使形成性评价在高等教育中发挥作用。目前，有关形成性评价的理论与实践方法仍备受热议且在发展。

同行评估与同行反馈是高等教育评价中重要的评价方法，Sridharan B等比较了形成性和总结性评价制度下不同的同行评估行为模式，探讨了评估偏差中实际和自我感知的贡献水平的相互作用。孙文静等认为应完善同行评价的实施、激励、选定、运用制度，形成对高等教育全面真实的评价，促进高等教育的自我改善与革命。Bond D等在实践理论的基础上，从实践的角度看待高等教育评价现状，提出可以将评价定位为高等教育课程实践的一部分，结束评价与教与学的分离。Raes A等调查了评价的“匿名性”對同行评价结果的影响，发现匿名评价会减少对同行的压力感、增强舒适感以及对同行评价产生积极的态度。

2.6.2评价指标热点分析

以学生为中心的评价指标成为国际高等教育评价的研究热点，说明学生在高等教育中的表现与成就是高等教育评价中的重点内容，是评价的核心。以学生为中心构建评价指标体系，能使高等教育准确认识自身价值，将其教育目标具体化，且能让学生产生参与感，并积极地进行自我审查与提升。“一切为了学生发展”是我国教育的初心，也是国际高等教育发展的初心所在，对人才培养情况作出实时反馈是高等教育评价的主要目的，以学生为中心的高等教育评价可以展现高等教育的培养目标以及培养模式，鼓励学生进行自我定位，提高高等教育评价的综合质量。

杜威（John Dewey）最早定义了批判性思维并将其引入到教育中推广其成为一种教学理念，他认为批判性思维是一种能够将知识依据信仰或者隐含假设进行主动且反复的思维模式。在1990年，教育评估和评估专家对“批判性思维”发表了共识声明，认同批判性思维是一种借助认识和反思的深化进行自我意识调节的能力，包括习性与技能两部分，习性指个体对批判性思维的思想态度，技能则代表“阐明”“分析”“解释”和“自我管理”等能力。在现代社会，批判性思维被普遍认为是高等教育的目标之一。Tannock S以高等评价为例论证了公立大学培养学生的批判性、反思性、独立性和民主性思维的重要性，并提出应对公立大学使用“分级评价”的评价方法进行科学的改造。BelluigiD Z提出如果教师不重视批判性思维，那么学生可能会“失去与自己的愿望、声音和言语联系的能力”。一个有效的课程应重视学生表现出的创造性和批判性思维，教师应检查和明确自己的信仰、价值观和意识形态，并帮助学生更加深入的理解他们观点的根源。

2.6.3评价质量研究热点分析

信度指对同一对象采取同一方法进行多次测量时，其结果一致的程度，信度与效度常联合使用以确保研究结果的准确性，在高等教育评价中的使用则可以用来判断评价的真实程度与合理性。评价的信度与效度能最终决定研究成果是否具有意义，在高等教育评价中多对评价模型进行信度与效度的检验，比如Ali H等为了考察课程经验问卷（CEQ）能否探究西方以外地区学生对课程的看法，使用结构效度检验证明了问卷模型的合理性，证实了CEQ是有效和可靠的课程评价工具。Green T对国际高等教育研究中使用结构方程模型（SEM）的文章进行研究.发现SEM在高等教育研究中还可以对替代模型的测试、可靠性与有效性、理论支持模型、数据筛选、拟合指数等方面进行改进，以对从事高等教育评价研究的人员提供最佳的实践统计准则。

高等教育评价在实现实质性突破的同时必须保证评价质量，构建评价目标明确、方式多维、多元主体的评价体系。Wolf R等发现高等教育学习成果评估（AHELO）面临评分及分数解释的有效性等挑战，并从AHELO可行性研究和其他国际评估研究中汲取经验，为未来的国际高等教育评价提供参考。

3总结与启发

探测与分析大数据环境下国际高等教育评价的研究现状，对专家进行科研选题、构建国内高等教育评价国际化具有重要的意义。本文以Web of Sci-ence数据库的1805篇文献为研究对象，借助SA-TI、SPSS工具，运用文本挖掘、聚类分析等方法探讨了国际高等教育评价研究现状与研究热点，为我国高等教育评价研究带来启示。

从评价方法角度，国际高等教育评价关注反馈、形成性评价与同行评价等。在大数据时代，要善于使用数据与评价方法结合，数据作为强有力的机制，可以帮助教师、高教管理者、学生之间形成科学的反馈机制，进行评价的常态跟踪，这可以使评价研究能够去中心化测量，并能关注到构成评价的更广泛的人、事物和现象，且大数据驱动的评价方法可以确保评价的独立性，减少了评价的随意性。而当前国内高等教育评价并没有将数据的高效使用作为主流探讨方向，未来应持续加强大数据在高等教育评价方法中的应用探索，将数据的价值l生使用到反馈、形成性评价等评价方法中，构建大数据驱动的高等教育评价。

从评价指标角度，国际高等教育评价的研究热点集中于以学生为中心，注重评价的时效性。而目前国内高等教育评价多注重结果评估，缺少动态监测指标，且较学生评价更注重专家评价。国内高等教育评价应充分利用课堂信息化、评价实时化的特点，建立监测立方体，依据学生专业特点建立不同的评价指标体系，对学生产生的评价数据进行考核。

从评价质量角度，国际高等教育评价研究注重评价的信度与效度，在大数据时代，要善于使用数据对评价指标的相关性、评价方法的适用性、评价主体的代表性进行分析，从而把握评价质量，并可以通过数据动态化分析对评价进行实时的监控与必要的预警，构建动态评价，及时进行反馈，提高评价质量。

（责任编辑：陈媛）