国际大学办学质量评估体系相关性分析与综合指标构建研究*

赵丽萍 赵妍双 魏永越 陈 峰 岳国峰△

近年来，世界大学排名受到各界高度关注，这与高等教育国际化密切相关。大学排名不仅影响到高中生高考志愿选择，还影响高校教育资源分配中的政府决策。2017年公布的我国世界一流大学和世界一流学科(简称“双一流”)建设高校名单，其遴选过程参考了国内外认可度较高的大学评价结果。越来越多的大学开始关注自身排名，将其作为未来的发展方向[1]。为规范高等教育机构排名，联合国教科文组织牵头成立了大学排名国际专家组(international ranking expert group，IREG)，并在IREG会议上讨论通过了一系列高等教育排名操作规范——“高等教育机构排名的柏林原则”(Berlin principles on ranking of higher education institutions)[2]。柏林原则从排名的目的、指标设计与权重分配、数据收集与处理过程、排名结果公开等四方面对大学排名提出了16条细则。在柏林原则的指导下，逐步发展出4大国际公认的大学综合评价指标体系，包括：上海软科教育信息咨询有限公司发布的世界大学学术排名(academic ranking of world universities，ARWU)，美国新闻和世界报道(US news & world report)发布的大学综合排名(US news universities rankings，US News)，泰晤士世界大学排名(Times higher education world university Ranking，THE)，和英国Quacquarelli Symonds国际高等教育咨询公司发布的世界大学排名(QS)[3]。

《国家中长期教育改革和发展规划纲要(2010-2020年)》鼓励专门机构和社会中介机构对高等学校学科、专业、课程等水平和质量进行评估[4]。然而，大学办学水平综合评价指标体系的构成具有一定的相似性，在权重分配上侧重点又各有不同，使得公众对排名结果产生疑惑[4]。本文选择世界范围内认可度较高的4个大学综合评价指标体系，依据2019年的最新排名结果，探讨其相关性，并探索综合4个指标体系，构建新的评估指标。

四大国际公认大学综合评价指标体系

选择目前国际公认的4个大学办学水平综合评价指标体系，包括：

1.软科ARWU，包括4个一级指标：教育质量(10%)、教师水平(40%)、科研成果(40%)和师均表现(10%)。

2.US NEWS，包括3个一级指标：声誉(25%)、文献计量(65%)、科学卓越(10%)。

3.THE，包括5个一级指标：教学(30%)、科研(30%)、论文引用(30%)、国际化(7.5%)、校企收入(2.5%)。

4.QS，包括6个一级指标：同行评议(40%)、雇主声誉(10%)、师生比(20%)、师均论文引用数(20%)、国际教师占比(5%)、国际学生占比(5%)。

各指标体系的总分都是100分，指标构成和权重各有不同，详见表1。

资料与方法

1.资料来源

从各评估体系官方网站获取2019年大学综合办学水平的评估结果作为原始分析资料，包括排名、总分以及分项得分。

ARWU，资料取自www.shanghairanking.com，2019年共有1000所大学入围。

US NEWS，资料取自www.usnews.com，2019年共有1245所大学入围。

THE，资料取自www.timeshighereducation.com，2019年共有1262所大学入围。

QS，资料取自www.topuniversities.com，2019年共有1005所大学入围。

2.统计分析

采用Spearman等级相关系数描述各排名体系的得分和排名的相关性，采用热图(heatmap)展示各评估体系的内部指标间的相关性，采用配对删除法(pairwise deletion)处理缺失数据。用主成分分析法(principal component analysis，PCA)对四个评估体系进行综合，并构建新的指标。所有统计分析采用Stata14.0统计软件进行分析。

指标间相关性分析

1.四个评价体系总分和排名结果的相关性

各指标体系的相关性分析结果见表2。分值的相关性略低于排名的相关性。除US News与THE(r=0.87)和ARWU(r=0.86)的相关性较高外，其余指标体系的相关性皆在0.62～0.79之间。各指标体系在统计学上不完全相关，体现各有侧重，各有特色，无法互相替代。

表2 世界大学排名体系间相关性(2019年排名结果)

*：下三角为总分间的相关性，上三角为排名间的相关性；(.)中为统计分析的样本量。ARWU仅公布世界排名前100大学的总分，因此此处纳入相关分析的样本量较小。

2.各二级指标间的相关性

各综合排名体系二级指标的相关性分析显示(图1)，QS的内部二级指标间相关性较弱；而ARWU、US News和THE的各二级指标间存在较高的正相关，说明各二级指标间存在一定的信息重叠。USNews所公布的二级指标是排名(越小越好)，其他排名体系的二级指标为分值(越高越好)，因此USNews的二级指标和其余排名体系的二级指标间呈现负相关关系。

图1 四大世界大学评估体系二级指标间的相关性(US News的二级指标为排名结果，其余二级指标为对应分值)

3.构建新的综合评估指标

因各综合排名体系具有一定的相关性，又各有其侧重，则可从统计学角度将4个指标体系加以综合，更为全面地反映大学的综合水平排名。基于4个综合评价指标排名的相关矩阵进行主成分分析显示，第一主成分的贡献度达75.5%，各排名体系对第一主成分的贡献比较均衡(表3)。

表3 四大综合指标排名的主成分分析

*：共458所大学评估结果用于主成分分析。

依据第一主成分构建新的综合大学排名指标(integrated universities ranking index，IURI)：

IURI=0.471×RARWU+0.524×RUSNews+0.531×RTimes+0.470×RQS

其中R表示各评估体系的排名。由公式可知，新指标基本体现四大指标体系排名的平均水平。从结果来看，IURI的排名结果和原评估体系排名结果的相关性较高。但排名较为靠后的大学中，新指标和原指标的排名差异明显。从侧面反映各综合排名体系侧重点有所不同，对某些非综合性大学来说，排名差异较大。见图2。

图2 根据各评估体系排名所构建的综合指标IURI和原始排名的相关性

根据新指标遴选出世界排名前50名的大学见表4。其中，IURI提示，我国的清华大学排名进入世界排名第22位，为原四大评估体系结果的平均水平。

表4 基于4个评估体系构建的新指标情况(前50名)

讨 论

各排名采用的指标大多是教学指标、科研指标、国际化程度、声誉指标、产业化等。各综合评估体系的每项指标的数据来源不明，权重差异较大，导致同样一项指标在不同的排名体系中的贡献不一[5]。对于综合性大学来说，只有在各大排名中表现都好，才可认为是综合办学质量好的大学。若在某一方面存在不足，会直接影响某一综合排名体系的排名结果。事实上，一个好的大学，须在教育教学水平、科学研究水平、人才培养质量、社会服务贡献、国际视野、文化传承等各方面都出类拔萃[6]。而对于医科大学等专业性院校来说，学科构成不完整，科学研究、社会贡献等方面都无法和综合性院校比肩，上述综合评估体系是否适用于此类专业性院校，有待商榷[7]。

二级指标相关性分析显示，同一体系中的二级指标相关性较强，说明各二级指标的信息存在明显的重叠，从统计学角度来看，现有指标尚有优化的空间。本文尝试将4个大学排名综合则可以得到新的、更加综合的排名。本文提出的新的大学排名中，各大学排名指标体系的贡献几乎相等，因此，可以简单地将4个大学的排名平均化，可得到更加合理的排名。新的排名的结果更具有代表性和稳定性。

另外，各评估体系的透明度有待改进。数据获取、整理过程，完整数据，细节算法，历史变迁，变更依据，排名执行，监督机构等细节，应在网络上及时公开，接受广泛的监督和质询，并提供电子文档以便验证[8]。另外，应鼓励开展大学综合评估和排名的理论方法研究，以更好地服务社会和政府决策。