“大学排名的作用与误用及其价值取向反思”成果报告

全国教育科学规划领导小组办公室

上海交通大学刘念才教授主持完成的国家社科基金“十二五”规划教育学一般课题“大学排名的作用与误用及其价值取向反思”（课题批准号：BIA120074），日前通过了全国教育科学规划领导小组办公室组织的结题鉴定，现将成果报告如下。

一、内容与方法

（一） 深入系统地研究大学排名应用行为及其价值取向

虽然已有文献已经对各主体如何应用大学排名、为何应用大学排名以及应用产生的影响进行了一定的研究，但有关排名的研究明显跟不上排名本身的快速发展。大学排名应用的主体和行为很多，不同主体应用排名的原因/目的、不同应用行为产生的后果和影响相当复杂，已有文献中缺乏对多主体应用大学排名的全面研究和系统分类，对大学排名及其应用进行价值评估的研究也很少。

该研究选取大学排名的应用作为研究主题，对不同主体应用大学排名的行为、原因/目的、产生的影响、体现的价值等进行了深入系统的研究，具体研究内容如下：

1.对不同主体应用大学排名的行为进行全面的分析和系统的分类，通过计算不同应用行为在样本文献中出现的篇幅和频次进一步分析各应用行为的重要程度，并辅以案例对应用大学排名的行为进行详细论述。

2.对不同主体应用大学排名的原因/目的进行全面的分析和系统的分类，将排名应用的原因/目的的分类结果与已有文献中的相关结论进行对比分析，并辅以案例对应用大学排名的原因/目的进行详细论述。

3.对不同主体应用大学排名对高等教育产生的影响进行全面的分析和系统的分类，将排名应用对高等教育产生的影响的分类结果与已有文献中的相关结论进行对比分析，并辅以案例对应用大学排名产生的影响进行详细的论述。

4.依据价值评估的相关理论对各种应用大学排名的具体行为进行详细的价值评估，分析不同价值类别的行为的占比，并根据不同行为在样本文献中的重要程度进一步分析不同价值类别的行为的比例变化，并辅以案例对应用行为的价值进行深入的分析。

5.从排名机构的视角对大学排名的应用进行反思，通过问卷调查了解代表性全球性排名和国家性排名的发布机构对大学排名应用的预期，并对预期应用与实际应用进行比较。

6.排名方法等排名本身的因素对大学排名的应用及其价值取向产生影响，通过对欧洲多维排名的案例分析，从排名本身的视角对大学排名的应用进行反思，并提出合理、有度、有效地应用大学排名的建议。

（二）基于大量文献和案例的严谨论证

该研究经过充分论证，最终选择基于学术性文献的质性内容分析作为主要研究方法，主要原因如下：学术性文献不仅可以提供丰富的、可供分析的材料，而且其内容与使用的材料都具有较高的可信度和可靠性，因为学术性文献的发表一般要经过严谨的文献综述、方法设计、数据收集和分析、专家同行的评议等过程。此外，学术性文献大多还具有专门的学术写作规范和格式，便于对其内容进行统一的分析。该研究针对主题在教育资源信息中心数据库（Education Resources Information Center）和美国信息科学研究所数据库（Information Sciences Institute Web of Knowledge）中进行检索，并结合文献中的参考文献，最终筛选出1994-2014年间发表的有关各类主体应用大学排名的130篇期刊文章、研究报告、书籍章节和会议报告等多种类型的学术性文献作为内容分析的样本文献。

该研究依据质性内容分析的要求，对样本文献的内容进行了分析，包括分析材料的筛选、编码框架的确定、正式编码的过程、二次编码的验证以及最终研究结果的阐释等。首先，选择每一篇样本文献研究结果介绍和分析部分与研究问题直接相关的内容作为分析的材料，而引言、文献综述、研究方法等介绍研究缘起和具体过程的内容则大多与研究问题并无直接关系，因此不包括在分析材料之内。其次，依据质性内容分析的流程和要求，经过大量预研究和不断的修正完善，最终设计了三个维度多层级的编码框架，三个维度包括大学排名应用的行为、应用的原因/目的、应用的影响。最后，使用分析软件Nvivo10对样本文献中有关大学排名应用的材料进行正式编码，逐句对每一个包含完整语意的编码单位进行编码；之后对分析材料进行二次编码，以对正式编码的结果进行验证，如两次编码的结果不一致，则重新审查和修正编码，找出不一致的原因，直到所有编码完全一致为止。

除上述学术文献的质性内容分析法外，该研究还采用了问卷调查法、案例研究法和比较研究法。该研究使用问卷的方法对代表性的全球性排名和国家性排名机构的负责人进行了调查，以了解排名机构作为排名的设计方对各主体应用大学排名的预期，并与大学排名的实际应用行为进行比较。该研究还通过对近年来欧洲多维排名改善排名方法的案例进行分析，反思排名方法的改善是否能够突破现有排名应用的局限和不足，并据此为排名机构和相关国际组织改善排名方法、引导合理应用排名提出有用的建议。

二、结论与对策

（一）应用大学排名的行为分类

该研究关于应用行为分类的结论是：各主体应用大学排名的行为可以分为三个层级：第一层级为应用排名的主体，包括考生和家长、高校、政府和拨款机构、以及企业、校友和捐赠者、高等教育相关组织、公众和媒体等主体；第二层级为应用排名的高等教育活动和环节，涉及多个应用主体的17个应用类别；第三层级为各主体具体的应用行为，共包括50种。

该研究对全篇研究主题、主要内容、部分内容和文字提及的赋权分别为1、0.5、0.2、0.05，并据此加权计算了50种具体应用行为在样本文献中的重要程度得分。在50种具体应用行为中，考生和家长参考排名选择学校在样本文献中出现的频次和篇幅都远超其他应用行为，其他重要程度相对较高的应用行为包括政府参考排名实施的重点建设，及企业参考排名进行的员工招聘等。

其他的具体应用行为主要包括：高校将排名应用于内部管理、招生、学费和奖学金政策、公共关系、与排名机构的关系、战略规划、人才培养及科学研究等；政府和拨款机构将排名应用于质量保障与评价、拨款与经费分配、留学与移民政策等；校友和捐赠者、高等教育相关组织、媒体与公众等应用主体将排名应用于选择捐赠学校、建立专业数据库、组织高等教育研讨等。

（二）应用大学排名的原因/目的分类

该研究关于应用原因/目的的结论是：各主体应用大学排名的原因/目的可以分为应用主体的目的和排名本身的原因两大类共10种具体原因/目的。第一类是从应用主体出发看排名被应用的目的，具体包括：

1.提升名次，如高校在特定排名指标上的名次、综合排名名次等。

2.竞争资源，如高校的优秀生源、高水平师资以及各类经费资源等。

3.提高声誉或地位，如高校和企业的机构声誉、捐赠者的社会地位、学生的职业前景等。

4.获取信息，如学生用于择校的信息、企业用于招聘的信息、高校和政府用于规划和管理的信息等。

5.提高质量，如高等教育体系的质量、高校人才培养和科学研究的质量等。

第二类是从排名本身看排名被应用的原因，具体包括：

6.排名指标具有导向性，排名指标的选取、权重的分配、指标的定义、数据收集的对象和方式等引导应用主体针对指标采取“反应性”应用行为。

7.排名传播范围广、影响力大，排名易用的特征促进了排名的广泛传播和应用，其影响力的日渐增大促使更多利益相关者在进行决策时考虑排名。

8.排名弥补信息空白，排名为利益相关者提供高校比较的数据，在一定程度弥补了公众对高校的信息空白，促进了各主体对排名的应用。

9.排名信息容易获取，由高到低排列、容易理解的排名表的形式，以及通过报纸、杂志、网络等较为廉价的媒体传播方式方便应用主体获取排名信息。

10.排名具有相对的客观性，排名大多由第三方机构提供，选择的指标也多是被普遍认可的、较为客观的指标，有利于赢得应用主体对大学排名的信任。

在实际应用中某一主体应用大学排名的原因/目的往往不是割裂存在的，而是互相联系的。例如，由于排名本身的影响力越来越大，并逐渐成为高校声誉的重要标志，因此高校才会竭力通过各种方式提升排名名次，以提升高校的声誉和形象。在此过程中，使排名拥有广泛的影响力、提升排名名次和提高声誉这三种原因/目的之间存在着固有的联系。

学生、高校、校友等应用主体对排名的批评和抵制是一种特殊的排名应用方式。从应用主体的视角来看，排名被批评和抵制是为了竞争生源、提升高校声誉和地位、改进排名方法等目的。从排名自身的视角来看，排名一刀切地将所有高校放在一起比较的理念，指标选取、权重设置、数据获取等方面存在的问题和局限是排名受到批评和抵制的重要原因。

（三）应用大学排名对高等教育产生的影响分类

该研究关于排名影响的结论是：应用大学排名对高等教育产生的影响可以分为消极的影响、积极的影响和有争议的影响等三大类共10种具体影响。

消极的影响包括：

1.对高校内部管理的挑战，包括排名应用行为所导致的高校支出增加和收入减少带来的资金困难、不顾及教育需求的资源过量投入及浪费、人文社会科学等排名较为落后，此类“弱势学科”的发展受到抑制等。

2.高校根本任务和价值产生了偏离，体现在高校针对排名及其指标采取反应性行为，重视那些排名测量的方面及能够迅速提升排名的短期利益，偏离其根本任务和价值。

3.加重了教学与科研之间的不平衡，大学排名促使高校在经费和资源分配中对科研进行倾斜、鼓励教师增加在特定期刊上发表论文、申请科研经费等行为，会逐渐改变教师工作的重点，导致教学与科研之间的不平衡。

积极的影响包括：

4.高等教育质量的提升，大学排名作为一种高等教育评价工具被部分国家政府用作质量保障的工具，而科研指标在全球性排名中的重要性推动了政府对科研的投入和奖励，提高了科研成果的数量和质量。

5.高校外部关系的改善，排名以特殊的方式使不同的利益相关者加深了对高校的了解，为促进高校与其他高校、政府、企业之间的关系改善和互相合作提供了可能。

6.排名方法的完善，高校对排名数据提交的重视、对排名提出的建议乃至批评和抵制行为，促进了排名机构对排名方法的不断完善。

有争议的影响包括：

7.在高等教育资源的配置中，一方面促进了政府通过重点建设计划等增加对高等教育的投入，但另一方面也造成了高等教育资源分配的不均衡、高校之间的分层和同质化现象。

8.在招生与择校中，一方面促进了部分高校生源数量和质量的提升，另一方面也可能增加学生择校的不确定性，对低收入群体和弱势群体的学生造成不公平。

9.在学生的学习经历上，一方面可以从培养项目的质量和师资水平等方面提高学生的学习经历，另一方面也可能在课程设置、课堂教学、学生服务等方面破坏学生的学习经历，并可能对低排名高校学生、低收入学生的培养造成不公平。

10.在高校的排名名次上，对排名的应用一方面直接促使部分高校在排名中的名次得到提升，但在提高名次的过程中可能造成排名替代高等教育初始教育目标等问题。

总体上，学术性样本文献认为应用大学排名对高等教育产生的影响争议较多。从各大类所包括的具体影响的数量来看，各主体应用大学排名产生的消极影响、积极影响和有争议的影响数量基本相当，有争议影响的数量略多于积极影响和消极影响。从样本文献涉及各大类影响的频次来看，涉及有争议影响的样本文献数量明显多于涉及消极影响、积极影响的样本文献数量。

（四）对大学排名应用行为的价值评估

该研究对排名应用行为的价值进行评估的标准包括：排名应用行为是否有利于高等教育人才培养、科学研究和社会服务等根本任务的实现，是否符合现代社会普遍认同的“真”“善”“美”“公正”“平等”“诚实”“守信”等正向价值观念，是否超越和放大大学排名作为信息工具的价值。根据以上标准，排名应用行为的价值可以归纳为三种类型：第一种为合理应用行为，即应用行为同时满足上述三个标准；第二种为滥用行为，即应用主体在使用过程中将大学排名的重要性过于拔高、放大了排名的信息工具价值；第三种为误用行为，即应用主体不考虑应用行为是否有利于人才培养、科学研究和社会服务等根本任务的实现，不顾及应用行为是否符合现代社会普遍认同的正向价值观念。

该研究对50种具体应用行为进行价值评估的结论是：各主体应用大学排名的情况较为积极，超过半数的行为是以合理应用为主，误用为主的行为比例很低，但仍存在相当比例的放大排名的重要性和价值的应用行为，包括合理应用与滥用并存的行为以及滥用为主的行为。进一步考虑到在样本文献中的重要程度以后，各价值类型的应用行为比例分布与未考虑重要程度以前的分布基本一致，但合理应用为主的行为比例有所上升，从52%上升到57%。

不管应用排名的主体是谁，都应认识到排名的价值关键在于其所承载和传递的高等教育信息，排名究其本质是一种信息工具，所具有的是工具价值。各应用主体应明确和坚定自己参与高等教育活动的初始目标，不将排名的价值上升到目的价值的高度。在追求资源、地位、质量等目标时，不过于放大排名的工具价值，将排名上升为实现这些目标的必然手段，应在兼顾自己特点和需求的基础上，参考尽可能多的信息来源。

（五）对大学排名及其应用的反思

通过对全球性和国家性大学排名机构负责人的问卷调查发现：各主体对大学排名的实际应用以超出大学排名机构的预期为主；在50种具体应用行为中，近50%的行为超出了大多数排名机构的预期，包括使用与否的预期或应用程度上的预期；相比较而言，符合大多数排名机构预期的行为比例仅为30%。

通过对近年来欧洲多维排名改善排名方法的案例分析和反思发现：大学排名应用中存在的问题不单是应用主体的问题，排名机构、排名本身的方法也深深影响着大学排名的应用行为及其价值取向。因此，要减少各主体应用大学排名中发生的误用和滥用行为以及产生的消极影响，不仅需要应用主体的努力——合理、有度、有效地应用大学排名，还需要大学排名机构对排名的不断完善和改进，以及大学排名国际组织对排名的引导与监督。