APP下载

城市的经济与人口对大众心目中的高校排名影响研究

2023-10-14邱丹阳韩筱璞

电子科技大学学报 2023年5期
关键词:次序受访者问卷

邱丹阳,韩筱璞

(杭州师范大学阿里巴巴复杂科学研究中心 杭州 311121)

高校评价指的是对高校教学、科研、社会协作等各方面水平的评估与定位,是测度高校发展状况的主要手段,在高校管理与创新发展方面有着重要意义。一方面,高校评价可以强化高校自我认知,为高校发展提供明确的决策导向,促进高校自我管理与改进[1],另一方面,高校评价还可以为大众选择高校提供信息和指导作用[2-3]。此外,高校作为地区创新发展的重要主导,高校评价也同创新人才的引进密切相关[4-6]。

由于高校的职能复合了人才培养、基础创新、社会发展等多个方面,因此如何科学地评价高校的综合水平成为了一个系统性问题。一般而言,为了保证评价结果的可靠性与全面性,评价方法往往综合了各项社会发展需求[7-9],从多个角度对高校水平进行考察评价。人才培养、科学研究、声誉影响和国际化水平等一直以来都是最常见且最受关注的几个维度[10-12],而每一个维度也可以通过多种不同层次的指标来表现。常见的高校评价测度指标主要包括一系列的教学质量指标、师生比指标、各类的论文发表与引用指标、多种国际合作指标、学术声誉指标、产业影响指标等[13-16]。

高校排名体系综合了各项高校评价指标的比较表现形式。近年来,各类高校排名体系相继出现,它们主要来自一些专门做高校评价的专业性机构。虽然这些排名体系存在一些局限性和固有的争议[17-19],但总体来说,它仍可以作为衡量和比较不同高校的综合水平的参考依据[20-22]。由于不同的排名体系采用的高校评价方法和指标体系不完全一致,所产生的测度重心和评价导向也有所不同[23],因此学者们也对各排名体系之间的衡量维度、指标及权重和排名结果进行了大量比较研究[24-28]。可以确定的是,学术研究绩效一直是高校排名体系的核心,整个测评体系的主要权重往往被赋予各类基础研究指标,其次是声誉类指标[29]。

纵然各个专业性评价机构已经构建并发布了大量的高校评价指标及排名,但对于大多数民众而言,对高校的评价与排名的认知往往并非直接来自这些专业的高校排名,更多来自于他们的日常感知与社会口口相传。即使是面临升学等重要选择,民众往往也仅查阅少数几所高校的评价与排名,而难以对全国高校的排名建立整体性的记忆。这意味着,在人们做出涉及高校的行为选择时,如升学、招聘、展开同高校的社会合作等,起到更多影响的往往不是来自专业机构的评价指标,而是大众心目中对高校的评价。然而,至今罕有研究来挖掘分析高校的大众评价与排名。

本文研究尝试对大众心目中的高校评价排名进行系统性的挖掘和分析。以在校大学生作为代表性社会群体,通过问卷调查手段获得其心目中的高校排名(即该群体对高校的大众评价)与实际高校排名之间的差异信息,并研究分析该差异与高校所在城市的人口、经济指标的关系,发现受访者更倾向于给于经济发达地区的大城市内的高校超出其实际排名的评价,并通过拟构排名的手段定量刻画了各项城市指标对高校的大众评价的影响。

1 问卷设计与发放

在问卷设计中,考虑到排名较为靠前的高水平高校往往有着较高的知名度和社会关注度,为了有效获取高校的大众评价信息,选择这些高水平高校作为调查对象。参考了4 个有着广泛接受度的高校排名体系,包括软科中国大学排名[30]、武书连[31]、校友会[32]及中国科教评价网[33],从中挑选出2017年—2021 年的5 个年份里4 类排名全部进入全国前100 名的高校共有65 所,涉及高校所驻城市25个,其具体高校名录和城市在后文表格中完整呈现。这65 所高校就是本次问卷调查所涉及的高校。

直接让受访者列出这65 所高校的口碑信息是不现实的。本次问卷调查中,让受访者从一系列成对列出的高校中选择出他们认为排名靠前者,来获取高校口碑的相对排名信息。把这65 所高校两两组合出高校对,然后筛选出同时满足以下两个条件的高校对:

1)这两所高校所在城市不同;

2)这两所高校(如排名靠前者为高校甲,排名相对靠后者为高校乙)的排名次序在2017 年—2021 年的5 个年份的4 个排名体系均满足同一序列,即在这20 项排名列表中,高校甲均排名在高校乙之前。

同时满足这两个条件的高校对共1 325 对。但不同城市所涉及的高校数目差异巨大,如果问卷题目直接从这些高校对中随机抽取,会使得各个驻在城市在问卷中的出现频次很不均匀。因此需要在构建问卷时对这些高校对进一步抽取,使其可以较为均匀地覆盖各个驻在城市。这里分两步进行高校对的筛选。

1) 确定城市。先在1 325 个高校对所对应的城市对中筛选出所有不重复的城市对,共392 个城市对,涉及25 个不同的城市。再在392 个城市对中最大程度地抽取出符合特定条件的若干组城市对,其中每组城市对的抽取结果均要同时满足以下3 个条件:①每组都包含25 个城市对,每个城市对不重复出现;②每组的25 个城市对中,都涉及到25 个不同的城市;③这25 个不同的城市,每个城市在该组的25 个城市对中出现的次数都为2(不限制每个城市在其对应的城市对中的排列位置)。

为了同时满足以上3 个条件,每组城市对的抽取方法如下:

首先,基于待抽取的392 个城市对总体,先对这25 个不同的城市按照它们在总体中出现的总次数按从少到多的顺序进行排序;接着,从排序结果中依次抽取城市,并连续抽取同一城市两次,每抽出一个城市后,按以下规则从城市对总体中抽取一个城市对:根据抽出的城市,从城市对总体中筛选出所有涉及到该城市的城市对,并从中选出一个城市对,要求被选出的这个城市对中的两个城市都满足未出现过或只出现过一次在这组已抽取到的城市对中,并从城市对总体中剔除这个城市对;

当抽取到的某个城市在这组已抽取到的城市对中出现过两次,就依次抽取下一个城市,同样按上述规则抽取城市对;一直抽取到这组的最后一个城市,并完成其城市对的抽取。

按上述抽取方法,每抽取出一组同时满足以上3 个条件的城市对,就进行下一组的抽取,直到抽取不出同时满足以上3 个条件的一组城市对。最终抽取到9 组,共225 个不重复的城市对。

2)确定高校。在1 325 个高校对中筛选出与225 个城市对分别对应的一个高校对,当存在同一个城市对包含多个高校对的情况时,只需要在这些高校对中随机抽取一个即可。最后确定9 组高校对,其中共包含225 个高校对,涉及58 个不同的高校。

在问卷编制中,将这9 组高校对分别纳入9 份问卷中,每份问卷包含25 个高校对。从这9 组中随机抽取一组高校对来生成问卷,在问卷中,要求被调查者在每一个高校对中选出他心目中认为排名更靠前的一所高校。为了保障问卷回答的有效性,将问卷发放对象集中在在校大学生群体中,因为在校大学生群体刚经历了对高校的选择,对高校评价这一问题往往有着更高的关注。问卷中还包括对被调查者中学所在城市、目前就读的高校及所在城市等基本信息,方便统计了解和比较全国各地区学生的答题情况。为了最大程度地避免被调查者在回答问卷时检索高校的实际排名,限定被调查者必须在4 分钟内完成对高校对的问题回答并提交问卷。

2 问卷信息分析

此次问卷调查共收集到有效问卷1 245 份,其中博士研究生(连读或直博)问卷7 份,博士研究生(非连读或直博)问卷9 份,硕士研究生问卷146 份,本科生问卷1 056 份,专科生问卷27 份。考虑到本科生刚刚经历高校选择不久,且所收有效问卷数量最多,因此本文将受访者为本科生的1 056份问卷作为主要分析对象,共包含26 390 个有效的问题回答。1 056 份本科生问卷的省份来源、该省份的总有效问卷数N以及问卷来源最多的3 所高校如表1 所示。

表1 1 056 份本科生问卷的基本信息(括号内为有效问卷数量)

把受访者对每一个高校对的选择进行汇总,并根据高校实际排名,统计出每一个高校对的正答率。受访者可能对他们所在一级行政区(省、自治区、直辖市、特别行政区)的高校存在一定的心理倾向性,因此首先需要确定这种心理倾向性是否真实存在。

问卷中的问题涉及受访者所在一级行政区主要存在两种情况:1)问卷中的高校对涉及受访者高中所在一级行政区,这里所涉及高校在高校对排名靠前和靠后的情况分别标记为HF 和HL;2)问卷中的高校对涉及受访者大学所在一级行政区,这里所涉及高校在高校对排名靠前和靠后的情况分别标记为CF 和CL。对这两种情况的题目回答的正答率同同一题目但完全不涉及受访者高中和大学所在一级行政区的情况进行比较,计算其正答率比值。以情况HF 为例,正答率比值QHF为:

式中,AHF为该题目情况HF 下的正答率;A0为该题目在完全不涉及受访者高中和大学所在一级行政区的情况下的正答率。

每一题目在HF、HL 及CF、CL 情况下的正答率比值的分布分别如图1a 和图1b 所示,其中横轴为高校实际综合排名的对数差:

图1 各题目在HF、HL、CF、CL 情况下的正答率比值Q 与实际排名的对数差Δlog(R)的关系。

式中,RL、RF表示在每个高校对的两所高校中,名次分别位于后、前的高校的实际综合排名。注意,本文中高校的实际综合排名指的是各高校在2017 年—2021 年共5 个年份的4 种排名的平均名次。

由图1 可以看出,受访者所在一级行政区涉及排名靠前高校时其正答率总体偏高(QHF和QCF均大于1),而涉及排名靠后的高校时,正答率相对偏低(QHL和QCL均小于1)。两者的正答率均值差异都较为显著(两者差异的P值均小于0.001)。由此可见,高估受访者所在的一级行政区内的高校的心理倾向性是客观存在的。因此,为了使各高校之间的比较结果相对客观,在后续分析中,把以上4 种涉及受访者所在一级行政区的情况(HF、HL、CF、CL)的回答全部剔除,仅保留高校对完全不涉及受访者所在一级行政区的情况下的回答,共余23 184个回答。

3 高校实际排名与正答率的关系

首先观察高校实际综合排名与正答率的关系。图2 显示了每个高校对的两所高校的实际综合排名的对数差Δlog(R)与正答率A0的关系,其Pearson 相关性系数r= 0.484(显著性P< 0.001),Spearman 相关性系数ρ = 0.490(显著性P< 0.001),Kendall’s tau 相关性系数τ= 0.343(显著性P<0.001),显示出中等强度的正相关性,A0的均值为0.689,说明大众对于问卷所涉及的各高校的实际水平有一定了解,但了解程度非常有限。

图2 剔除4 种情况(HF、HL、CF、CL)后,各高校对的正答率A0 与高校实际综合排名的对数差Δlog(R)的关系

图2 中正答率的散布呈现随Δlog(R)增大而收窄的趋势。在Δlog(R) > 0.8 的区域,正答率分布较窄,集中在0.8~1.0 的较高区间,显露出当两所高校的实际综合排名差距较大时,受访者能够较为准确地对高校排名进行判断。然而,在Δlog(R) <0.6 的区域,正答率散布在0.2~1.0 的宽大区间中,不但显示出当两所高校的实际综合排名差距不大时受访者难以准确判断高校排名,而且暗示受访者对高校的评价可能受到其他因素的干扰。猜测高校驻在城市的规模、经济发展水平等因素可能包含在这些影响因素之中,并对此进一步分析。

4 城市指标影响挖掘

4.1 正答率与各城市指标的关系

首先观察各高校驻在城市的规模、经济发展水平与相关高校对的正答率的关系。这里采用城市总常住人口、城镇人口占比、第三产业产值占地区生产总值的比重、人均地区生产总值4 个指标来表征城市规模与经济发展水平信息,其具体数据获取自2021 年《中国城市统计年鉴》,为2020 年各城市的统计指标。

考虑到不同城市之间各项指标常常差异巨大,用每一个高校对的两个城市的指标的对数差作为其差异的测度。以城市的总人口为例,对每一个高校对,相应驻在城市的总人口的对数差为:

式中,pF和pL分别是高校对中排名靠前和靠后的高校的驻在城市的总人口值。

每一个高校对相应驻在城市的总常住人口p、城镇常住人口占比U、第三产业产值占地区生产总值的比重VT、人均地区生产总值GC,其对数差(Δlogp、ΔlogU、ΔlogVT、ΔlogGC)与该高校对的正答率A0的关系如图3 所示,其各项相关性系数(r,ρ,τ)在表2 中列出,其中各个指标的对数差均表现出较为显著的正相关关系。表2 还显示了以上各关系在排除ΔlogR的影响后的偏相关系数rp依然显著,而偏相关性最强的指标则是城镇常住人口占比U,其次为第三产业占比VT。这说明,受访者对高校对的判断与高校驻在城市有着显著的关系:如果城市指标次序与高校排名次序一致,即靠前高校位居指标较高的城市,则城市指标相差越大,受访者对该高校对的判断正确率越高;反之,若城市指标次序与高校排名次序相反,则可以明显干扰受访者的判断。换句话说,对一些驻于城镇规模较大、第三产业较发达的城市的高校,受访者倾向于靠前估计其排名。

表2 正答率A0 与各项城市指标的对数差的相关性系数

4.2 拟构最优虚拟高校排名

为了进一步分析各项城市指标的影响,需要把受访者心目中的高校排名同实际排名进行对比分析。问卷信息中并不能直接获得这个心目中的高校排名,但是,如果能够构建出一个虚拟的高校排名Rr,使得实际问卷中根据该虚拟高校排名所得的正答率(下文中称其为虚拟正答率)Ar达到最高,那么这个Rr就最为接近受访者心目中的高校排名。

获得这一最优的虚拟高校排名的基本方法是对高校的实际综合排名进行调整,翻转正答率小于0.5 的高校对的排名顺序来逐步提高虚拟正答率。具体步骤如下。

1)调整高校次序生成一个有着最高虚拟正答率的序列。按照实际综合排名顺序,把58 所高校依次排列,获得从1~58 的次序序号(为了和排名区分,这里用次序序号来表示每个高校在该排序中的位置,并称该序列为高校次序序列)。然后,筛选出所有正答率小于0.5 的高校对,并按照正答率由低到高的顺序,逐个确定出每个高校对的两所高校在次序序列中的新位置。以高校i和高校j构成的高校对(i,j)为例,确定该新位置的步骤如下。

①关联高校对集合的筛选。在其余224 个高校对中,筛选出涉及高校i和j的所有高校对,并从中再筛选出两组高校对的集合:集合F,高校i和j均位于高校对中排序位置靠前的所有高校对;集合L,高校i和j均位于高校对中排序位置靠后的所有高校对。

②确定次序调整前后限。在集合F中处于靠后位置的所有高校的次序序号中,取其最前次序序号为后限;在集合L中处于靠前位置的所有高校中,取其最后次序序号为前限;

③次序调整条件判断。若后限大于前限,则将前后限之间的范围作为高校对(i,j)的次序序号调整的目标区间,对该高校对的次序进行下一步的调整;反之,则说明调整该高校对(i,j)会影响到其他高校对,放弃对该高校对的调整,按照正答率由低到高顺序选择下一个高校对,重复以上操作。

④次序调整。将高校i和j颠倒其前后次序,并一起插入到目标区间范围内,即次序序列中前后限对应高校之间,并根据调整后的高校次序序列获得每个高校新的次序序号。这里,考虑到拟构的虚拟排名并不宜对实际排名做出太大变动,因此,选择目标区间内使这两所高校的次序改变量的绝对值之和最小的位置作为其目标,调整前后高校的次序改变量定义为:

式中,Sr为调整后高校的次序序号;S0为调整前高校的次序序号。

⑤按照正答率由低到高的顺序选择下一个高校对,重复以上操作,直到全部正答率小于0.5 的高校对都被处理一遍。

2)维持虚拟正答率在最高水平不变,调整高校次序来缩小高校的次序改变量。完成第一步的处理后,就得到这58 所高校的一组新的次序序列,这个序列的虚拟正答率达到最高值0.708。随后对全部高校对逐一进行次序调整,调整方法同第1)步中的步骤①~步骤⑤,区别仅在于:在步骤④进行次序调整时,不颠倒所处理的高校对中两所高校的前后次序;并且若目标区间中的位置无法满足次序改变量绝对值之和小于调整之前,则放弃调整。

完成第2)步调整后,所获得的这一最优虚拟高校次序序列满足虚拟正答率在最大值0.708 且各高校的次序改变量的绝对值之和最小。然后,考虑到不宜调整这58 所高校之外的高校排名,根据这58 所高校的实际综合排名及其次序,按照最优虚拟高校次序序列的相应位置进行替换。如南京大学的实际综合排名是6.45,在这58 所高校中排第6 位,经过调整后的最优序列中武汉大学位居第6 位,因此将原南京大学的排名值6.45 赋给武汉大学作为其最优虚拟排名。由此,获得最终的虚拟高校排名序列。各高校的实际综合排名和其最优虚拟排名如表3 所示。

表3 在5 个年份里4 种大学排名均进入前100 名的65 所高校在2020 年的排名信息及其实际综合排名R和最优虚拟排名Rr

4.3 各项高校排名及最优虚拟排名的关联性分析

进一步对各项实际高校排名和最优虚拟排名之间的关系进行挖掘。各高校的4 种实际排名(软科榜、武书连、校友会、中评网)的5 年均值以及最优虚拟排名Rr之间的Kendall’s tau 相关性系数τ和互信息值I如表4 所示(括号内为互信息值)。可以看到,中评网同其他3 种实际排名之间的相关关系相对强烈;而最优虚拟排名同武书连、校友会两种排名的相关性则相对较弱,说明最优虚拟排名的测度倾向性同它们的差异更大,包含更多这两种排名中未被纳入的信息。

表4 4 种高校排名中各高校的5 年均值及最优虚拟排名Rr 之间的Kendall’s tau 相关性系数τ 和互信息值I

4.4 高校排名变化量同城市指标的关系分析

观察各个高校的排名改变量同驻在城市的各项城市指标的关系,这里高校的排名改变量定义为高校的最优虚拟排名和实际综合排名的比值的对数log(Rr/R)。排名改变量的正负分别意味着高校的最优虚拟排名相对其实际综合排名靠后和靠前。

对城市总常住人口、城镇人口占比、第三产业产值占地区生产总值的比重、人均地区生产总值这4 个城市指标进,相对于全国平均水平的比值进行分析,即4 个相对性城市指标(相对城市总常住人口q、相对城镇常住人口占比u、相对第三产业产值占比vT、相对人均地区生产总值gC)。高校的排名改变量同这4 个相对性城市指标的关系如图4所示,均呈现负相关关系。其中,相对城镇常住人口占比u、相对第三产业产值占比vT有着最为强烈的负相关关系,其3 项相关性指标(Pearson 相关性系数r、Spearman 相关性系数ρ 和Kendall tau 相关性系数τ)均较为显著(P< 0.05),如图4b 和4c 所示。而相对城市总常住人口q、相对人均地区生产总值gC的相关性相对较弱,只有部分相关性指标显著,如图4a 和4d 所示。

图4 各高校的最优虚拟排名相对真实排名的改变量log(Rr/R)同各城市指标的相关关系

为了确定各项城市指标同排名改变量之间的定量关系,考虑到这4 个城市指标之间的相关性,采用主成分变量进行回归分析的方法。所构造的主成分变量形式为:

式中,q*、u*、分别为4 个相对性城市指标q、u、vT、gC的z-score 标 准 化 值;ak、bk、ck、dk为常数因子。4 个主成分变量分别为:

所得的回归方程为:

根据该回归方程,对某高校i,其最优虚拟排名同其实际综合排名及各城市指标的关系为:

式中,指数β 为:

根据式(8)和式(9),可以看出城市的城镇常住人口占比和第三产业产值占比对于人们心目中的高校排名有着相当强烈的影响。如果一个城市的城镇常住人口占比超过90%的城市,则可导致人们对其驻在高校的排名靠前估计平均超过7%,而若其第三产业产值占比超过90%的城市,可以导致靠前估计平均超过9%。该结果说明,对于城市化程度较高、第三产业发达的地区,人们会倾向于高估它们所驻高校的实际水平。而一些经济发展较为迟缓的地区,其高校口碑也会因此受到负面影响。如吉林大学,其驻在城市长春市的城镇人口占比和第三产业占比在这58 所高校的驻在城市中均处于后进位置,导致其最优虚拟排名大大落后于其实际综合排名(其排名改变量高达0.383)。

以上结果暗示出,提升一个城市的城市化水平、促进其第三产业发展,可以大大推动该城市所驻高校的社会评价的提升,更有利于巩固高校与城市经济之间的正反馈作用。反过来从高校角度来看,特别是处于经济落后地区的高校,在难以搬离所驻城市的前提下,要改善其公众认知,需要更加重视大众口碑的建设。文献[34]对网络问答社区学生选择高校信息的分析在这方面提供了重要的参考信息:除了反映高校自身教学科研水平的各项因素以及同所驻城市经济水平关联的因素之外,学校类型及学术声誉、学校氛围及校园环境、毕业生的职业前景与行业认可度、行政管理效率与方式等因素也被学生重点关注。这暗示了经济落后地区的高校改善其大众口碑的几个潜在突破口,即:

1)要高度重视学术声誉建设,增加重大科研成果、重大社会服务或社会协作成果在社交媒体上的科普推广频率与曝光强度;

2)需要重视高校产业影响力的建设,推动产学双方的协作联动,提升毕业生的行业认可度;

3)需要提升行政管理效率,构建高效且适应师生需求的新型管理方式,并改善教学生活环境与生活学习氛围;

4)根据当前口碑传播的现实,高校的口碑建设还必须充分结合各类新媒体手段,加强网络渠道的高校形象宣传与传播。

最后,把问卷所涉及的58 所大学的实际综合排名和最优虚拟排名分别在表5 中列出,方便读者进行对比。

表5 问卷调查涉及的58 所高校的实际综合排名R 和最优虚拟排名Rr

5 结 束 语

本文研究尽管存在一系列明显的局限,如调查对象主要局限于在校大学生、问卷数量有限、涉及高校和城市数目有限等,但其基本研究结论已经得到相当清晰的呈现,即:大众心目中的高校排名与专业评价机构所发布的排名信息有着显著区别,一些位居于城市化水平较高、第三产业发达的城市的高校可能因其地域而获得大大超越其实际水平的评价。一般而言,城市化水平较高、第三产业发达的城市,其整体经济常常也处于较发达的层次。相比于来自专业的高校评价机构的高校排名,这种大众评价可能对高校的生源质量、毕业生就业乃至社会合作有着更为直接的影响,暗示着即使不考虑经济发达地区本身的社会资源和吸引力,其高校也会直接受益于驻在城市本身。这也说明,如果要改善一所高校在大众心目中的评价,除了加强对高校的管理与投入实现更高水平的科研教学产出之外,大力推进其驻在城市的经济发展与市区人口的聚集也是一条重要途径。说明大众对高校的评价可能给高校自身发展带来的影响,地区经济与所驻高校之间的发展共轭效应可能比以往的估计更加强烈[35-36]。

猜你喜欢

次序受访者问卷
今天,你休闲了吗?
关于安全,需要注意的几件小事
低碳生活从我做起
汉语义位历时衍生次序判定方法综观
五成受访者认为自己未养成好的阅读习惯
生日谜题
问卷网
问卷大调查
放假一年
问卷你做主