研究生教育质量指数：构建与应用

王传毅 徐冶琼 程 哲



研究生教育质量指数：构建与应用

王传毅 徐冶琼 程 哲

在总结各类质量测度方法的基础上，构建出包含条件支撑力、国际竞争力、社会贡献力和大师培养力四个分指数的研究生教育质量指数。该指数具有较高的稳定性，能实现质量水平共时性的国际对比和历时性的趋势分析。对中、美、英、德、澳、日六国2013~2015年研究生教育质量指数进行测算的结果显示：虽然中国研究生教育质量总体水平显著低于世界其他国家，但具有明显的上升趋势，同时社会贡献力分指数也显示我国当前的经济发展对研究生教育有着旺盛的需求，而我国研究生教育也确实对本国经济社会的发展贡献显著。

研究生教育；质量；指数

随着高等教育大众化时代的到来，研究生教育规模出现了显著的扩张。在此背景下，社会各界对于研究生教育的质量问题格外关注。在博士生层次，《自然》杂志启动了针对八个国家的博士生教育质量调查，以“博士工厂（Ph. D. Factory）”为名发表。调查发现：博士生教育质量有下降趋势，规模扩张使博士生培养沦为“工厂化”，越来越多的博士无法学以致用，甚至找不到工作，或者即使找到了工作，许多工作也无法体现一名博士的价值[1]。在硕士生层次，目前尚无全球性的质量调查，但一些聚焦本国的研究表明，扩张之后的硕士生教育质量状况可能更加堪忧。例如，美国大学协会在19世纪上半叶（美国硕士生教育初次扩张之后）对美国硕士生培养单位进行了善意的提醒，“如果在全国范围内，硕士学位没有任何的标准可言，如果它仅仅意味着本科毕业后再多学习一年，那么我们有理由担心硕士学位最终沦为一个笑柄”[2]。中国硕士生教育质量也为社会各界所担心，至少近年来的一项研究表明，98%的中国硕士学位论文没有被核心期刊论文引用过，且其平均被引次数远低于核心期刊论文[3]。

质量危机在很大程度上促进了学者们对质量问题的思考。因为在教育实践中，矛盾错综复杂之际就是教育理论不断丰富完善之时。2010年，美国研究生教育年度峰会就质量的测度问题进行了广泛、深入的探讨，该次峰会收录的论文显示：从学位点投入、研究生学习、职业发展、研究生技能等方面开展的质量测度正日臻成熟[4]。这些丰富的研究生教育质量评估方法亟待集成，成为现实情境中科学、系统测度研究生教育质量的有力工具。

基于此，本研究在综合现有各类质量测度方法的基础上，运用指数分析方法构建研究生教育质量指数，推促研究生教育质量的历时性和共时性比较，从而为政府决策提供参考，为教育发展提供定位，为社会问责提供回应。

一、研究生教育质量指数的内涵

指数是一个统计学概念，最早起源于18世纪欧洲关于物价波动的研究，后来逐步拓展到整个经济社会领域。究竟什么是指数？按照统计学的解释，广义的指数就是指任何两个数值之比所形成的相对数；狭义的指数是为了反映某一社会现象而产生的两组有关联的数值之比形成的相对数。指数的种类很多，从反映内容看，指数可以分为数量指数和质量指数；从项目多少看，可分为个体指数和综合指数；从计算形式看，可分为简单指数和加权指数；从对比场合看，可分为动态指数和静态指数；从对比期来看，可分为定基指数和环比指数。

本研究构建的研究生教育质量指数是通过若干测量质量指标的加权计算，综合表征一国研究生教育质量现状、发展变化及其与相关国家研究生教育质量差异程度的相对数值。从这个意义上讲，研究生教育质量指数，是一个狭义的指数，是为了反映一国研究生教育质量水平所构建的相对数；是一个综合指数，拥有多项测量质量的指标；是一个加权指数，且各指标的权重有所不同；是一个动态指数，可反映研究生教育质量的发展变化；是一个定基指数，将既定年份既定国家的研究生教育质量数值作为基期，其他年份各国家的研究生教育质量数值作为报告期进行历时性的比较分析。

二、研究生教育质量指数的相关研究

设计研究生教育质量指数，必须首先参考相关的代表性成果。由联合国教科文组织开发的两项教育指数在全球受到广泛认可：一项是人类发展指数（Human Development Index）的分指数——教育指数（Education Index，EI），由平均学校教育年数（Mean Years of Schooling）和预期学校教育年数（Expected Years of Schooling）标准化后的均值计算得出[5]；另一项是全纳教育发展指数（The Education for All Development Index, EDI），由初等教育净入学率、成人识字率、小学5年级保留率（Survival Rate to Grade 5）以及教育性别平等指数四项指标标准化后的均值计算得出，其中教育性别平等指数是由小学毛入学率性别比、中学毛入学率性别比和成人识字率性别比3个指标构成[6]。国内相关学者所研发的教育指数也具有很强的适用性，例如教育经济学家王善迈所构建的包含教育投入指数、教育公平指数和教育产出指数三项分指数的教育发展指数[7]；长江教育研究院从规模度、投入度、质量度、公平度等十二个维度所构建的中国教育指数[8]。上述研究为本研究指标体系的设计提供了很好的思路：首先，要简约而不简单，用于国际对比且接受度很高的EI和EDI指标数量很少，但每个指标的筛选均有坚实的理论基础，是反映教育质量的核心指标；第二，要避免盲人摸象，从多个相关但不同的维度综合设计教育质量测量的指标；第三，要有效可比，最好能够兼顾历时性和共时性比较。

当然，国内不少学者已经对研究生教育质量指数有了深入的研究，其选取的指标见表1。这三项研究成果不仅涵盖了研究生教育方面的重要指标，也包括一些非常特色的指标，例如研究生总体满意度这一指标来源于学位与研究生教育杂志社在全国所开展的大规模调查，涵盖了各层次各类型的在读研究生，样本量超过6万人；研究生发表学术论文数、学位论文抽检优良率这两项指标的数据由湖南省学位办提供，是研究生教育质量的直接表征。

但对于本研究而言，上述研究也存在一定的局限性：首先，大多数指标难以实现国际之间的对比，即使是导师数这一看似简单的指标，由于各国的导师制度不同，在实际测算中也存在巨大难度。其次，对于适度指标的转换也需要进一步商榷，如生师比、专业学位硕士招生比例的最佳比例是多少，存在着争议。此外，很多指标无法通过公开数据源获取，例如学位论文抽检优良率。即使是研究生发表的论文数这一貌似可通过公开途径查找计算的指标，现实中若没有政府主管部门或高校的支持，也无法精确测量。笔者曾经通过人工的方式对2013年我国发表的400余篇ESI热点论文[12]、中文核心期刊刊载的1万余篇论文[13]进行查询，通过论文中作者介绍、网络引擎搜索以及发邮件等途径识别作者信息，工作量巨大，但总体上仍有约30%的作者无法判断身份。最后，上述研究主要着眼于培养过程，对于研究生毕业后的职业发展信息关注不多。因此，这意味着本研究需要在上述研究的基础上对指标进行取舍，并进行优化和补充，使之能够更好地为定位我国研究生教育质量提供支持。

表1 研究生教育质量指数研究的代表性成果

三、研究生教育质量指数的指标体系设计

究竟什么是研究生教育质量？国内外的研究基本形成了六种代表性观点：①学位点（或学位项目）质量，即培养单位用于开展研究生培养实践所投入的人力、物力和财力，例如美国研究理事会开展的博士项目评估，其指标包括师均论文数、著作被引数、师均获奖数以及获科研资助的教师比例等[14]。武汉大学中国科学评价研究中心每年发布的《中国研究生教育及学科专业评价报告》也主要采用博士生导师数、院士数、科研项目数等指标[15]。②课程教学质量，即研究生课程的学习质量，例如英国、澳大利亚每年定期开展的研究生教学体验调查（Postgraduate Taught Experience Survey）通过问卷调查的方式向在读研究生（英国）或当年毕业的毕业生（澳大利亚）获取其教学体验评分[16]。③科研体验质量，即研究生参与科研的体验及科研成果，包括英国、澳大利亚每年定期开展的研究生科研体验调查（Postgraduate Research Experience Survey），袁本涛采用的在读研究生对高水平期刊论文的贡献率以及王传毅采用的在读研究生科研项目参与率等[17]。④培养过程满意度，即研究生对培养过程中的环节、制度以及要素投入等方面的满意度，例如周文辉、王战军等每年开展的研究生满意度调查[18]。⑤学位论文质量，即硕士、博士学位论文在规范性、创新性等方面的表现，通常采用的指标包括学位论文抽检的合格率、优秀率，有时也通过学位论文的被引从侧面加以反映。⑥发展质量，即研究生毕业后的职业发展情况，包括研究生的就业率、学用匹配度、在重点企事业单位的就职比例以及平均起薪等[19]。上述六种质量都从某一方面抓住了研究生教育质量的特征，各具优势但也存在诸多不足（见表2）。因此需要整合不同质量内涵，构建一个综合、全面的研究生教育质量指数。

本研究认为，构建反映一国研究生教育质量、且能实现国际可比的研究生教育质量指数必须要有以下四个考虑：①考虑一国为研究生的教学以及科研训练所投入的资源数量及质量；②考虑一国相较于其他国家，其研究生教育的吸引力和竞争力；③考虑研究生对本国经济社会发展所做的贡献；④考虑培养出的推动人类科学进步的学术大师。基于此，本研究将从“四个力”的维度设计国家层面的研究生教育质量指数。

第一是资源支撑力，即测度支撑一国研究生教学和科研训练的优质资源数量，包括教学、科研、师资和学科四个方面。教学的量化往往不太容易，一般采用生师比这一指标，但生师比本身存在着各国计算口径不一、最佳比例不明等问题，故本研究将教学声誉作为教学质量的观测指标，将声誉进入全球排名前500的院校总数作为一国研究生教学质量的体现。科研条件的量化往往较为容易，较之于科研经费的总量，本研究采用博士生均研发经费作为观测点，即投入高等教育部门的R&D经费与在学博士研究生的比例，这更能反映科研经费对研究生，特别是以科研为主要任务的博士生的支撑程度。师资条件，特别是教师的质量也缺乏全球可比的指标，国外采用的讲席教授数，国内采用的院士数、长江学者数都难以实现国际之间的对比。科睿唯安（Clarivates）公司依据科学家们发表的SCI/SSCI/ A&HCI检索的学术论文及其被引情况筛选出了全球范围内的高被引科学家，这可视为在同一标准下对各国教师质量进行评价的一项指标。学科平台是一项综合性的指标，目前国内外经常使用科睿唯安公司采用的ESI学科排名，但一方面由于ESI学科排名与高被引科学家来源于同一数据源，属于相同数据的不同形式，具有一定的重复性，另一方面，ESI学科排名主要依据论文发表数、论文被引和篇均被引三个指标计算，因此，本研究采用的是泰晤士报所发布的世界大学学科排名中排名前100的学科数量，该排名是一项综合性指标，综合了教学、科研、校企合作以及国际化等多个方面的指标。

表2 不同类型研究生教育质量的优点与缺陷

第二是国际竞争力，测度既定国家在吸引出国留学研究生方面所拥有的竞争力，即当年出国留学的研究生群体有多大比例选择了既定国家。本研究主要采用留学生份额进行观测，即一国研究生层次中留学生数量占当年全球留学生总量的份额，该指标反映的是在全球留学研究生市场中，一国所拥有的“市场份额”，较之于目前通用的留学生占本国学生比例这一指标，更能规避本国教育规模对指标计算的影响。

第三，社会贡献力，即研究生教育为本国经济社会发展所做出的贡献。按照劳动经济学的基本观点，工资体现着劳动的价值，因此采用研究生平均工资这一指标可以从整体上测量一名研究生对经济社会发展的贡献。但由于各国的工资水平受到其物价水平、通货膨胀率以及汇率水平等多方面的影响，故本研究采用的是研究生的相对收入这一相对指数，即研究生平均收入相对于本科平均收入的倍数，从而相对地衡量研究生对本国经济社会发展所做出的贡献。另一方面，在不考虑研究生个人就业意愿和摩擦性失业的前提下，研究生的就业率是一国劳动力市场对研究生需求程度的直接反映，当工资水平不变的情况下，就业率越高对本国经济社会发展所做的贡献就越大。

第四，大师培养力，以一国研究生教育所培养出的学术大师数量来衡量。虽然随着研究生教育规模的扩张，研究生教育类型也在不断多元化，但研究仍然是研究生教育最为核心的任务之一，推动知识边界的前移是研究生教育永远不可能回避的任务。即使是一些学者发现博士生教育的本质已经从培养学者转为培养精英，但只是一个外延扩大的过程：精英不仅包括学者，也包括将科研能力迁移至应用性场景并创造性解决现实问题的博士[20]。从某种意义上说，培养出的学术大师数量是代表一国研究生教育水平的重要指标。

基于此，本研究设计的研究生教育质量指数的指标体系见表3。

四、研究生教育质量指数的测算

由于研究生教育质量指数指标体系中各指标的单位不统一，且某些指标中具有奇异值，故本研究先将原始数据通过自然对数变化，使其数值差异相对平缓，再将既定指标中2013年中国的数值设为100，通过与不同年份不同国家的数值进行比较，得到其他年份不同国家的指数值。

由于总指数的计算需要汇总不同指标所计算的单一指数值，需考虑指标的赋权问题。本研究采用三种赋权方法：①平均赋权法，即采用联合国教科文组织的教育发展指数的赋权方法，将每个指标视为同等重要，权重相等。②区分度赋权法，即按照不同指标对国家之间发展差异的区分度进行赋权，从而凸显差异，强调对比。具体做法是将各指标数值的方差和总方差计算出来，指标权重等于该指标方差占各指标方差之和的比重。方差越大，说明该指标内部各国的数值差异越大，即指标的区分度越高，当其数值乘以由其较大方差所决定的权重时，该指标中各国的指数值差异将会被放大。③专家赋权法，即选取多位专家按照指标重要性的认知对其权重进行打分，通过层次分析法将通过一致性检验的专家打分转化为指标权重。各指标在三种赋权方法下的权重数值见表4。权重数值显示：三种方法所赋权重具有较大的差异，平均赋权法与区分度赋权法的权重不相关（相关系数为–0.04），区分度赋权法与专家赋权法的权重中度相关（相关系数为0.63），平均赋权法与专家赋权法的权重低度相关（相关系数为0.28）。

表3 研究生教育质量指数的指标体系

注：1.博士生均研发经费为“高等教育部门R&D经费”除以“在学博士生数”，“高等教育部门R&D经费”数据来源于OECD统计库https://stats.oecd.org/，“在学博士生数”数据来源于英国高等教育统计署http://www.hesa.ac.uk/、德国联邦统计局https://www.destatis.de/、澳大利亚统计局http://www.abs.gov.au/、日本文部科学省http://www.mext.go.jp/、《中国学位与研究生教育发展年度报告》。美国在学博士生数由作者基于美国博士的入学数、流失率和完成率所建立的预测模型计算得出，模型明细可向作者咨询：wcy1985@tsinghua.edu.cn。

2.美、英、德、澳留学研究生占全球留学研究生数量的比例来源于OECD数据库、日本留学生数来源于文部科学省http://www.mext.go.jp/、中国留学生数来源于“来华留学生简明统计”，按照日本和中国留学生数与英国留学生数的比例关系将其占全球的份额进行折算。

3.OECD所给出的研究生相对收入指数是将高中毕业后的收入作为参照系，本研究中进行了换算，将OECD中的研究生相对收入指数除以本科生相对收入指数得到相对于本科生的研究生相对收入指数。由于OECD未提供中国研究生相对收入指数，作者通过麦可思数据（北京）有限公司抽样调查所得的一线、二线和其他城市研究生和本科生的工资水平，将各省市研究生学历比重、技术市场成交额、GDP生产总值和城镇非私营单位就业人员平均工资聚为三类，并按照类中数量进行平均工资的加权计算。

4.研究生获诺贝尔奖、菲尔兹奖的人数得分来源于软科公司的世界大学排名，但限于时间关系并未区分本科生和研究生，将在后续研究中改进。

表4 各指标赋权法计算权重数值

由于篇幅有限，本研究仅展示三种赋权方法下所计算的总指数以及采用平均赋权法计算的分指数。图1至图3分别展示了用平均赋权、区分度赋权和专家赋权所计算出的研究生教育质量指数。第一，虽然三种权重设置具有显著的差异，三种赋权方法的计算结果显示出高度的一致性，不同赋权方法下所计算出的质量指数两两之间的相关系数均高于0.95，为显著的高度相关，这表明无论是基于专家对指标重要性的理解、指标自身的区分度还是将所有指标等量齐观，利用该指标体系对各国研究生教育质量水平的监测均有很高的稳定性；第二，从共时性特征来看，美国研究生教育质量总指数始终遥遥领先，英国虽跟随其后，但仍有显著距离，德国、日本和澳大利亚三者非常接近，中国距离上述国家还有明显差距；第三，从历时性特征来看，美国虽然指数水平较高，但近三年有微弱的下降趋势，英国稳中有升，日本、澳大利亚和德国处于接近水平，基本稳定，变化趋势不显著，中国虽然指数数值较低，但近三年增幅显著，进一步缩小了与上述五国的差距。

图1 研究生教育质量总指数（平均赋权）

图2 研究生教育质量总指数（区分度赋权）

图3 研究生教育质量总指数（专家赋权）

从不同分指数具体来看，各国在条件支撑力、国际竞争力、社会贡献力和大师培养力表现出来的特征不尽相同。限于篇幅，我们仅呈现社会贡献力分指数的分析结果①，研究发现：世界各国研究生教育的社会贡献力基本相当。但值得关注的是，中国研究生教育的社会贡献力要明显优于其他国家，并且呈现出上升的趋势，反映出我国当前的经济发展对研究生教育有着旺盛的需求，而我国研究生教育也确实对本国经济社会的发展贡献显著。这也表明：研究生教育质量指数除了需要寻求国际可比的共性标准，也应该立足本国国情，加强考察本土贡献这一相对标准。

图4 社会贡献力分指数（平均赋权）②

五、结语

本研究在综合各类质量测度方法的基础上，构建出了包含条件支撑力、国际竞争力、社会贡献力和大师培养力四个方面的研究生教育质量指数，其中条件支撑力旨在反映支撑研究生教育发展的资源数量，国际竞争力旨在反映一国吸引留学研究生所拥有的竞争力，社会贡献力旨在反映研究生教育为本国经济社会发展所做出的贡献，大师培养力旨在反映一国研究生教育培养出拔尖创新人才的水平。

本研究通过对美、英、德、澳、日、中六国2013年到2015年相关数据进行指数测算，发现本次构建的研究生教育质量指数在不同赋权方法下测算结果呈现高度的一致性，说明该指数测算方法稳定，并且能够实现质量水平共时性的国际对比和历时性的趋势分析。

从本次研究对六国研究生教育质量指数测算结果上看，虽然中国研究生教育质量总体水平显著低于世界其他国家，但具有明显的上升趋势。从四个分指数的测算结果看，我国研究生教育在条件支撑力和大师培养力上都显著落后于所对比的发达国家，但在社会贡献力上与其相当，国际竞争力上高于日本。

在未来对研究生教育质量指数的研究当中，需要通过积累更多国家研究生教育质量相关数据，加入更多能够反映研究生教育质量的指标，以期进一步优化当前的研究生教育质量指数。

[1] CYRANOSKI D, GILBERT N, LEDFORD H, et al. Education: the PhD factory[J]. Nature, 2011(472): 276-279.

[2] THOMAS C. The Degree of Master of Arts[C]//Journal of Proceedings and Addresses of the Twelfth Annual Conference of the Association of American Universities. Washington DC: AAU, 1910: 34-50.

[3] 王传毅, 吴笛, 王兴咏. 我国硕士、博士学位论文的学术贡献有多大?——基于2013年核心期刊论文参考文献的实证分析[J]. 清华大学教育研究, 2015(5): 77-82.

[4] Council of Graduate Schools. Global perspectives on measuring quality, proceedings of the 2010 strategic leaders global summit on graduate education[C]. Brisbane: Council of Graduate Schools, 2010.

[5] Human development report 2016: human development for everyone[EB/OL]. (2018-08-24). http://hdr.undp.org/sites/ default/files/hdr2016_technical_notes_0_0.pdf.

[6] The education for all development index[EB/OL]. (2018-08-24). https://en.unesco.org/gem-report/sites/gem-report/files/2015Report_EDI2012_Annex.pdf,2017-05-17/2018/08-24.

[7] 王善迈, 袁连生, 田志磊, 等. 我国各省份教育发展水平比较分析[J]. 教育研究, 2013(6): 29-41.

[8] 张炜, 周洪宇. 中国教育指数2016[R]. 武汉: 长江教育研究院, 2016(3).

[9] 王战军, 唐广军. 研究生教育质量指数构建研究[J]. 学位与研究生教育, 2017(12): 44-49.

[10] 翟亚军, 王战军, 彭方雁. 研究生教育质量的指数测度方法——对“985工程”一期教育部直属高校的实证分析[J].教育研究, 2012(2): 79-83.

[11] 常思亮, 何维雄. 研究生教育质量指数预警模型的构建及其应用——对湖南省属重点高校的实证分析[J]. 大学教育科学, 2015(6): 20-25.

[12] 袁本涛, 王传毅, 胡轩, 等. 我国在校研究生对国际高水平学术论文发表的贡献有多大?——基于ESI热点论文的实证分析(2011~2012)[J]. 学位与研究生教育, 2014(2): 57-61.

[13] 袁本涛, 王传毅, 吴青. 我国在校研究生的学术贡献有多大?[J]. 高等工程教育研究, 2015(1): 154-160.

[14] OSTRIKER J P, HOLLAND W P, KUN V C, et al. A guide to the methodology of the national research council assessment of doctorate programs[EB/OL]. (2009-01-01) [2018-08-24]. https://www.nap.edu/download/12676.

[15] 邱均平. 中国研究生教育及学科专业评价报告[M]. 北京: 科学出版社, 2012.

[16] 袁本涛, 王传毅, 赵琳. 解码研究生科研体验调查: 基于澳、英的比较分析[J]. 现代大学教育, 2015(3): 70-77.

[17] 王传毅, 乔刚. 省域研究生教育质量评价指标体系构建研究[J]. 研究生教育研究, 2017(1): 58-65.

[18] 周文辉, 王战军, 刘俊起, 等. 我国研究生教育满意度调查——基于在读研究生的视角[J]. 学位与研究生教育, 2012(12): 34-40.

[19] 袁本涛, 王传毅. 我国研究生教育结构调整问题研究[M].北京: 经济科学出版社, 2015.

[20] 王传毅, 赵世奎. 21世纪全球博士教育改革的八大趋势[J]. 教育研究, 2017(2): 142-151.

①若需其他分指数分析结果，请联系王传毅：wcy1985@tsinghua.edu.cn。

②中国的研究生相对收入水平测算方式：通过对各省市研究生学历比重、技术市场成交额、GDP生产总值和城镇非私营单位就业人员平均工资进行聚类分析，将各省工资水平分为三类，并分别对应麦可思数据（北京）有限公司的数据报告中一线、二线和其他城市工资水平，最终加权计算得到。

清华大学未来教育与评价研究院课题“研究生教育发展指数研究”（编号：2018IFEE002）

10.16750/j.adge.2018.12.010

王传毅，清华大学教育研究院副教授，北京100084；徐冶琼，武汉大学讲师，武汉 430072；程哲，武汉大学教育科学研究院硕士研究生，武汉 430072。

（责任编辑 黄 欢）