研究生教育质量第三方评价：模型构建与实证检验

张 伟

(贵州大学，贵州 贵阳 550025)

一、引言

研究生教育是人才培养的摇篮、科技创新的重镇、人文精神的高地，肩负着培养跟社会接轨、跟经济接轨、跟创新接轨的高层次人才的历史使命。近年来，随着我国研究生招考规模的不断扩大，研究生教育培养的重心已逐步由外延式扩张向内涵式发展转变。研究生教育的质量如何，由谁来评价等问题，是需要认真思考的重要问题。

综合来看，研究生教育质量评价既是研究生个体、高校管理者、研究生导师以及研究生用人单位共同参与的交互过程，同时还是社会组织对研究生教育质量进行监控和指导的过程。因而从第三方视角出发，对研究生教育质量展开客观公正的评价，一方面可为高校调整办学行为、改进教育教学与研究生培养工作提供方向指引；另一方面，有利于研究生教育利益相关者在信息对称的基础上对高校进行价值判断，为其教育选择行为及用人选择提供信息参考。

目前，中央政府正着力推进在教育质量评估中完善第三方评价制度。2019年2月，中共中央、国务院印发了《中国教育现代化2035》，其中第十项战略任务提出应“推动社会参与教育治理常态化，建立健全社会参与学校管理和教育评价监管机制”。与此同时，各地、各高校也在积极探索研究生教育过程中引入第三方评价。2020年5月，江苏省教育厅出台了研究生教育综合评价办法，首次将“第三方质量评价”作为一级指标纳入到综合评价体系内。

目前，我国研究生教育质量第三方评价尚处于探索阶段。从实践效果来看，研究生教育质量第三方评价的顶层设计还需进一步细化，现有第三方评价在取得经验的同时也存在评价主体缺失、评价内容单一、评价结果有失偏颇等问题，亟待构建研究生教育质量第三方评价模型，提高评价工作的可操作性和科学性。

二、文献回顾

(一)教育质量第三方评价

教育质量第三方评价，也称体制外评估或外部评价，是指独立于教育行政系统之外，介于政府、学校和社会三者之间的专业组织的评价[1]。教育质量第三方评价在机构设置上具有独立性、专业性和权威性等特点，是具有独立法人资格和专业评估能力的组织[2]。教育质量第三方评价内容可概括为两个部分，一是对培养质量的第三方评价，例如办学情况、办学质量、办学声誉等；二是对教育成果指标的第三方评价，例如院校实力、学科竞争力、毕业生就业质量等[3]。教育质量第三方评价结果不仅能为教育主管部门制定相关政策、监督学校办学活动提供依据，还能为学校及时调整办学行为，用人单位选聘毕业生以及学生选择教育专业提供参考[4][5]。

(二)研究生教育质量第三方评价指标体系

评价指标是衡量研究生教育质量的关键内容。Diogo Casanova从科技强化学习(Technology Enhanced Learning)视角出发，设置的研究生教育质量评价核心指标包括期望和认知能力、学习环境与资源、教学策略和实践、后勤管理服务[6]。Sarah Yardley等人将柯氏评价(Kirkpatrick Evaluation)应用于研究生教育质量第三方评价，构建出包括学生情感反应、学生考试成绩、社会服务、就业情况等在内的评价指标体系，较好地实现了研究生教育质量主观评价与第三方评价的有机结合[7]。王海英研究指出，研究生教育质量第三方评价的目的在于监测、保障和提高研究生培养单位的供给能力与水平，因而在质量评价指标的选取上通常会涉及物质资源、导师指导、管理制度、学生培养质量等要素[8]。

(三)研究生教育质量第三方评价实证研究

目前，有关研究生教育质量第三方评价的实证研究成果较少。张小波综合运用因子分析法、改进熵权TOPSIS法、DEA数据包络法对“985工程”一期34所高校数据样本的实证研究显示，我国高校研究生教育质量水平整体偏低，国家重点实验室数、生均科研经费是制约研究生教育质量提升的瓶颈因素，并在此基础上提出优化教育资源配置结构，建立多元化研究生教育质量评价机制的对策建议[9]。王战军等人的研究指出，研究生教育质量第三方评价结果能够回应社会问责，我国2017研究生教育质量指数得分为86.0，表明我国研究生教育质量总体上处于良好水平[10]。

(四)研究生教育质量第三方评价评述

综上所述，已有国内外研究大多是从宏观层面对教育质量第三方评价展开分析，有关研究生教育质量第三方评价的机理及实证研究相对较少。此外，由于研究生教育质量第三方评价的主体尚未明确，评价的内容及方法不甚清晰，因而评价结果的实用性及客观性难以保证。基于此，根据我国研究生教育特点，构建主体多元化的研究生教育质量第三方评价模型，并对高校研究生教育质量展开实证检验，能为客观评价研究生教育质量提供经验参考。

三、研究生教育质量第三方评价模型构建

(一)研究生教育质量第三方评价的内涵

衡量研究生教育质量的标准在宏观层面上表现为整个研究生教育体系的质量，即研究生培养系统内部的结构、规模和效益等之间的协调一致性；在微观层面上，表现为研究生在学期间所取得的学业成就、知识技能满足自身就业和生活需要的程度。

尽管学术界尚未对第三方评价的概念形成一致意见，但学者们普遍强调，第三方评价应是独立于政府之外的专业组织的评估。就研究生教育质量而言，第三方评价主要是对研究生教育领域较为了解、长期从事研究生教育研究的学术组织、专业机构等对研究生教育教学水平、人才培养机制、办学条件以及研究生学业成就等进行综合性评价的活动。

(二)研究生教育质量第三方评价理论模型

研究生教育质量第三方评价是一项系统工程，涉及评价内容、评价指标体系、评价工具、数据资料收集方法等一系列问题，为此首先需要构建一套完备的评价理论模型。本文以柯式评估模型为基础，借鉴美国波多里奇国家质量奖教育标准，结合我国研究生教育特点，构建出多元主体参与，社会监督，持续优化的研究生教育质量第三方评价理论模型(如图1所示)。

图1 研究生教育质量第三方评价理论模型

教育质量评价既要符合研究生教育的自身规律和科学发展的逻辑，又要满足利益相关者的价值诉求[11]。基于此，本文将在校研究生、毕业研究生、高校管理者、研究生导师、研究生用人单位设定为研究生教育质量评价主体。

借鉴柯氏评价模型成熟经验，本研究将从四个层级对研究生教育质量进行评价。具体来看，第一层为反应层，主要表现为评价主体对于制度建设、教学内容、服务管理等的看法；第二层为学习层，主要考查研究生通过学习带来的知识和技能等结果的改变；第三层为行为层，主要衡量研究生将所学知识、技能运用到学习之外的活动的程度；第四层为结果层，主要反映研究生将所学知识和技能运用到实际中，并给高校带来的社会评价。在此基础上，参考美国波多里奇国家质量奖教育标准，归类整理各评价主体对研究生教育质量的诉求，进而构建出包含4个一级指标，15个二级指标，35个三级指标的研究生教育质量第三方评价指标体系[12][13][14](如表1所示)。

表1 研究生教育质量第三方评价指标体系

各评价主体代表着不同的价值取向和利益需求，因此，问卷调查和访谈是收集研究生教育质量评价数据资料的主要途径。

根据研究生教育质量评价数据的特性，将采用数理统计法对收集得到的研究生教育质量数据进行筛选分类，运用主成分分析法赋予各级指标权重。通过整理汇总上述数据，进而形成研究生教育质量第三方评价数据库。

研究生教育质量的评价结果主要包括对研究生教育质量水平的直观判断，以及对研究生教育质量问题的诊断性分析。

研究生教育质量评价是一项不断改进优化的工作，建立第三方评价信息反馈与改进环节，有利于形成“第三方评价—评价结果反馈—高校改进教育教学—第三方再评价”的循环机制，实现通过评价提升研究生教育质量的目的。评价活动在信息反馈机制的作用下形成高校优化教育决策、提升人才培养质量的闭环体系，满足社会公众的参与意识和利益诉求的表达愿望，形成公众支持、包容的多赢局面。

(三)研究生教育质量第三方评价计量模型

目前，已有研究大多采用模糊综合评价法、层次分析法、主成分分析法以及因子分析法对多维度多指标体系展开评价分析。在上述方法中，当指标数量较大时，采用模糊综合评价法、层次分析法容易导致对单个指标的相对重要性做出主观性判断，进而导致实证结果失真；而因子分析法只能对部分因子变异进行解释，在计算评价指标权重上存在一定缺陷，无法准确刻画指标体系中各个维度的具体变动情况。基于此，本文将采用主成分分析法确定研究生教育质量评价指标的权重，这不仅能够有效地消除指标之间的高度相关性，避免指标权重确定的主观性，同时还能反映出各级指标在权重结构中的变化态势。

研究生教育质量第三方评价计量模型的具体运算步骤如下：

1.构建原始数据矩阵。假设有n个有效数据样本，每一样本有m个指标因子xj(j=1，2，3…，m)(1)由于访谈数据多为定性数据且数量较少，本研究中计量模型主要针对问卷数据进行整理分析，其中n表示有效问卷数量的总和，m表示问卷中对应的每一题项。，所得样本值为xij(i=1，2，3…，n)，构成原始数据矩阵X=(xij)n*m。

2.原始数据预处理。对指标进行标准化处理，以消除指标在量纲与数量级上的差别，标准化处理后的值为xij*：

(1)

3.计算特征值和特征向量。标准化后数据矩阵X*=(xij*)，计算其相关系数，求出特征根，得到相应特征向量：

(2)

计算特征方程|R-λI|=0，求出所有的特征根λ1≥λ2≥…≥λm≥0，相应特征向量Zj=(Z1j，Z2j，…，Zmj)，(j=1，2，3…，m)。提取主成分记为Fj=X*jZj，即fj=x*k1z1j+x*k2z2j+…+x*kmzmj，(k=1，2，3，…，n；j=1，2，3，…，m)。计算方差贡献率为：

(3)

4.确定主成分个数。一般认为，当前r个主成分的累计贡献率大于某一特定值(如80%)时，就足够反映原来变量的信息，对应的k就是抽取的前k个主成分。

5.确定指标权重。指标权重为各个主成分的方差贡献率，对该指标在各主成分线性组合中的系数的加权平均的归一化。

(4)

四、实证分析

(一)调查问卷设计

围绕研究生教育质量第三方评价的三级指标，根据在校研究生、毕业研究生、研究生导师、研究生管理者和用人单位对研究生教育的质量诉求，设计形成五类调查问卷。各类问卷均包含以下两部分内容：一是被调查者基本信息，包括身份、岗位、职称、学历等甄别问题；二是研究生教育质量调查问卷，其中在校研究生和毕业研究生问卷包含79项问题，研究生导师问卷包含52项问题，研究生管理者问卷包含44项问题，用人单位问卷包含24项问题。本文采取李克特五级量表设计调查问卷，问题选项1、2、3、4、5分值分别对应百分制20、40、60、80、100分。

(二)指标数据收集与整理

西部某高校是我国“双一流”建设高校，同时也是我国首批招收、培养研究生的高校之一。目前，该校拥有硕士、博士一级学科学位授权点66个，是我国西部学科门类较为齐全、研究生培养规模较大的综合性大学。以上述高校为例，从第三方视角出发，开展研究生教育质量评价测试，能较好地验证评价模型的可靠性与可操作性。

2018年11月至2019年1月间，笔者采用不记名问卷调查的方式，向西部某高校全日制在校研究生、毕业研究生、高校管理者、研究生导师和研究生用人单位随机发放调查问卷。此次调查共回收1629份问卷，其中无效问卷118份，有效问卷1511份，有效率为92.8%(2)无效问卷剔除标准：一是根据填写问卷的时间进行判断，在校研究生、毕业研究生少于180秒视为无效问卷，研究生导师、高校管理者少于100秒视为无效问卷，研究生用人单位少于60秒视为无效问卷；二是根据测量题项的答案重合度进行判断，勾选选项完全一致的视为无效问卷；三是问卷答案前后出现逻辑矛盾的视为无效问卷。。

(三)问卷信效度检验

本研究运用SPSS24.0对问卷进行Cronbach'sα系数检验，得到样本总体α系数为0.954，其中，反应层、学习层、行为层、结果层的α系数分别为0.945、0.842、0.661和0.979，说明原始数据信度较高，具有较好的内部一致性。本研究运用探索性因子分析法对问卷进行效度分析，结果显示各级指标KMO统计值均介于0.7020.908之间；Bartlett球形检验显著，即P值小于0.001，说明问卷有较好的结构效度。

(四)权重的确定

在主成分分析过程中，按照因子方差累积贡献率达80%的标准确定主成分个数，并由此确定各级指标权重。具体来看，本研究首先将主成分系数除以其相应的特征根开根后所得到的单位特征向量作为原始数据的权重，然后权重乘以原始数据分值，得到三级指标观测值并得出三级指标权重(如表2所示)，以此类推，采用同样方法对二级指标赋权，得出一级指标权重(如表3所示)。

表2 三级指标权重

表3 一级指标统计特征

由表3可知，反应层、学习层、行为层、结果层第一主成分方差贡献率已超过80%，说明第一主成分综合原始数据信息的能力较强，以此确定的主成分个数较为合理。

表4 一级指标系数向量及权重

表4中的结果显示，行为层的权重最高，为0.469，说明此西部高校研究生教育质量的变化更多地体现在行为层这一维度上；结果层权重最小，为-0.098，表明该校研究生教育的社会评价不高，研究生学以致用的能力偏低。

(五)研究生教育质量指数

将上述各层级的权重相乘，得到西部某高校的研究生教育质量指数。需要说明的是，主成分分析得到的数值出现负值，为了便于以后的动态计量分析，根据统计学中的3σ原则，运用公式(5)进行坐标平移以消除负值的影响。其中，y'为坐标平移后的质量指数，y为原始质量指数。

y'=h+y，h∈(μ-3σ，μ+3σ)

(5)

表5 西部某高校研究生教育质量指数

为便于理解，本文将研究生教育质量指数转换为百分制，得出西部某高校反应层、学习层、行为层、结果层的指数分别为15.136、23.629、34.948和0.988。经指数合成，得到西部某高校的研究生教育质量指数为74.700(如表5所示)。

(六)实证结果的诊断性分析

从一级指标的指数得分来看，西部某高校研究生教育质量在反应层、学习层、行为层上的得分相对较高，结果层上的得分最低。由于柯式评价的四个层次之间具有较强的关联性，因此结果层指数得分偏低，表明该高校尽管在研究生知识获取、技能提升等方面取得了良好的培养成效，但研究生教育产出与社会需求存在结构性矛盾，亟待优化调整。

具体来看，在反应层中，学术讲座指标的得分仅为0.200，说明研究生对素质教育的满意度不高；在学习层中，课程设置内容得分最低，仅为0.292，表明该校研究生课程设置不尽合理；在行为层中，个人解决问题能力指标的得分仅为0.279，说明该校研究生综合素养有待提高；在结果层中，实践操作能力和抗压能力指标的得分偏低，分别为0.221和0.214，表明用人单位对该校研究生教育的认可度不高。

为进一步提高研究生教育质量水平，建议西部某高校一是要强化研究生学术训练，丰富学术讲座内容，借以扩大研究生的专业知识面，让研究生了解最新的前沿知识动态，进而提升研究生的科研创新能力。二是要提高研究生培养计划的社会适应性，高校可以根据社会需求，一方面自主开展学科动态调整，优化设置教学及实践内容；另一方面邀请用人单位参与研究生培养计划的制定，推动高校研究生教育实现规模与效益、数量与质量、培养与就业的“三统一”。三是要通过开设协作性实验课程，组建跨学科学习共同体等方式，增强研究生的沟通、应变以及团队协作等非认知能力，提升研究生综合素养和职业技能水平。

五、研究结论与展望

(一)研究结论

本文在界定研究生教育质量第三方评价内涵的基础上，构建出研究生教育质量第三方评价理论模型和计量模型，并对西部某高校研究生教育质量进行了实证分析，得出以下主要结论：

1.研究生教育质量第三方评价，是将研究生教育质量的评价权转移到独立于政府和普通公众的专业性机构中，对研究生教育过程和成效进行综合性评价的活动。从第三方视角出发，开展研究生教育质量评价，一方面有助于发挥第三方组织的人才技术优势，提高评价的专业性和独立性；另一方面，广泛收集在校研究生、毕业研究生、高校管理者、研究生导师和研究生用人单位的评价意见，有利于更加系统、公正地反映出研究生教育过程中存在的问题，能为优化提高研究生教育质量提供方向指引。

2.本文构建的研究生教育质量第三方评价理论模型，由评价主体、评价指标体系、数据资料收集方法、评价工具和评价结果等要素组成。该理论模型厘清了研究生教育质量第三方评价的逻辑关系，梳理了评价的各个关键环节，较为直观地呈现出研究生教育质量第三方评价的基本流程，能够为不同层次、类别和学科专业领域的研究生教育质量评价提供参考。评价形成的量化诊断结果，不仅能准确客观地反映出研究生教育质量状况，还将为社会监督提供信息资源。

3.本文以主成分分析法为核心，构建出研究生教育质量第三方评价计量模型。该计量模型具有自动分配权重、避免人为因素干扰、便于操作等突出优势，能较为便捷地计算出研究生教育质量水平。

4.从第三方视角出发，在对西部某高校研究生教育质量展开实证分析后发现，该校研究生教育质量指数为74.700，与近年来该校研究生教育质量报告中“研究生课程资源利用与课堂教学效果有待进一步加强”、“研究生培养要适应经济社会发展”等结论相契合，一定程度上验证了评价模型的可靠性。具体来看，四个一级指标中，结果层指标得分最低，反映出研究生将所学知识和技能运用于实践的效果不甚理想。为此，建议该校采取强化研究生学术训练，提高研究生培养计划的社会适应性，增强研究生非认知能力等措施，加快提升研究生教育质量水平。

(二)研究展望

在研究生教育质量评价领域中，第三方评价具有独立、公正、专业等优势，是高校自我评价和政府评价模式的有益补充。在实践过程中，研究生教育质量第三方评价还应根据评价对象的特点及具体情况，进一步细化完善评价指标体系。此外，本文仅针对西部某高校研究生教育质量水平进行实证分析，缺乏对多所高校、不同学科专业、不同学位类别的研究生教育质量展开横向比较分析，因而模型的普适性仍有待于进一步检验，这也是下一步研究的主要关注点。

(贵州大学管理学院硕士研究生余美玲、郭梦丹对本文的写作提供了帮助，特此感谢)