高水平研究型大学研究生教育质量动态监测评估：理念、模型与应用

许长青

高水平研究型大学研究生教育质量动态监测评估：理念、模型与应用

许长青

以CIPP理论为基础，采用AHP技术整合指标体系，构建了高水平研究型大学研究生教育质量动态监测评估HLRU-GEQAM模型并确定了各指标的权重等级。研究发现，在一级指标中投入质量是关键；在所有指标中，研究生在大学本科期间的科技创新能力是影响研究生教育质量的首要因素。评估模型为大学提高研究生教育质量提供了可资参考的选择路径。

研究型大学；研究生教育质量；监测评估；HLRU-GEQAM模型

高等学校具有教学、科研、社会服务和文化传承等多项职能，在国家创新战略实施中承载着重大历史使命。研究生教育处于学历教育的最高层次，负有培养具有创新精神的优秀人才的重要任务。研究生教育质量的高低在很大程度上决定了一个国家科技创新能力水平的高低。我国研究生教育已经进入了新的战略转型期，即由规模向质量、外延向内涵、知识本位向能力本位的战略转型。同时，随着我国研究生教育管理体制改革的深入和学位授权、审核权力的下放，省级政府在研究生教育中发挥着越来越重要的统筹和管理作用，基于省级研究生教育质量评估势在必行。建立我国研究生教育分层、分类、分级的多元化研究生教育质量动态监测评估体系，探索研究生教育质量动态监测评估的新类型、新方法，不断培养适应社会发展需求的高层次创新型人才的任务十分紧迫。研究型大学的鲜明特色就是把教学和科研结合起来，把研究作为大学的重要职能。高水平研究型大学是从研究型大学中剥离出来的一个层次，并从“高水平”和“研究型”两个维度对大学提出了更高要求。广东是我国经济强省和高等教育大省，为加快南方教育高地建设，建设国家创新示范区，促进经济发展和产业转型升级，广东省政府决定安排专项资金支持高水平研究型大学建设，进一步推动广东高校的综合实力和国际影响力。本文旨在构建适用于高水平研究型大学的研究生教育质量动态监测评估模型，为广东乃至全国研究生教育质量动态监测评估提供参考依据。

一、基本理念

国际学术界早期的研究生教育质量评估研究主要强调学术问题而不是管理问题，集中在有效的课程设置和教学质量上[1]。近年来一些著名大学进行了研究生教育质量监测评估的模型建设，实证研究日益增多。研究生教育质量监测评估是一个内涵十分丰富的概念。首先研究生教育质量监测评估是一个动态性概念。研究生教育质量检测评估在时间上表现为一定的滞后性，它必须对其实施连续追踪分析，实现评估过程的持续化和常态化。其次研究生教育质量监测评估是一个系统性概念。研究生教育质量检测评估必须依据研究生教育的性质和目的，制定监测标准、开发测量工具、抽取适当样本、系统收集有关信息，进行分析诊断与价值判断，从而提出改进行动，促进研究生教育质量持续改进和不断提高。再次研究生教育质量监测评估是一个战略性概念。一方面研究生教育评估是基于国家战略的需要，随着经济全球化、竞争与责任及技术变革，各国普遍重视对研究生教育质量的评估；另一方面研究生教育质量监测评估反映了大学自身发展的战略需求，大学声誉常常通过其持续提供的能使学生满意的、适应其发展需求的高等教育质量来体现，学生满意成为研究生教育质量的关键要素，学校必须对自身提供的教育质量服务进行积极回应。

教育质量监测评估的实践最早可追溯到“二战”中的美国。1942年美国提出的“斯密斯-泰勒报告”指出：“只有用教育评估的思想和方法，才能达成新课程的目标，才能实现全面发展人的才能的目标”，由此开启了学术界对教育评估理论的探索。教育质量监测评估理论大致经历了教育测验运动阶段、教育评估理论诞生阶段、教育评估专业发展阶段及现代教育评估理论阶段等四个不同的发展阶段。目标评估模式、决策导向模式（CIPP）、目标游离模式、应答模式、构建模式以及发展性评价模式均为在不同发展阶段涌现的典型范式。斯塔弗尔比姆的CIPP模式在一定程度上克服了目标评估模式单纯追求结果评估带来的弊端，是一种被广泛运用于各个专业领域比较成熟的优秀评估模式。斯塔弗尔比姆认为教育活动中所需要的评估是广义的，不应仅局限于确定目标是否达成，评估应该有助于方案的管理和改进，因此教育评估的目的不在于证明，而在于改进。CIPP教育质量评估模式由背景评估、输入评估、过程评估和结果评估四部分组成。背景评估旨在强调根据社会发展需要和评价对象的需要对教育目标本身所做出的价值判断，主要包括描述教育目标以及确定教育目标的适当性和可行性。输入评估着重对达到目标所需而且可能获得的条件进行评价，本质上是对方案的可行性、效用性进行评估。过程评估是一种形成性评估，就是对方案实施情况进行评估，用于发现方案实施过程中的潜在问题，为补救方案决策提供信息。结果评估是对教育实施过程的结果达到目标程度的价值判断，即终结性评估，为最终目标决策提供信息。研究生教育质量监测评估的目的在于改进教学效果、提升教育服务水平、培养高素质创新型人才。CIPP不仅以决策为导向，而且完整地包含了诊断、过程和结果评估，这与研究生教育动态监测评估的目的相一致，反映了研究生教育质量动态监测评估的基本理念。本文以CIPP理论为基础，采用AHP技术整合指标体系，试图构建广东省高水平研究型大学研究生教育质量动态监测评估模型（High Level Research University Graduate Education Quality Assessment Model，HLRU-GEQAM）。

二、模型建构

1．指标的提出

HLRU-GEQAM模型涵盖9个二级指标、76个三级指标，包括投入质量、过程质量及产出质量三个层面，具体内涵见表1。该指标体系借鉴了中外文献中现有指标体系，结合时代特征、现实需求及研究生教育内在规律，综合反映了CIPP模型中背景评估的要求，具有较高的内容效度及信度。同时模型具有较高的灵活性，随着环境的变化，将可能修改变量以适应未来评估发展之需求。

（1）投入质量（Z1）。投入质量指标包括导师队伍（A）、生源质量（B）、学科和资源（C）三个二级指标。无论研究生采用导师个人负责制还是导师组模式，研究生导师承担着对研究生学习、科研和生活进行指导的职责，必须要定期检查学生的相关情况，听取学生的汇报，确保研究生能顺利完成学业。因此导师队伍是影响教育质量的主要因素和投入质量的重要标准。导师队伍指标反映了研究生导师队伍的整体质量及公开发表的高水平论文数等。高水平研究型大学集聚了一大批学术精英，是政府部门重要智囊团，高校也是经济发展和科技创新的重要源泉。模型将“采纳的报告数”和“科研成果转化率”纳入评估体系体现了社会实际和时代精神。研究生自身综合素质、精神品质、创新能力是高质量研究生教育的禀赋条件。研究生要想成为推动社会变革和科技进步的中坚力量，首先要具有良好的素质和较高能力。他们不仅要有扎实的基本功、开放的思路和团队协作精神，更需要有积极进取、勇于创新、敢于挑战的优良品质。大学学科建设是以科学分类为基础所形成的学科组织来实施教学科研任务，它既包括根据一级学科所形成的学系建制，也包括在此基础上形成的二级学科点建制，如学科研究方向、学术队伍、运行环境与运行机制等。高水平的学科竞争力是高水平研究型大学核心竞争力的集中体现。随着研究生教育规模的扩张，生均资源对研究生教育质量所产

生的影响受到普遍关注，生均教师、经费及物质资源等成为评估的重要指标。

表1 HLRU-GEQAM模型指标体系

（2）过程质量（Z2）。过程质量体现在研究生教育服务的全过程之中，过程质量指标包括课程设置（D）、导师指导（E）、管理服务（F）、设施与区位（G）、职业规划（H）等五个二级指标。课程是学校为研究生完成学位而设置的有组织的学习计划，为了实现和维持课程质量，大学必须追求课程设置卓越和课程教学效果。为了提高研究生就业率、扩大入学机会、提高保留率，大学必须通过政策制定和战略规划不断优化课程结构。市场经济条件下，研究生教育课程结构必须适应劳动力市场的需求，加强研究生教育供给侧结构改革。积极有效的导师指导将大大促进学生的学习积极性、对学校的忠诚度、良好的学术表现及学习满意度。导师的指导方法对提高教学质量至关重要，学生普遍认为教师对学生学术发展及在劳动力市场上的成功竞争发挥着重要影响作用。导师知识能力越高，学生对他们的评价越高，导师对学生的影响越大[2，3]，教学守时、精确、理性和具有逻辑方法、展现学生——朋友关系的教师将更加受到学生的欢迎[4，5]。研究生教育质量贯穿于大学管理服务的全程之中，管理服务质量的好坏决定了高校研究生教育管理日常运转是否顺畅，因而是研究生培养的保证的关键。包括因特网在内图书电子资源有助于学生克服学习中所遇到的各种困难，节约学生时间、金钱和人力物力资源。信息时代不可避免地对大学图书馆提出了更高诉求，促使大学图书馆改善服务质量和提高学生满意度[6]。良好的基础设施能够提高教育服务质量和教育质量，研究生教育的基础设施必须加以评估、改善和不断更新[7]。现代网络服务给学生带来的好处是它能够打破时空限制，促进不同区域的学生在合作和知识方面进行资源共享，提升教育的传播性，使学生能够在任何时候、任何地点获得知识，因而网络服务的可获得性、可支付性成为衡量研究生教育服务质量的指标[8，9]。学校位置的安全性、可达性及交通成本是确保学校教育质量的重要条件，研究生教育质量与大学和城市中心距离具有相关性。较高的研究生教育质量应该满足毕业学生在劳动力市场上获得卓越的就业机会[10]。作为一个整体的教育系统，大学扮演的最基本角色就是要使学生的职业训练适应社会需求和市场需求[11]。因而大学需要重新设计并且运用学习项目和方法促进毕业生适应市场导向。学校管理者必须要从不同的学科领域将劳动力市场的需求考虑在内，为优秀毕业研究生提供更多的就业机会[12]。

（3）产出质量（Z3）。该指标主要用学术绩效（I）一级指标来衡量。研究生学术绩效是指学生为实现其学术研究目标而开展的学术活动在不同层面上的有效学术输出。高水平研究型大学的研究生学术成果主要表现为高水平学术论文、研究生综合素质、专利、毕业生整体就业率、毕业生总体社会满意度及毕业生总体职业发展状况等方面。

2．模型建构

（1）构建层次结构模型。模型建构的第一步是分析所有影响研究生教育质量各因素之间的相互联系和隶属关系，把影响研究生教育质量问题条理化和层次化，建立递阶层次结构模型。研究生教育质量动态监测评估模型包括目标层、准则层、子准则层和方案层等四个层次。目标层即为研究生教育质量总目标。准则层表示实现总目标所涉及各子目标，包括投入质量、过程质量和产出质量。子准则层表示影响准则层的各潜在因素，如导师队伍、管理服务等。方案层表示影响子准则层的具体因素，如教授人数、国家重点实验室等。

（2）建立判断矩阵群。建立判断矩阵的目的是测算每一层次各元素对相邻上一层次某元素的相对重要性。具体过程是以相邻上一层某元素为准则，对该层次元素进行两两比较判断，按照表2中所描述的特定评分法则将比较结果数量化，形成判断矩阵。在指标相对重要性的确定上研究采用问卷调查和专家咨询法以确定各指标之间的相对比分，从而得到若干个判断矩阵。研究利用调查问卷对中山大学、华南理工大学、华南师范大学、暨南大学等研究型大学研究生教育的行政管理人员、院系教师、学生等不同样本进行分层抽样调查。样本总数为525人，其中研究生教育行政管理人员175人，教师168人，学生182人，有效问卷504份，占样本总数的96%。每一轮问卷回收后，求出某项指标得分的平均数，进而求出每一专家评分与得分平均数之间的偏差。经过多轮征询，直到偏差最小，最终确定相对可靠的判断矩阵结果。

（3）层次单排序及一致性检验。层次元素重要性排序问题就是根据同一层次元素相对于最高层总目标或上一层次元素的重要程度进行排序以达到研究生教育质量影响因素识别的目的，排序分为层次单排序和层次总排序。通过计算判断矩阵的最大特征值和对应的特征向量，计算出某一层元素相对于上一层次相关元素的相对重要性权值就得到层次单排序。在计算出某一层次相对于上一层次各个元素的单排序值后，用上一层次元素本身的权值加权综合，即可算出某层元素相对于整个层次的相对重要性权值，即可得到层次总排序。这样依次由上而下即可算出最低层因素相对于最高层次的相对重要性权值，进而完成了递阶层次权重分解的过程。AHP采用重要性权值作为元素排序的评价指标，重要性权值是一种相对度量数，其数值介于0～1之间，数值越大，表示元素越重要。层次排序问题最终归结为计算判断矩阵的特征根和特征向量问题，运用相关软件可以计算任意精度的最大特征根及其对应的特征向量。假设判断矩阵为A=（aij）n×n（i，j=1,2,3…n），通过归一化处理等一系列的变化过程，可以得到特征向量W=（W1，W2，W3…Wn）T及其最大特征根λmax为：

表2 两两比较相对重要性评分法则

由于系统的复杂性、认识的多样性以及主观片面性和不稳定性，要达到完全一致性判断是非常困难的。为了确保层次排序的有效性，必须对给出的判断矩阵进行一致性检验。一致性检验通常用一致性比率CR作为检验标准。当CR＜0.1时，认为判断矩阵的一致性是可以接受的；而当CR≥0.1时，应该考虑对判断矩阵进行调整，再重新计算权重向量并进行一致性检验，直到检验通过。这里有：

其中CI为一致性指标。

RI为平均随机一致性指标，与判断矩阵的阶数n有关，RI可由表3中平均随机一致性指标RI值获得。

表3 平均随机一致性指标RI值

（4）层次总排序及一致性检验。AHP方法的目的在于求出方案层各元素对于总目标Z的优先权重。求解过程中从上到下，在相邻层次之间逐层进行。假定已经算出准则层上A上n个元素相对于总目标z的排序权重向量为：

而方案层P上元素对准则层A上元素各个元素的排序权重向量为：

则方案层P上元素对总目标Z的合成排序向量为：

最后需要对层次总排序进行一致性检验。总体一致性检验CR值为：

当CR＜0.1时，就认为层次总排序的结果具有可接受的一致性，否则需要重新调整最低层的判断矩阵。经过层次元素重要性单排序与总排序，最终可以得到准则层各元素与方案层各元素的相对重要性大小，从而判断得到影响研究生教育质量的主要影响因素及其所占的权重。

（5）建立综合评估模型，计算综合评估得分。综合评估得分是通过一定的数学模型将多个评价指标值合成一个综合评估指标值，得到高水平研究型大学研究生教育质量的综合评估得分。假设方案层各指标的权重值为Wj（j=1，2，3…76），Zi为第i个大学的综合得分，rij为各指标的归一化值。则有：

通过计算得到的综合得分来衡量各研究型大学研究生教育质量得分并进行排序。综合得分与研究生教育质量呈正相关，即得分越高，研究生教育质量就越高。

三、结果分析与应用

1．结果分析

首先，根据问卷调研数据，研究对各二级指标相对于总目标的权重进行分析，即相对于研究生教育质量而言，各二级指标A、B、C、D、E、F、G、H、I两两相对重要性比较。其两两判断矩阵如表4所示。

表4显示，模型总体一致性检验值CR=0.0985＜0.1，通过检验，判断矩阵一致性程度较高，模型是可靠的。导师队伍（A）、生源质量（B）、学科和资源（C）、课程设置（D）、导师指导（E）、管理服务（F）、设施与区位（G）、职业规划（H）和学术绩效（I）等九个二级指标的权重分别为：23.46%、20.21%、13.11%、10.12%、12.24%、5.25%、1.99%、2.60%、11.01%。其重要性排序依次为：A＞B＞C＞E＞I＞D＞F＞H＞G。导师队伍、生源质量、学科和资源处在所有影响因素的突出位置。其中一级指标中投入指标权重为56.78%，过程指标权重为32.20%，产出指标权重为11.01%，投入指标相对重要性排在首位。

表4 HLRU-GEQAM模型二级指标判断矩阵

其次，研究对各三级指标相对于二级指标来说所占的权重进行分析。实证研究结果表明，“导师队伍”各权重前五位的分别为：博士生导师数（21.59%）、教授数（21.27%）、杰出人才数（20.59%）、科研经费总规模（8.64%）、高水平论文数（8.59%）。“生源质量”各指标相对重要性排在前五位的分别为：科研创新能力（29.08%）、本科毕业院校实力（17.23%）、本科毕业论文质量（14.62%）、成就动向与团队合作能力（10.83%）、思想道德水平（8.16%）。“学科和资源”各指标中博士点数（34.47%）、生均图书总量（19.72%）、国家重点实验室数（13.45%）、人才培养基地数（7.94%）、硕士点数（7.1%）位列前五。“课程设置”各指标中，课程设置结构合理为第一重要指标，它反映了27.86%的重要性水平；教材开发不断创新（26.34%）、教材内容卓越（22.70%）、课程需求适合劳动力市场需求（16.73%）、可选择性课程模块（6.38%）位列其后。“导师指导”各指标重要系重要性程度依次为：导师专业经历和研究活动（24.41%）、导师能公正对待学生（17.16%）、导师的积极合作与回应（13.53%）、导师提供学生参与科研课题的机会（12.12%）、导师定期关心学生学习科研情况（11.06%）。“管理服务”各指标相对重要性排在前五位的指标分别为：大学具有高效、精细和及时的服务（21.10%），大学奖惩制度公平合理（18.88%），大学教学管理制度合理（16.62%）、大学提供了丰富的研究生学术创新论坛服务活动（12.04%）、大学申诉渠道畅通（10.33%）。“设施与区位”指标中，大学设施能满足科研需要（34.44%）位居首位，大学具有良好的区位优势（17.59%）、大学具有良好的安全部门和服务（17.43%）、大学有足够的图书阅读场地（8.21%）和大学具有便捷的餐饮住宿服务（7.62%）位居第2～5位。“职业规划”各指标位居前五位的分别为：研究生学习提高了个人语言技能（25.07%）、大学提供了研究生进一步学习的机会（20.02%）、研究生学习提高了个人的交际技能（19.37%）、大学提供了与其他学校学术交流的机会（10.13%）、大学与企业的联系密切（8.85%）。“学术绩效”指标中，省级以上优秀学位论文数（22.19%）、毕业研究生社会总体满意度（17.76）、毕业研究生总体职业发展状况（14.44%）、研究生学习使个人综合素质得到提高（12.96%）相对重要性较高。

表5 HLRU-GEQAM模型各指标权重

第三，研究对各三级指标相对于总目标的权重进行了分析，实证研究结果见表5。如表所示，在所有的影响因素中，位居重要性前十位分别为：科研创新能力（B6）5.88%、博士生导师人数（A3）5.07%、教授人数（A1）4.99%、杰出人才人数（A4）4.83%、博士点数（C3）4.52%、本科毕业院校实力（B5）3.48%、导师具有丰富的专业经历和研究活动（E1）2.99%、本科毕业论文质量（B4）2.95%、课程设置结构合理（D1）2.82%、教材开发不断创新（D2）2.67%。这些因素成为影响研究生教育高质量的关键要素。

2．模型应用

随着IT业的迅猛发展，“互联网+高等教育”技术为我国高等教育管理带来了生机与活力。目前，高校信息技术水平显著提高，校园网络基本成型，覆盖研究生教育管理工作的方方面面，这为研究生教育质量动态监测评估提供了有利条件。政府部门依托HLRU-GEQAM模型可以建立“研究生教育质量动态监测评估信息平台”，利用收集到的数据分析高水平研究型大学及国内外研究生教育发展的阶段性特征，深入探究研究生教育质量的内涵和发展规律，诊断、监测与评估研究生教育质量，进而制定研究生教育质量的宏观战略决策。高校可以利用HLRUGEQAM模型，建立大学内部的研究生教育质量动态监测评估信息平台，开展院校研究生教育质量评估，进而制定本校研究生教育发展战略。

四、结语

研究提出了高水平研究型大学研究生教育质量动态监测评估的HLRU-GEQAM模型，定义了各指标在整个模型中的权重。总体看来，投入质量在整个模型中显得十分重要；模型得到了影响研究生教育质量最重要的十个因素，其中研究生在本科阶段的科技创新能力位居首位。HLRU-GEQAM模型为大学提高研究生教育质量提出了可供参考的选择路径，各指标体系的权重理应引起政府部门与高等学校权力部门的高度重视。HLRU-GEQAM模型不一定具有普适性，对某个大学适用的，也许对另一个学校并不一定适用，但模型的灵活性和可选择性可以使其他大学修正方案层因素来进一步完善评估方案，因而模型具有一定的推广性。

[1] USMAN A.The impact of service quality on students’satisfaction in higher education institutes of Punjab[J] .Journal of Management Research，2（2）：1-11.

[2] WACHTEL H K.Student evaluation of college teaching effectiveness：a brief review[J] .Assessment&Evaluation in Higher Education，23（2）：191-212.

[3] RODIE A R，KLEIN S S.Customer participation in services production and delivery.Handbook of Services Marketing and Management[M] ，2000：111-126.

[4] LU J.Measuring cost/benefits of e-business applications and customer satisfaction[C] .Proceedings of the 2ndInternational Web Conference，2000：138-147.

[5] PALLI J G，MARNILLA R.Students’opinions of service quality in the field of higher education[M] .Creative Education，2012：30-38.

[6] NZIVO C N，CHUANFU C.International students’perception of libery services and information resources in Chinese academ ic libraries[J] .The Journal of Academic Librarianship，39（2）：37-129.

[7] REGASSA T T，FEREDE B，HUNDE A B，et al.Quality of education：the case of Jimma University[J] .Education，2013（5）：78-267.

[8] CERRI S.Assessing the quality of higher education services [J] .Annales Universities Apulensis Series Econom ica，2012（2）：79-664.

[9] POTURAK M.Private universities services satisfaction[J] . Global Business and Econom ics Research Journal，2014（2）：33～49.

[10] SNIPS R L，OSWALD S L，LATOUR M.The effects of specific job satisfaction facets on customer perception of service quality：an employee-level analysis[J] .Journal of Business Research，58（10）：39-1330.

[11] AINIEST M A，SCHLESINGER W.Analyzing graduates’market heterogeneity in higher education：an empirical approach based on a relational model[C] .Spain：8th International Technology，Education and Development Conference，2014：10-20.

[12] MOURKANI G S，SHOHOODI M.Quality assurance in higher education：combining internal-evaluation and importance-performance analysis model[C] .Poland：Federated Conference on Computer Science and Information System，2013：8-11.

（责任编辑 黄欢）

10.16750/j.adge.2016.11.003

许长青，中山大学政治与公共事务管理学院/中国公共管理研究中心副教授，中山大学粤港澳发展研究院研究员，广州 510275。

2014年度广东省教育体制综合改革重大项目“研究生教育质量评价及保障体系研究：国际视野与广东研究型大学的建构框架”（编号：2014JKZ002）