面向一流人才培养的研究生教育质量评价方法初探——基于层次分析与模糊综合评判的指标体系研究

张东明，李亚东，黄宏伟,c

(同济大学 a.地下建筑与工程系;b.教学质量管理办公室;c.研究生院,上海 200092)

一、引言

党的十九大报告提出“加快一流大学和一流学科建设，实现高等教育内涵式发展”，为新时代的研究生教育指明了新坐标、赋予了新使命。研究生教育处于国民教育顶端，是科技第一生产力、创新第一动力、人才第一资源的重要结合点。一流研究生教育既是一流大学的旗帜与标志，更应在“双一流”建设中发挥高端引领和战略支撑作用，成为推动、引领国家现代化发展的重要基础和强劲引擎。一流人才培养是一流研究生教育的根本任务，建立适应新时代与新使命要求的评价体系可为一流人才培养提供导向指引与质量保障。当前，纵观国内外与研究生教育相关的评价体系[1-3]，整体上看，主要有学科评估、质量认证等；从培养单位来看，主要有面向教学单位的教学状态评估、面向在读研究生和毕业研究生的教育过程与质量调研等。这些评价体系普遍从研究生教育供给侧视角着眼，侧重于教育条件保障、教育过程规范等局部要素，具有一定局限性。

本文针对以上问题，基于“双一流”建设培养一流人才的新形势、新要求，以“跳出评价看评价”的系统观思维，探讨如何将教育评价放在研究生教育“三全育人”的整体中考察，寻找研究生教育质量评价在实现人才培养、科学研究、社会服务、文化传承创新、国际交流合作等五项职能中的实现路径，建立符合国家和社会发展要求的研究生教育质量评价体系，使之既符合国家、社会对人才培养的要求，更能通过评价规范研究生培养工作，激励各培养单位加大对研究生教育工作的投入，促进学科专业、体制机制和组织机构的多维建设，全面提高研究生培养质量。

二、评价指标体系构建的基本原则及价值取向

针对服务双一流建设的研究生人才培养工作，建立和完善研究生教育质量保障评价至关重要[4]。笔者结合多年的研究生教育管理经验，提出构建评价体系应坚持的几个原则：

(一)“理论合理”与“数据可得”相结合

研究生教育质量评价指标体系的构建须建立在坚实的理论基础上，在指标选择上要遵循教育规律和国家规范标准。但我们都知道，研究生培养的客观数据可得性较弱且易存在一些误差。因此，在构建评价指标时要统筹理论的合理性和数据的可得性，既要坚持科学性也要注意可操作性。

(二)定性评价与定量评价相结合

定量评价直观明了且易对比分析，具有一定的科学性和客观性。但研究生教育质量是一个复杂的系统，涉及到诸多因素，很多因素难以直接通过测量手段数值化，如研究生的创新意识、学习态度、法制观念等，而且如果一味地追求量化就会僵化研究生教育的本质，偏离评价目的。因此，在实际构建评价指标时，应当充分考虑定性评价与定量评价相结合，整体把握研究生教育的质量。

(三)培养质量评价和培养条件评价相结合

研究生培养质量的评价，不单单是对研究生自身的评价，它同时涉及到对研究生培养条件的评价，包括研究生培养单位的导师团队建设、学科建设、生源和类型、试验条件、公共服务平台建设等。在评价研究生培养质量时，应当将对培养条件的评价结合起来，培养条件差，无疑会影响研究生培养质量。

(四)过程评价与结果评价相结合

研究生培养质量的评价应当贯穿于研究生培养的全过程。如果只对培养质量结果进行终结性的评价，既不能切实做到研究生培养质量水平的提升，也违背了研究生培养质量评价的初衷。因此，在构建评价指标体系时应当将过程与结果相结合，充分保证形成性评价和终结性评价并重。

(五)静态评价与动态评价相结合

研究生的培养过程中可能出现培养目标、课程体系、培养方式、考核方式、培养条件等的变化，相应地评价标准也应当发生变化。另外，社会需求、社会环境等的变化，也极大地影响着研究生培养过程尤其是培养目标和培养方向的设定。因此，在进行研究生培养质量指标体系构建时，既要立足目前的实际设立好静态指标，也要考虑到培养过程的变化设计相应的动态指标。动态指标设计要有前瞻性，适当超越当前实际，以引导研究生培养质量的发展。

(六)评价研究生和评价导师相结合

在研究生培养中，导师起着非常重要的作用，对学生做人、做事、做研究等方面都产生重要的影响。研究生培养质量的提升离不开导师的影响，包括导师的学术水平、科研作风、知识涵养以及潜移默化的人格品质等方面的影响。正确理解导学关系、师生关系，加强对导师在研究生培养过程中所起作用的评价，了解导师的作用和不足，是研究生质量评价体系构建过程中不可或缺的一部分。

(七)历史评价和现状评价相结合

研究生阶段已经经过了本科的学习，在进入研究生学习之前积累了一定的知识素养和学业成就。对研究生培养质量进行评价，要充分考虑研究生先前学习经验，关注其学习背景，包括研究生的学历背景、专业背景、本科学习成绩等，将研究生以往学习经历表现作为重要的参考指标。

研究生教育是一项系统性工作，影响质量的因素和环节也是复杂多样的，笔者对指标的遴选，坚持以下几点价值取向：

(1)协调处理一流学科与一般学科关系

邓刚等[5]指出一般大学在学科建设过程中往往根据优势学科进行重点发展，在经费、人才以及设备等各方面得到较强支持。在这些一流学科，研究生教育质量评价指标具有先天优势。因此，为平衡与构建良性、全面的学科体系，需要适当提高指标的多样性与动态性。在“双一流”建设背景下，若高校为了获取更多的办学资源，一味拼争，而忽视或者舍弃其他一般学科的协同发展，就等同于对不同学科研究生教育进行主流和非主流的差异性对待[6]。

(2)体现以学生为中心，融入学生评价

研究生是研究生教育的主体之一，更是研究生培养质量的载体和体现者。研究生培养质量评价与研究生的切身利益直接相关，但是目前研究生培养质量评价指标往往是教师、专家参与较多，一定程度上忽视了研究生的自我直观感受。反观国外高校，学生正在成为评估的重要参与者[7]。例如，北欧五国(冰岛、丹麦、芬兰、挪威、瑞典)高等教育质量评估较为注重学生参与，取得了较好的效果；瑞典高等教育法规定，质量保证需要高等院校教职员工与学生的共同努力[8]。

(3)坚持政策导向，把握改革走向

当前，“双一流”建设已进入关键时期，无论是立足我国国情进行的研究生教育改革还是借鉴吸收国外一流高校研究生教育的先进经验而进行的教育革新都对我们构建具有发展性、前瞻性的研究生培养质量评价指标体系提出了一定的要求。近年来，国内一些学者[9-10]通过高校大数据的案例分析，在课程设置、教学方式、课程考核体系、教材选择等方面探讨了“双一流”战略下研究生教育改革的实践和成效，对其他高校相关学科建设有一定的借鉴意义。王战军等[11]以改革开放40年为契机，对中国研究生教育的发展提出了展望，阐明了研究生教育的一些趋势：以提高质量为核心，实现研究生教育内涵式发展；以服务需求为导向，推进研究生教育综合改革；以制度建设为重点，加快研究生教育法制化进程等。当前构建研究生培养质量评价体系就必须把政策导向和发展趋势纳入其中，以保障乃至引领研究生教育质量的提升。

三、服务一流人才培养的评价指标体系设计

研究生培养质量评价指标体系的构建是一项复杂的工程，涉及相关指标的设计、筛选以及权重确定。而首要问题就是确定合理的评价指标。在梳理研究生培养质量评价相关文献基础上，紧密结合国家对一流研究生人才的培养目标要求，依据以上基本原则和所要关注的重点问题，首先立了学生发展、师资队伍、学校条件以及利益相关方满意度等4个一级评价指标。围绕每个一级指标，又根据不同属性内涵，细分为13个二级指标。为便于评估单位操作与实际量化数据的获取，实践中又将上述二级指标进一步细分为91个三级指标，具体见表1。

表1 面向一流人才建设的研究生教育质量评价指标体系

一级权重二级权重三级权重A1学生发展0.23B3学业成果0.29B4人才质量0.24C19学生论文抽检优秀率0.11C20学生违反学术道德人数0.11C21生均发表国内核心期刊学术论文数0.11C22生均科研成果转化/注册发明专利数0.10C23代表性优秀成果0.12C24生均发表高水平论文数量0.07C25研究生参加全国竞赛获奖情况0.20C26研究生参加国际大赛获奖情况0.20C27应届毕业生初次就业率0.16C28应届毕业生就业学科专业对口率0.09C29应届毕业生升学/出国比率0.12C30毕业5年创业成功率0.08C31研究生最长修读年限不能毕业率0.15A2师资队伍0.25B5整体水平0.35B6导师业绩0.35B7国际化水平0.30C32立德树人、教书育人情况0.17C33导师违反学术道德人数0.16C34导师中博士学位比例0.16C35导师中正高职称比例0.15C36研究生与导师数量比例0.14C37导师人均指导研究生数0.13C38导师带研究生平均年限0.10C39 3年师均发表国内核心期刊学术论文数0.08C40 3年师均发表国际核心期刊学术论文数0.09C41 3年师均获得省部级及以上科研课题数0.09C42 3年师均承接纵向科研经费数0.09C43 3年师均承接横向科研经费数0.08C44 3年师均为研究生上课课时数0.08C45导师指导研究生做学位论文平均时长0.07C46导师中获国家教学成果奖的比例0.09C47导师中获国家科研成果奖的比例0.09C48师生科研成果转化/注册发明专利情况0.08C49师生科研成果获国家级三大奖情况0.08C50三年师均发表高水平论文数量0.09C51导师中获海外研究生学位的比例0.20C52导师中有6个月以上海外留学经历的比例0.19C53导师有海外国际组织学术兼职的比例0.22C54师均有国际合作项目数0.20C55外籍专任教师/导师数0.19

续表1

由于指标内涵丰富，从一级指标至三级指标评估逐步细化，共形成91个三级标题。限于篇幅，本文仅以学生发展一级指标下生源素质二级指标的7个三级指标为例进行说明。生源素质二级指标下共有年度录取与招生比例、招生来自重点院校比例、生源中跨学科比例、留学生比例、工作实践比例、境外留学经历比例、学科评估高排位生源比例等共7项内容。该二级指标主要从生源进入研究生阶段前的本科学业素养，体现前文提到的历史评价与现状评价相结合原则。不难发现，这个指标评价利用的主要是比例数据，因而也体现了从生源素质的定性要求与比例数据的定量获取之间的协调统一原则。

同时在学生发展这项一级指标体系下，通过生源素质、培养过程、学业成果到最后人才质量，形成符合培养逻辑的动态过程，遵循了前文提到的过程评价与结果评价相结合、静态评价与动态评价相结合的基本原则。对比4项不同的一级指标，可以看到通过师资队伍与学校条件的评价体系，对应了培养质量评价和培养条件评价相结合以及评价研究生和评价导师相结合的原则。

为便于评价过程的实际操作，本文提出的评价指标对应的评级取值可采用百分制打分赋值，最后运用层次分析法(AHP)进行各评价指标的权重赋值以及德尔菲法向专家进行模糊综合评价。

四、基于AHP与FCE方法的指标赋权

根据上述得到的评价指标体系，通过征求同济大学19位负责研究生教育的学者专家意见，形成质量评价体系及指标重要性调研结果。采用层次分析方法与模糊综合评价方法对评价指标体系内同一层次各指标的权重进行科学判断，科学衡量研究生教育质量评价指标体系。

(一)方法简介

1.层次分析法

在计算各级指标时，需要给出指标的相对权重，本文采用层次分析法进行计算。层次分析方法是美国著名数学家萨蒂教授在70年代提出的。该方法能把定性因素定量化，并能在一定程度上检验和减少主观影响，使评价更趋科学化。该方法通过风险因素间的两两比较，形成判断矩阵，从而计算同层风险因素的相对权重。该方法主要有2个步骤：

(1)确定判断矩阵

首先明确分析问题，划分和选定有关风险因素，然后建立风险因素分层结构，假设同层共有n个因素A1,A2, …，An，对所有因素进行成对比较，如将Ai和Aj比较。若Ai和Aj相比得aij，则Ai和Aj相比的判断为aji=1/aij，从而可以得到一个n×n的判断矩阵A= (aij)n×n。

(2)计算矩阵A的最大特征值对应特征向量

对于矩阵A，先算出其最大特征值ymax，然后求出其相应的特征向量W，即AW=ymaxW，这时的W分量即相应n个因素的权重，同时矩阵A需要满足一致性检验。

2.模糊综合评价方法

在指标体系及重要性构建过程中，每一位参与调研的分管院长/专家将提供一份重要性判别表，但是所有专家的判断由于受到个人主观以及其他客观因素的影响，重要性判断未必能得到完全一致的结果，若针对n位专家的重要性进行调研，将得到n张体系权重或者重要性判别表，决策者难以确定最终权重方案。因此，有必要对所有专家提供的重要性判别表进行综合分析，以得到最优的评价方案。

设与被评价事物相关的因素有n个，记作：U={u1,u2, …,un}，称之为因素集或指标集，考虑用权重：W={w1,w2, …,wn}，来衡量各因素重要程度的大小。假设所有可能出现的评语有m个，记为:V={v1,v2, …,vn}，称之为评语集。具体步骤为：

① 确定因素集U={u1,u2, …,un}；

② 确定评价集V={v1,v2, …,vn}；

③进行单因素评价得到隶属度向量，形成隶属度矩阵：

(1)

④ 确定因素集权重向量W={w1,w2, …,wn}；

⑤计算综合隶属度向量：

B=W∘R=(w1,w2,…,wn)∘

(2)

⑥ 根据隶属度最大原则做出评判，或计算综合评判值。

(二)方法应用结果分析

1.三级指标权重计算

调研19位专家对上述91项三级指标的相对重要度进行1～5级的打分，通过归一化处理可得91项三级指标的重要程度分布。图1为以二级指标“培养过程”下7项三级指标重要度分布为例的直方图。

图1 二级指标B2下三级指标C8-C14的重要度调查结果分布

在此基础上，对所有专家的三级指标重要度相对值进行加权平均，得到三级指标的综合评价表。同样以图1中生均选修课程学分数为例，评价重要程度[5 4 3 2 1 0]的专家人数占比为[0.21 0.16 0.32 0.11 0.00 0.21]，因此其重要性等级为5*0.21+4*0.16+3*0.32+2*0.11+1*0.00+0*0.21=2.87。以此类推，可以得到所有91项三级指标的重要度综合评价等级。表2为以二级指标“培养过程”下7项三级指标的重要度等级取值。

表2 二级指标B2下三级指标C8-C14的重要度综合评价及权重表

将上述三级指标的重要度进行两两比较，直接采用重要度赋值进行比较。以指标C8(记为ai)与指标C9(记为aj)比较，得到相对值ai/aj= 0.93, 以此类推，可以得到如下相对判断矩阵：

(3)

将上述判断矩阵进行一致性检验并得到矩阵最大特征值对应特征向量W即为三级指标C8-C14的权重，如表2所示。

2.一、二级指标权重计算

根据上述计算方法可得到所有91项三级指标在各自二级指标体系下的权重比例。采用模糊综合评价方法，以三级指标的重要度分布矩阵作为模糊综合评价隶属度矩阵R，通过模糊运算(公式2)，可以得到二级指标“培养过程”的重要度评价综合隶属度向量B为(0.36 0.25 0.20 0.04 0.04 0.1)：

=(0.12 0.13 0.18 0.19 0.17 0.06 0.14)∘

(4)

上式即表示二级指标“培养过程”有36%可能属于5级重要，25%可能属于4级重要，20%可能属于3级重要，10%可能属于不重要(0)，另有4%可能属于2级或者1级重要，进而通过综合判断，其重要度最大隶属度值为3.52。采用同样方法可对所有二级指标进行判断。在此基础上进一步采用层次分析方法，以一级指标学生发展下生源素质、培养过程、学业成果、人才质量四个二级指标进行权重判断，然后进一步采用模糊综合评价方法对一级指标的重要程度进行综合评价，同时采用层次分析方法进行4个一级指标的权重评价。

3.所有指标权重计算

根据上述计算方式，可对91项三级指标、13项二级指标、4项一级指标进行统一科学计算，相应的权重如表1所示。

五、分析与总结

本文通过文献调研与专家调查等手段，开展面向一流人才培养的研究生教育质量评价体系研究，所做主要工作可归纳如下：

(1)提出了以““理论合理”与“数据可得”相结合”“定性评价与定量评价相结合”“培养质量评价和培养条件评价相结合”“过程评价与结果评价相结合”“静态评价与动态评价相结合”“评价研究生和评价导师相结合”“历史评价和现状评价相结合”等7项评价指标体系构建基本原则，分析了“协调处理一流学科与一般学科建设的关系”“融入学生评价的指标体系”“指标体系需紧扣改革走向”等3个与评价指标体系有关的重要问题。基于此，较为系统地提出了91项三级指标、13项二级指标以及4项一级指标的服务一流人才建设的研究生质量评价指标体系。

(2)本文运用专家调查法请19位专家针对91项三级指标重要度进行0～5的综合评价，采用层次分析法对三级指标的权重进行科学赋权。同时采用模糊综合评价方法对13项二级指标与4项一级指标进行了权重的分析与判断，为科学衡量研究生教育质量评价提供了基本依据。

本研究主要基于同济大学研究生培养的相关数据展开，无论是在指标选择还是在采用层次分析法进行两两比较时，都受限于笔者和专家的知识储备与经验积累，因而难免会存在一些问题或不足，我们将在今后的实践中不断改进完善。本评价指标体系及评价方法仅供国内相关研究生培养单位参考。