常态化研究生教育自我评估机制研究

赵 嵩

目前，自我评估工作既是研究生教育理论研究的热点，也是各培养单位的工作重点。但自我评估方式仍面临着一些困难和问题，迫切需要改革。 《学位授权点合格评估办法》（学位〔2014〕4 号）等系列文件下达后，各高校已经对自我评估工作给予了足够的重视，明确了新形势下评估的意义，但是自我评估并没有成为持续性和常态化的常规工作。另一方面，不少高校对于自我评估的内容和指标往往根据国家下达的“抽评要素”做减法，只关注个别指标，没有形成完整的指标体系。为了解决以上问题，高校应当建立一套科学、先进的自我评估机制，形成主动的、常态性的评估工作惯例。 目前网络技术和智能决策支持理论的快速发展已经使各个领域的工作方式发生了巨大的变革，并深刻地影响着高等教育的发展模式，研究生教育评估工作也应当积极利用这些领域的最新成果，建立智能化的评估信息平台，实现以常态化监测为基础、年度评估与阶段性评估相结合的自我评估机制。

一、自我评估的关键因素

自我评估是一项复杂的系统工程，包括大量不同类型的信息数据和繁复的工作流程，其中最关键的因素是：制度的因素、信息的因素和专家的因素。制度的因素在于构建科学的指标体系和评估方案；信息的因素在于利用信息系统平台获取评估所需要的各种监测数据和评价信息；专家的因素在于依靠有着丰富经验和专业背景的专家为评估工作提供分析咨询和对策研究。

1.制度的因素

目前评估工作中存在一个问题是，评估的工作人员和评估的对象（教师）往往处于被动工作的状态，对待评估的积极性不高。 其原因是高校中存在着包括学位点评估、重点学科评估、专业评估等多种类型的评估，这些评估的直接目的不同，但有相似的具体考察指标。 如果实施方法不恰当，带来重复工作，难免会使参与评估工作的人员感到疲惫，对评估工作产生负面情绪。 因此构建科学合理的评估方案是自我评估工作的前提和基础。 好的评估机制应当综合考虑学科和学位等多种评估指标体系，把评估工作人员和评估对象从低层次的简单重复工作中解脱出来，并用科学的评估指标体系引导研究生教育工作的方向。

2.信息的因素

学位点评估观测的指标体系往往会比较庞大，比如章丽萍等提出的基于学院构建评估体系包括49 个三级指标[1]，刘平等提出的评价框架包括39 个指标层[2]，中国传媒大学的研究生教育质量评估体系超过60 个观测点。 指标体系观测信息类型复杂、数据来源众多，人工处理不但繁琐而且容易出错，因此在这个阶段特别适合利用计算机和网络系统收集、统计数据，并对数据进行智能分析和挖掘。 目前很多高校已经开展了数字校园的建设，改变了之前各种管理信息系统各自不能互联互通的缺陷，这为建立信息整合的研究生教育自我评估系统打下了基础。

3.专家的因素

教育评估是一个开放的复杂系统，仅依靠客观数据不能真实反映教育的本质和内涵，在人工智能还不能达到的层面上，具有知识和经验的教育专家仍然具有不可取代的作用。 一些院校在评估工作中曾经片面注重成果数量与办学规模的横向比较，但在目前研究生教育的“质量时代”，深刻的分析和评估研究生教育的培养目标、学科特色、培养过程等方面需要评估专家的专业与智慧。

4.排除次要因素的干扰

传统评估过程中，最为耗时费力的阶段在于行政力量的推动，各院系的人员组织与动员，评估过程的会议组织，基础数据材料的收集汇总上报，这些方面不是评估的主要因素，但是大量的人力和时间耗费在这些非核心因素上，加上评估的过程冗长，使得评估工作甚至影响到了正常的研究生培养工作本身。 自我评估需要在方式上进行创新，消除影响评估工作的负面因素，突出自我评估的核心关键因素。这就要求构建一种新的“人机结合-以人为主”的自我评估机制：在制定好评估方案后，评估信息系统平台能够无需人工操作和干预，自动组织过程进行数据的收集、分析和挖掘；评估专家对汇总的评估数据和分析报告进行考察、研讨，并最终给出评估意见。

二、常态化自我评估机制的构架

常态化的自我评估体系分为三个阶段，①常态信息监测，实现对培养过程的监控和信息收集统计；②年度评估分析，从数据中进行分析和挖掘，寻找各类信息之间的内在联系，获得培养质量的趋势分析和预警信息，在此基础上完成年度评估与总结；③阶段性（中长期）评估，通过专家考察和测评对学位点进行综合评估，给予评估意见，作为学校决策参考的依据。 常态化评估的基础在于研究生教育工作的全面信息化和网络化，由此产生的大量过程信息和成效信息是进行年度评估分析的数据保障。 提高评估工作效率的关键在于评估信息系统平台能够主动收集海量数据并做出较精准的评估分析。 评估结果的科学性与真实性依靠定量分析与定性认识的有机结合，更在于两种智能的结合与互补，即来自评估专家的知识与经验的群体智慧，以及信息平台与决策系统的人工智能。 评估的流程体现了学校对学位点进行自我调整决策过程的四个层次，即：数据-分析-咨询-决策。

1.常态化的学位点基础信息指标监测

常态意味着持续监测，并且随时可以生成统计结果。 所有的数据收集或者来自于其他信息平台产生的数据，或者来自于常规工作，避免人为的组织和干预，使自我评估工作完全融于日常工作中，成为“隐形”的“透明”的工作。 实现这一目标的关键在于信息平台的设计和信息的自动获取。

（1）建立平台、获取数据。 建立专门用于自我评估的信息平台，在数字校园系统的支持下，平台可以与学校的其他系统数据接口相连接，如研究生管理信息系统、科研管理信息系统、人事信息系统等。

培养工作子系统可包括培养队伍的信息统计、培养过程的监控、培养条件的统计、培养成效统计等功能， 该子系统主要通过数字校园的底层平台和统一数据接口，获取来自“研究生管理信息系统”“人事信息系统”以及“教务管理系统”的日常工作数据。以达到对于培养过程全面监控的目的。

评价工作子系统可包括评价指标的设置、专项或年度综合测评、其他系统的评价结果导入、评价结果的综合与统计等功能。该子系统通过获取“研究生管理信息系统”的每学期评价数据，以及子系统本身通过专项评价工作获取评价数据。 目的是及时掌握学生、教师、管理人员、联合培养基地以及用人单位对于学位点的直接意见，获得多来源、多角度的全面评价。

督导工作子系统实现督导专家成员的管理、督导评估指标设置、评估任务下达与接收、督导与评估数据上报等功能。 该子系统数据来自于学校研究生教育督导组或教指委的日常工作信息。 目的是持续地获得专家对学位点培养过程的主观评价。

科研情况子系统主要观测学位点的年度科研情况，包括导师队伍和研究生的论文发表，科研项目及经费和科研成果等方面的统计数据和情况比较。 该子系统的数据主要来自于“科研管理信息系统”中的教师科研情况和“研究生管理信息系统”中的研究生科研情况两方面的数据。 目的是衡量学位点的年度科研情况。

（2）构建完备灵活的评价体系，形成定期评估的工作惯例。 由于常态化自我评估信息平台具有主动收集数据、无人值守的特点，因此评价体系的建立可以采取更加灵活的模块化方案。对于信息化程度高、基础评估工作到位的高校，可以建立具有较多观测点的完备评价体系，可包含招生质量、师资队伍、培养目标、培养过程、培养质量、培养条件、科学研究、制度与管理等全方位的指标大类，进一步细分二级指标和具体观测点。 由于信息平台的基础数据是通用的，因此可采取模块化的方式构建指标体系，以面向不同的评估需求。针对不同类型的评估，如学术型学位点评估、专业学位评估以及学科评估等，形成多套指标体系，系统根据各指标体系实现多种类型评估的常态监测与信息统计。

自我评估的数据和材料应当来自于日常工作的积累，而不能在上级部门统一组织的评估前突击准备。为了实现这一目标，需要在日常的工作中把评估数据的完善作为常态性的工作，做到淡化形式，强化惯例。为了实现下一阶段的数据挖掘和分析，应当有较大数据总量和多种信息来源，因此需要把研究生教育各个方面的所有环节纳入监测范围，利用信息系统平台把实际工作流程转换为数据流，形成立体的数据仓库。

2.年度学位点分析报告

（1）数据的汇总与分析。常态化监测获取的信息只能对数据所代表的事实进行基本描述，提供单项或组合查询，实现初级的评估决策支持。 然而，学生数量、开课情况、科研成果等数据是分散独立的，虽然经过一年的数据积累，指标体系所监测的要素已经完备，但各类数据之间没有建立起内在联系。在进行年度评估之前，需要对数据进行分析。分析数据时应当借助人工智能领域的各种方法，结合研究生教育的具体情境。 适合应用于研究生教育质量自我评估的数据挖掘与分析方法包括以下几种：①聚类分析。 这一方法已经被应用于学生评价和学科评价中[3]，基于个体内在属性的近似特性而实现自我分类。 聚类分析方法可用于研究生培养质量水平的分级或课程评价的分类。②数据关联。可以从大量数据中挖掘不同类型信息之间的相关性，包括关联规则和可拓分析方法在内的数据关联可以用于分析诸如生源质量、学生成绩、论文质量等方面之间的内在关联程度[4]。③异常预警。诊断式的自我评估要求在评估过程中及时发现问题并改进，但目前的异常预警机制往往是培养过程的实时业务预警[5]，仅能在单个环节出现异常，数据超过阈值时发现和提醒。对学位点的预警则建立在评估指标体系的年度综合评价基础上，通过对各类指标和综合指标的评价和排序，对出现的问题进行预警提示。④趋势预测。目前的预测方法已经从多元线性回归和灰色模型等方法发展到利用人工神经网络等智能学习策略对具体指标进行预测[6]，这些方法同样可以用于对学位点的综合评价指数进行趋势预测。

（2）形成总结报告。在前一个阶段的数据汇总和分析阶段，仍然是依靠智能系统实现的自动处理。学校可将统计分析结果反馈至各学位点，要求各学位点在此基础上进一步分析和总结，存在问题的学位点需提出整改措施。学校汇总各学位点的年度总结，形成学校总体研究生教育质量报告。 这一过程以年度为周期，实现自我诊断式评估的循环机制。

3.阶段性全面自我评估与考核测评

自我评估的前两个阶段形成了评估与反馈的小循环，这一反馈环是以评估系统平台的信息收集与智能分析为主，结合学位点自身的总结与反馈，还达不到对学位点水平进行衡量与综合评价的层面。 在阶段性全面自我评估与考核阶段，则主要依靠评估专家的作用，对学位点的整体状况给予咨询分析和评估意见，通过合格评估形成对学位点的自我调整决策。在这一阶段同样要利用好评估信息平台，在长期的信息监测基础上进一步对各年度的分析报告进行梳理，将最完备和详实的中长期分析报告提供给评估专家作为评价的依据。

（1）全面自我评估的程序。 全面自我评估可每6年组织开展一次，其过程分为准备阶段、通信评议阶段、专家进校评估阶段和决策与反馈阶段。在准备阶段，需要在学校层面结合学科建设发展规划明确评估目的，制定总体评估方案，确定专家组的人员构成。在通信评议阶段，各学位点形成自评报告供专家审阅，专家可与评估组织单位商定下一步的评估细节内容。 进校评估阶段，专家进行实地考察，形成评估报告。 决策与反馈阶段，学校可召开决策会议，以评估报告为参考依据，对学位点进行投票表决，对优势学科和学位点给予奖励和政策支持；对存在问题的学科给予预警提示，责令其进行整改；对达不到合格水平的学位点将予以撤销。

（2）组织实施。根据高校的管理体制和研究生教育的规模，自我评估的组织形式也可相应分为两类：一是集中组织，统一实施，二是分布式自主实施。 两种类型的共同点在于使用学校统一的自我评估信息平台，区别在于自我评估实施的主体。

集中组织统一实施。 研究生教育规模较小的培养单位可采用这种方式，评估的实施主体可为研究生院或发展规划处等评估主管部门，由学校制定统一的评估办法和评估体系。 学校各学位点在统一的时间节点完成年度自我评估，并在自我评估周期中同时接受学校的阶段性评估与考核。 校学术委员会或学位评定委员会给出评估结果，做出学位点的整改与撤销决定。 此方式的优点在于所有评估工作同步完成，利于培养单位对于培养质量的总体控制，促进学位点的均衡发展，可以实现校内各学科发展水平的横向比较，有利于做出适应学校发展规划的决策。

分布式自主实施。 研究生教育规模较大，“校-院” 二级管理较为成熟或已完成大部制或学部制改革的高校可采取这种方式。 根据学校的不同学术体制，评估的实施主体可为学位点、院系或学部，在不同的层面上自发组织自我评估，根据各学科或领域的特点建立评估体系，完成评估程序，自主实现学位点的整改与撤销。 此方式的优点在于突出学位点的个性化发展，给予已经实现良性发展的学科更大的自主性。

[1] 章丽萍，徐敏娜，杨树锋.基于学院的学位与研究生教育质量评估指标体系设计[J].学位与研究生教育，2010（6）：12-15.

[2] 刘平，顾丽琴，吴旭舟.研究生培养质量评价指标体系的构建研究[J]. 研究生教育研究，2011（5）：60-64.

[3] 赵丹，易英欣.基于灰色聚类评价模型的研究生招生质量研究[J].黑龙江高教研究，2014（11）：46-49.

[4] 马星.基于层次关联理论的教学质量评价方法[J].武汉理工大学学报，2007（5）：122-125.

[5] 吴红苇，李秀兵，张宁，等.基于预警机制的研究生培养质量保障手段的研究[C].第二十六届全国研究生院工科研究生教育工作研讨会论文集，2012：244-249.

[6] 叶善文，赵杰煜.基于混合贝叶斯网络数据挖掘及研究生升学预测模型的研究[J].宁波大学学报，2013（3）.