问责与改进：我国第四轮学科评估元评估

赵立莹



问责与改进：我国第四轮学科评估元评估

赵立莹

实施有效的元评估是应答社会问责和改进评估实践的国际经验及现实选择。作者基于元评估模型对第四轮学科评估进行优劣分析，发现其服务多元利益相关者的目标适切，指标与学科质量相关性增强，评估方案可行性强，成本效益高。不足之处在于缺乏元评估环节和评估结果使用说明。基于此，为第四轮学科评估元评估提出建议：①教育部学位与研究生教育发展中心自主组织终结性元评估；②参照元评估策略模型实施元评估；③提供元评估报告说明评估有效性；④多元主体参与实现评估改进功能。

学科评估；元评估；研究生教育

2017年9月我国“双一流”建设评选结果发布之后，部分利益相关者发起了对第四轮学科评估的质疑和问责：评估方法是否得当？评估过程是否公正？评估结果是否可以用于决策？对评估的质疑是评估实践中的正常现象，因为评估的局限性客观存在，评估的有效性也会在批判反思中逐渐提高。评估方法论的缺陷、声誉评估的效度问题、指标选择的偏差等都有可能使学科排名顺序产生虚假的精确度[1]。关键问题在于如何使评估处于问责的闭环中，在问责中改进和提高。元评估是对评估的价值判断，也是问责评估的有效手段。但是，元评估在我国评估实践中还没有普及，如何科学实施元评估，是评估活动的利益相关者和学术界应该关注的问题。为此，本文将尝试用斯塔弗尔比姆元评估模型对我国第四轮学科评估进行元评估，并提出行动建议。

一、问责与改进：元评估的基本功能和我国学科评估效力提升的现实选择

1.元评估是评估问责和改进的基本手段

评估既是问责的手段，也是被问责的对象。公众对评估质量的质疑，使元评估作为评估质量问责的工具在20世纪70年代进入研究者的视野。元评估的目的在于对评估进行问责，改进评估实践。斯克里文指出，元评估是对评估系统或工具的评估，旨在服务决策和问责[2]。斯塔弗尔比姆认为科学的元评估可以为评估者提供质量保障机制，通过开展元评估能使评估实践水平不断提高[3]。于是，他先后创建了元评估标准模型，提出了元评估实施策略，又在此基础上于2013年建立了元评估逻辑结构模型。这些理论框架成为元评估组织和实施的可靠参考工具。元评估问责与改进功能的有效发挥源于不断修正和完善的元评估理论模型。

2.元评估是提升评估效力的主要手段

通过实施元评估问责评估质量，是许多国家提高评估有效性的主要手段。美国国家研究院（NRC）自1981年以来每10年开展一次博士学科点排名评估，在每次结束后都组织元评估，邀请评估专家和利益相关者对评估方法进行批判反思，广泛吸收社会各界的批评意见，形成用于指导下次评估的元评估质量报告，评估方法在传承的基础上创新，效力持续提升，这一学科评估方式也成为国际学科评估的金标准[4]。作为问责与改进的主要手段，元评估在半个世纪的实践中有效提高了评估质量。

3.元评估是应答社会问责的现实选择

教育部学位与研究生教育发展中心（以下简称“学位中心”）2016~2017年组织的第四轮一级学科整体水平评估结果已经公布。正是由于此次学科评估在资源配置中发挥了强大的决策功能，才使其受到高度关注。利用元评估标准，对第四轮学科评估进行客观分析，有助于应答社会问责，引导利益相关者理性分析和充分利用学科评估结果，提高学科评估的有效性。元评估是对评估的质量判断，也是对评估的优劣分析。现从评估目的、评估指标、评估实施、评估效果等方面对我国第四轮学科评估进行优劣分析。

二、传承与创新：我国第四轮学科评估的历史进步

元评估是基于标准对评估价值的判断。元评估的前提是确定元评估标准。标准化是高等教育问责运动的标志。元评估标准也是评估学界关注的焦点。Stufflebeam认为评估应具有成本效益，提供有用的发现，选择正确的方法。可以用评估标准组成元评估量表，收集、分析和评价信息，管理评估过程，判断评估优缺点，帮助评估者提高工作效率[5]。他从有用性、可行性、合适性、准确性四个维度建立了元评估标准量表。他提出的元评估标准，成为美国元评估实践准则，许多评估质量调查都参照了该模型[6]。该模型主要强调评估目标适切性、评估指标准确性、评估过程可行性和评估结果有用性。现选取这些标准对第四轮学科评估进行分析。

1.评估目标适切，满足利益相关者需求

第四轮学科评估主要目的在于服务国家大局、高校发展、社会需求和国际趋势。根据此次学科评估提出的背景分析，第四轮学科评估目标具有较高的适切性。

（1）符合国家发展的战略需要。2010年发布的《国家中长期教育改革和发展规划纲要（2010—2020）》强调加快建设一流大学和一流学科，实行绩效评估，进行动态管理[7]。2015年国务院发布的《统筹推进世界一流大学和一流学科建设总体方案》指出：“坚持以学科为基础。引导和支持高等学校优化学科结构，凝练学科发展方向，突出学科建设重点，创新学科组织模式，打造更多学科高峰，带动学校发挥优势、办出特色。”[8]这些文件指示精神的落实，都需要通过学科评估来推动，达到以评促建的目的。

（2）服务高校发展的现实需求。学科是高校的核心要素，高校质量提升需要通过学科评估来改进和实现。有效的学科评估能利用学科自评的机会回顾和反思学科发展，同行专家对学科发展提出改进性意见，并将改进意见落实到学科建设的实际行动中，使学科评估标准成为学科发展中持久的文化。

（3）满足社会的信息公开需求。信息公开和质量透明既是高等教育质量监控的有效手段，也是满足社会信息需求的主要渠道。学科排名评估发布公开的质量信息不仅使公众对高等教育质量监控成为可能，也向社会提供学科质量和发展状况的基本信息，为学生选择学科、社会选拔人才、政府配置资源提供依据。

（4）符合国际高等教育及评估发展的趋势。学科评估国际经验本土化，建立有中国特色的学科评估体系，促进学科评估效力持续提升，既是中国高等教育质量管理的现实需求，也是国际高等教育评估专业化均衡发展的必然要求，此次学科评估是国际评估经验与中国学科发展现实的结合，也为国际学科评估研究提供了生动的案例[9]。

此次学科评估既服务于国家发展大局，推动高校学科发展，又考虑社会信息需求和高等教育国际化趋势，因而评估目标符合目前高等教育发展的国内外现实需求，具有适切性。同时，通过实施第四轮学科评估，为国家一流学科建设提供了参考依据，为学科发展与改进找到问题与起点，为社会了解学科发展状况提供透明的信息库，为促进学科发展和评估国际化提供了动力。此次学科评估基本实现了国家、社会、高校、国际四个层面的服务目标。

2.评估准确性提高，评估指标与学科质量相关性增强

评估准确性来源于评估指标与学科质量的相关性。此次学科评估指标选择虽然不能与学科质量全部吻合，但基于对前三次评估指标的批判继承与创新，评估指标与学科质量的相关性明显增强，充分体现了学科发展的时代特征和质量测量的现实需求。坚持“质量、成效、特色、分类”导向，采用主客观评价结合的方法，设三级指标，一级指标包括“师资队伍与资源”“人才培养质量”“科学研究水平”和“社会服务与学科声誉”四个方面。根据学科门类特点调整一级指标，关注学科差异性。指标体系在七个方面进行了重点改革：

（1）指标设置基于全面质量观。全面质量观认为，质量产生于过程，体现于结果，在评价中应设置输入、过程、输出性指标。此次评估提出了“培养过程质量”“在校生质量”和“毕业生质量”三维度评价模式，体现了全面质量观，注重基于证据的效果评价，首次开展在校生和用人单位调查，跟踪学生在学期间和毕业后职业发展的质量，对学科质量进行全面考量，重点关注了学科人才培养效果。

（2）重点考察教师发展能力。师资水平是学科质量的输入性指标和决定因素。传统评估重点关注学科教师声誉，采取“以学术头衔评价学术水平”的方法。此次学科评估通过列举“代表性骨干教师”，由专家对师资队伍水平、结构、国际化程度、可持续发展能力等进行综合评价。将教师国际化程度和可持续发展能力列入考察范围，通过评估指标设置鼓励提高师资队伍国际化程度和可持续发展能力。

（3）强调基于效果的评价。学科质量不在于学科的投入，而在于投入产生的增值。学科绩效就是学科投入产生的增值。此次学科评估强调学科绩效，淡化条件资源。指标设置主要侧重于人才培养质量、师资队伍可持续发展能力和国际化程度、社会服务贡献度等。淡化了输入指标，突出人才培养过程和结果，因为教学资源投入与教学质量之间不是线性的关系，真正的教育质量产生于人才培养过程，体现在学生学术绩效和职业发展过程中。

（4）增设社会服务贡献度指标。大学是社会发展的轴心机构，服务社会是大学的第三职能，学科是大学服务于社会的基本单元，对学科社会贡献度的测量，不但能说明学科服务于社会的能力和水平，而且能发现学科服务于社会的过程中出现的问题，引导学科提高服务社会的能力，在服务社会的实践中反思和改进，在与社会的良性互动中寻求发展机遇。

（5）合理评价交叉学科成果。学科交叉研究是解决人类社会复杂问题的现实需要。几年来突破学科壁垒进行的合作研究成果越来越多，给学科评估带来新的挑战。此次学科评估基于学科发展的现实状况和国际学科评估的经验，通过“归属度”方法科学评价“跨学科成果”，鼓励学科交叉合作，体现了指标设置的前沿性和现实针对性，将对学科之间的交叉合作研究发挥良好的激励和导向作用。

（6）尊重学科特色，细化指标体系。用统一的指标评价不同的学科门类会出现不同程度的评估偏差。为了提高评估的准确性，此次学科评估根据体育、艺术等学科的特点，细化指标体系，尊重学科差异。指标体系与质量的相关性及其与现实的吻合度既能帮助准确衡量学科绩效，又能引导学科发展尊重自身发展规律和特点。根据学科的多样性特点，分类别对指标体系进行调整，针对学科特点的指标体系不仅能相对准确地测量学科质量，而且能为学科发展提供明确的指导方向和参照标准，引导学科向适合自己的方向努力。

此次学科评估在指标选择上考虑了学科发展及评估的国际趋势，逐渐接近学科的质量目标。体现了“以学生为中心，重视培养效果，在职业发展中检验人才培养质量”的质量观。对师资队伍的考察也不再局限于教师的成果产出，而是着重对教师队伍的可持续发展能力、国际化程度等指标进行考核，这些指标不仅能有效检测出目前学科师资队伍的发展能力，而且能促进师资队伍建设的可持续发展，注重师资队伍的发展潜力和前景，而不局限于教师过去的声誉和绩效。

3.评估可行性强，实施过程方便快捷

评估可行性是评估质量的主要指标，信息透明度和参与的便捷性是有效评估的必要条件。第四轮学科评估通过网络平台进行信息公开，邀请社会监督材料真实性和采取多元方法评价材料，确保评估信息的公开透明和参与的便捷，以达到多元评价主体参与的目的。

（1）建立方便快捷的信息系统。通过“学科评估系统”完成材料提交和审核。学科填写《学科评估简况表》和《学生与用人单位联系信息表》，并以附件形式提供相关证明材料。各单位可以审核、修改本单位各学科填报的材料，并将参评学科材料统一提交学位中心。材料上交和修改采用了方便快捷的网络在线平台，从系统开通到材料提交和修正只有一个月时间，体现了大数据时代高等教育质量检测信息化高效便捷的特点，不但方便了此次学科评估，而且利用学科评估完成了学科信息资料的采集，为学科发展数据库的创建提供了真实可靠的资料。

（2）通过社会监督保证材料的真实性。材料真实性是结果可靠性的重要保障。为了提高学科自评材料的可靠性，学位中心通过三个步骤核实材料：组织专人对申报材料进行全面核查；在确保信息安全的前提下对部分材料进行网上公示，并接收各方异议；核查结果与异议问题将反馈给各单位确认。对存在较多材料不实问题的单位，扩大对其抽查的范围，加大对其核查力度，并在评议过程中进行相应处理。采取信息公开和专家评议相结合的方法保证提供材料的真实性，所有材料需要提供相应附件以确保其真实可靠。

4.评估证据来源和方法多元化

评估方法和证据来源的多样性是评估可靠性的重要影响因素。开展基于证据的评价是国际评估专业化和科学化的基本要求，促进证据收集方法的多元化是提高评估证据信度的有效手段。此次学科评估综合使用了客观评价和主观评价。

（1）评估方法和证据选择多元化。在评估证据收集中坚持“定量与定性、国内与国外、质量与数量三结合”的学术论文评价方法。在自然科学学科建立更科学的“中国版ESI高被引论文”指标，强化中国论文评价话语权。证据选择在考虑多样性的同时也兼顾中国特色。根据客观数据分析与主观评价结果，按指标权重统计形成评估结果，并按“精确计算，淡化名次，聚类统计，多维发布”的原则发布结果。

（2）多元主体参与学科质量主观评价。主观评价包括问卷调查、专家评议、学科声誉调查和指标权重调查四部分。①问卷调查主要在学生和用人单位之间进行。学位中心根据学科提供的在校生和毕业生工作单位信息，邀请他们参加网络问卷调查。对大量学生和用人单位的网络调查，保证了主观评价信息来源多样化。②邀请学科同行专家对师资队伍质量、优秀在校生、优秀毕业生、学术论文质量以及社会服务特色与贡献等主观评价指标进行专家评议，并综合考虑专家所在单位与地理分布，确保评议公平公正。③学科声誉调查。邀请“学科同行专家”和“行业企业专家”对学科进行声誉调查。学科同行专家原则上从各参评单位等量选取。评估资料收集和评价方法既接近质量目标，保证信息来源的真实性和多元化，又有较强的可行性。

5.评估成本效益和有用性提高

评估的成本效益及其有用性是评估有效性的重要指标。此次学科评估成本效益和结果有用性较之前都有很大程度的提高。

（1）网络平台取代现场考察降低成本。现场考察虽然是收集评估资料、获得一手证据的主要方式，但是现场考察耗时费力，而且评价者和被评者直接接触，有可能滋生评估腐败或使评估者面临道德冲突的两难选择，有可能会降低评估的信度。此次学科评估建立的网络平台使资料采集和社会参与方便快捷，取消了现场考察环节，降低了评估成本，通过材料公开与核实，保证了评估资料可靠度，既节约了成本又保证了信度。

（2）提供分析服务增强有用性和影响力。评估价值在于评估结果的交流和合理使用。学科评估结果发布后，根据相关文件精神，学位中心将对评估信息和关键数据进行分析整理和深度挖掘，根据参评单位和有关部门需求，提供后期有偿分析服务。①向参评学科提供分析报告，形成学科水平各重要指标的“体检报告”，帮助学科了解自身优势与不足。②为参评单位提供整体分析报告，为学科建设规划和整体发展提供参考。③向省级教育行政主管部门提供全方位、多元化的《地区学科发展水平报告》，服务地区学科建设和研究生教育发展。④根据需求向中央政府有关部门提供分析服务[9]。根据此次评估服务的不同目标群体，分层次提供分析报告和服务，提高了服务的针对性。

学位中心在评估方案设计中考虑到评估的有效性，积极降低评估成本，提高评估可靠性，并充分交流评估结果，发挥评估结果的决策参考功能，同时将评估的改进功能列入评估后续工作行动计划。因此，此次学科评估有效性有明显提高。但是，每次评估方法的传承与创新都是有限的进步，此次学科评估同样存在局限和不足。

三、反思与批判：第四次学科评估的局限及不足

反思与批判是评估效力提升的必要条件，也是许多国家评估方法创新的动力和源泉。在评估之后，对评估方案、评估实施过程，评估结果进行批判和反思，是评估的基本流程。参照国际评估的流程和标准，我国第四轮学科评估的局限性主要体现在两个方面：一是评估方案中缺乏元评估环节，二是缺乏评估结果使用的指导说明。

1.缺乏批判反思的元评估环节

根据欧美等国家学科评估的实践经验，元评估是评估的重要环节，元评估在学科评估的发展过程中发挥承上启下的作用。只有及时对学科评估进行元评估，才可能使学科评估质量得到公众认可，评估中出现的问题被理性对待，并成为下次评估方法创新的起点。我国第四轮学科评估虽然基于对前三次学科评估的批判反思和国际学科评估的基本经验，在传承的基础上创新，在指标体系设计、数据收集方法等方面都参照评估合适性、有用性、可行性、准确性等质量标准有了明显改进，但社会各界对此次学科评估的批判还是不绝于耳。批判是社会对学科评估高度关注的体现，也是对学科评估有效性的理想期待，更是我国学科评估文化走向良性的证明。批判性反思是评估效力提升的必要条件，也是评估质量提升的前提。提高评估效力，不但要依靠科学的评估体系和可靠的数据采集，还要依靠多元主体对评估结果的关注和理性评价。只有在批判反思中理性分析评估存在的问题，才有可能科学合理地运用评估结果，增强评估影响力，提高评估的有效性。但是此次学科评估从评估方案设计、评估实施流程等各个方面，都没有设置元评估的环节。元评估环节的缺失，会使评估遭遇不公正的评价，使评估质量没有证明的机会，对评估中存在的问题也不能集中分析和讨论，公众非理性的批判如果不能被正确地引导会影响评估的社会公信力。总之，缺乏元评估的环节将会降低此次学科评估的价值和影响力。

2.缺乏评估结果使用行动指南

评估的最大价值在于通过评估结果的合理使用，对评估对象产生积极影响。评估结果的误用有时会产生消极的影响，尤其是将评估结果为资源分配提供参考时。因此，在评估结果发布之前，根据评估结果使用的目标群体，分别进行应用指南和使用有助于促进评估结果的合理使用。此次学科评估虽然承诺将为国家、高校、社会提供分析服务，但对于不同利益相关者如何正确使用评估结果却没有进行详细的说明。比如，国家如何参照学科评估结果分配资源？如何在追求效率的同时兼顾公平，避免评估产生“马太效应”?高校如何发挥评估的改进功能？等等。如果能提供评估使用指南，将会提高评估的效用，降低评估产生的消极影响，使评估结果对不同层次学科产生积极的作用。

四、组织与实施：第四轮学科评估元评估的策略和流程

学科评估是国家、社会和学校对学科绩效的问责。学科评估是否能有效问责，促进学科发展和改进，取决于学科评估的有效性。学科评估的有效性不是在评估实施之后评估组织者对评估工作的简单总结，而是基于元评估框架对学科评估质量和效果的批判反思和理性批判。林梦泉曾提出学科评估改革构想：在强调学术质量、弱化规模评价、加强效益评价方面进行改革，提高评估结果的科学性、合理性，更好地发挥学科评估的导向和促进作用，为政府提供决策参考，促进学科的健康、可持续发展[10]。当前第四轮学科评估已经结束，学位中心应及时组织元评估，向社会客观说明其局限和进步，促进评估结果的交流，有助于提高学科评估的有效性。元评估是问责与改进的枢纽环节。只有遵循元评估的逻辑，采取合适的元评估策略，才能有效组织与实施元评估。

1.学位中心及时组织元评估

元评估分为形成性元评估和终结性元评估，形成性元评估由评估组织者在评估过程中实施，终结性元评估由外部机构在评估结束后对评估进行问责。第四轮学科评估由具有行政权力的学位中心负责实施，评估结果对学科资源配置起决定性的作用，学科点和高校没有勇气公开对学科评估进行批判。同时，我国也缺乏专业的评估问责和认证机构负责在评估结束后对评估质量进行问责。由于对学科评估之后学科的整改效果、学科评估的质量、学科评估产生的影响没有进行系统的调查和分析，问责的缺失降低了我国学科评估有效性和社会公信力。学位中心依然是第四轮学科评估元评估最合适的组织者和实施者，可以邀请国内外评估专家、此次学科评估的评审专家、参与学科评估的高校和学科，参照国际元评估的标准和模型，对此次学科评估有用性、合适性、可行性、有效性、成本效益进行分析，讨论此次学科评估在指标设置、专家选择、资料收集、数据处理、结果使用过程中的进步与不足，最终形成学科评估方法反思和改进的元评估质量报告。

2.以元评估实施的策略为参照

策略是可以实现目标的方案集合。斯塔佛尔比姆基于元评估功能分析，于2001年提出了元评估的11种方法和策略，从专家选择、问题确定、判断标准、资料收集、材料分析、价值判断、结果交流等11个方面，分别进行了详细的分析和说明[11]。斯塔佛尔比姆对于元评估标准及量表的探索，为评估质量判断和问责提供了分析工具。根据这一元评估实施的策略模型，为学科评估元评估提出以下建议：①组织学科利益相关者交流，让高校、学科充分参与交流讨论，征求对评估的意见和建议。②选择多元化评估专家参与元评估。元评估专家从知识结构上要熟悉元评估的特征和流程，掌握元评估的方法，同时要保证专家来源的多样化，如国外、国内的专家级利益相关者等。③建立元评估的工具。根据元评估标准和学科评估特点建立元评估工具，确定问题，收集资料，对资料进行分析和判断。④促进元评估结果的交流和使用。在元评估报告中客观说明学科评估的局限和进步，提出改进建议，同时对学科评估结果和元评估结果的合理使用和改进提出可行性行动指南。

3.元评估报告应客观说明评估有效性

斯塔弗尔比姆认为评估应该达到既定标准，选择合适的方法，形成有用的评估报告，并具有成本效益[12]。有效性是评估目标的实现程度、评估结果的成本效益及其产生的影响力。对评估有效性的判断是元评估的逻辑起点。效力诉求是评估实践改进的逻辑起点，每次评估质量都会在传承与创新的基础上提高，这是学科评估实践发展的基本趋势。评估的局限在实践中客观存在，尤其在我国学科评估实践的初级阶段，评估效果很难达到多元利益相关者的理想期待。对评估过程、评估结果及其影响产生的疑惑如果不及时消除，将会使人们对评估产生抗拒心理。只有通过元评估质量报告对此次评估的局限性及其进步进行客观说明，才能使利益相关者宽容评估中存在的偏差，积极利用评估发现和改进学科发展中存在的问题，不断提高学科的学术品质。

4.多元参与实现评估的改进功能

学科评估结果既是通过学科评估收集的资料证明学科发展的绩效，又是根据学科评估过程中发现的问题对学科发展提出的改进意见，还是根据学科绩效对学科的发展水平进行排名。虽然证明学科发展的质量和发现学科存在的问题在学科评估中的作用同样重要，但是在实践中高校和社会仍然最关注学科评估的排名结果，而忽略了学科评估的其他结果。尤其是对学科发展中存在的问题，在学科评估报告中只进行抽象的描述，专家提出的改进意见也只是在评估反馈中有所提及，被评学科和高校很少基于专家提出的改进意见形成学科发展的行动计划。这样，耗时费力的学科评估除了向社会提供学科排名结果，为学生填报专业提供选择，在其他方面并未发挥有效的作用。而且，政府对高校行为的管理具有强大的推动力，如果国家能组织对学科评估结果使用效果的再评估，主要评价学科评估结束之后各学科根据专家提出的意见形成的行动计划及计划的落实效果，调查各学科在评估之后的变化，将能促进学科评估结果的充分交流和合理使用，而且能扩大学科评估的影响力，使学科评估的标准逐渐发展成为学科内部自律的质量文化，使学科评估对学科发展产生持久的影响力。

五、结语

问责和改进既是评估的功能，也是评估规范发展和质量提升的现实选择，更是评估效力持续提升的基本经验。在我国评估问责机制缺失的情况下，为了提高我国第四轮学科评估的影响力和公信力，建议学位中心参照国际元评估模型和我国学科评估的现状，及时组织多方参与的元评估，根据元评估标准，对此次学科评估进行质量调查和批判反思，形成基于证据的元评估质量报告，客观说明此次学科评估的进步和局限，引导参评学科合理使用学科评估结果，提高学科评估的公信力和影响力。

[1] 刘承波. 世界一流大学的学术品质评估对“双一流”建设的启示[J]. 中国高教研究, 2017(9): 12-15.

[2] SCRIVEN M. An introduction to meta evaluation[J]. Educational products report, 1969(2): 36-38.

[3] STUFFLEBEAM D L. The meta evaluation imperative[J]. American journal of evaluation, 2001( 2): 183 -210.

[4] 赵立莹. 效力诉求: 美国博士生教育质量评估体系的演进[J]. 北京: 科学出版社, 2014: 3.

[5] STUFFLEBEAM D L. The ten commandments, constitutional amendments, and other evaluation checklists [R]. Evaluation, 2000.

[6] STUFFLEBEAM D L. Program evaluations meta evaluation checklist evaluation checklists project [EB/OL]. http://www. wmich.edu/evalctr/checklists.

[7] 国家中长期教育改革和发展规划纲要（2010-2020年）[A/OL]. http://www.moe.edu.cn/srcsite/A01/s7048/201007/t20100729_171904.html.

[8] 国务院关于印发统筹推进世界一流大学和一流学科建设总体方案的通知[A]. 国发〔2015〕64号. http://www.gov.cn/ zhengce/content/2015-11/05/content_10269.htm.

[9] 全国第四轮学科评估工作正式启动. 全国第四轮学科评估邀请函[EB/OL]. (2016-04-25). http://www.cdgdc.edu.cn/ xwyyjsjyxx/zlpj/pgpsdtxx/282055.shtml.

[10] 林梦泉. 学科评估发展与改革探究[J]. 中国高等教育, 2010(21): 43-45.

[11] STUFFLEBEAM D L. The meta evaluation imperative [J]. American journal of evaluation, 2001(22): 183-209.

[12] STUFFLEBEAM D L. Meta-evaluation[J]. Journal of multidisciplinary evaluation, 2011, 7(15): 99-158.

（责任编辑 周玉清）

陕西省教育科学规划课题“陕西省教育现代化指标体系及实施路径”（编号：SGH17H076）

10.16750/j.adge.2018.02.007

赵立莹，西安建筑科技大学职业技术学院副教授，陕西师范大学博士后，西安710055。