元评估在学术类社团评估中的探索性研究

裘丽　张剑

[摘要]我国从2011年就开始了对学术类社团的评估工作，旨在“以评促建”。客观来看，评估会产生偏差，评估效果的良好与否就在于评估偏差是否被控制在合理的范围内。当前，我国学术类社团评估效果尚无有效的衡量手段，评估工作的成效得不到检验。通常而言，元评估就是对评估本身的评估，它是在先有的评估工作结束后以该评估作为客体而进行的评估。国外的研究已经证明，元评估在控制评估偏差、提高评估质量、提升评估水平以及提高评估结果为依据而作出的决策科学水平方面具有重要的作用。本文认为，鉴于国外对元评估已有的研究成果和国内的实践和研究经验，将元评估纳入学术类社团评估工作中具有重要的理论和实践价值。

[关键词]评估 学术类社团 元评估

一、引言

学术类社团是社会团体的重要构成部分，也是我国现代社会治理的重要参与主体。在当前我国构建“小政府、大社会”的环境下，学术类社团因其在优化资源、促进科技发展、提供技术服务、普及科学知识方面具有独特的优势，在现代社会治理中扮演着越来越重要的角色。通常意义上的学术类社团评估是社会组织登记管理机关，即民政部门在遵循《社会组织评估管理办法》的条件下，依据相关规则对学术类社团进行的评估，目的在于“以评促建”。学术类社团评估是社会组织评估的重要部分，我国的学术类社团评估工作开始于2011年，至今不足5年，由于评估开展的时间短，存在发展不足的问题。

评估是一项由多环节组成的系统性工作，尽管评估作为一项科学的研究方法被运用于社会组织中，但是基于评估自身而言，它在实际操作中也会因诸多因素，如评估主体、评估客体、评估方法、评估过程等的影响而产生偏差。就我国的社会组织评估而言，邓国胜认为，我国的社会组织发展存在着理论和实践的两大不足问题田。理论上，社会组织发展存在着动力不足、压力不足和能力不足的情况；实践上，社会组织的内部管理与政府的外部管理均存在不足。社会组织发展中存在的不足带来了评估的必要性，而评估则存在大小不一的偏差。为有效了解评估结果中存在的偏差与不足，研究这些偏差和不足对评估结论的影响并加以引导和反馈，这就涉及“元评估”的概念。正如Stuftlebeam的观点，引导和反馈评估中优点与缺陷是元评估的基本目的。学术类社团评估是社会组织评估中的一项重要内容，为保证学术类社团评估工作的规范化与科学化，对其开展元评估就显得意义重大。

二、关于元评估

（一）元评估的基本概念

元评估最早产生并发展于美国。1969年，Scriven在《教育产品报止》中正式提出了“元评估”（meta-evaluation），这被认为是元评估最早的概念化。1974年，Stufflebeam给予元评估以具体的概念化，他指出，“元评估是为获取和运用那些评估的效用性、可行性、合理性和准确性，以及其系统本质、行为能力、诚信度、受尊重程度和社会责任感方面的描述性和评估性信息来引导并向公众报告该评估的价值与缺陷的过程”。1975年，Scriven提出了评估与控制偏差的两条原则，第一，建立评估者与被评估对象之间的独立性；第二，定期更换评估者，因为固化的安排会产生副作用。Cook和Gruder从过程性元评估和结论性元评估的差异性出发，将元评估分为形成性元评估和总结性元评估。

（二）元评估在国外的发展

元评估的发展中存在着支持与怀疑两种声音。持支持态度的学者主要有Stufflebeam、Scriven、Cook、Monica等，他们的依据有三：第一，评估有失败的可能性，失败的评估会产生副作用，而形成性元评估可以保证评估工作的公平与高效；第二，总结性评估可以公开揭示已完成评估的优点和缺陷，从而相关人员避免因使用错误的结论与建议而导致利益受损；第三，相对于初始评估。元评估具有成本上的效益，因为它远比初始的评估省钱。而以Brickell、Sroufe、Gene Glass等学者为代表的反对派，则认为元评估跟评估一样有缺陷，主要依据为：第一，参与评估工作的评估者容易受到政治力量的制约，从而影响评估的公正性。元评估同属于评估，也会受到影响。第二，评估是一个追求卓越的过程，但是评估中存在的威胁、中断以及消极的反馈往往制约了卓越成就的实现。第三，评估经常会被上层领导者所利用，以指挥下级从事超出现有能力范畴的工作。第四，逻辑陷阱的存在。元评估作为对原评估的评估，被视为第二次评估，那么，对元评估又该如何检验，对元评估的评估又该如何检验……如此循环下去就形成了一种逻辑陷阱。

尽管学界对元评估存在着争论，但是元评估作为一种评估原评估的手段依然受到重视并不断发展和完善。Stufflebeam（1978）对元评估的意义作了充分的解释，他认为，对元评估的褒贬与否，都有着几方面无可置疑的合理性。首先，元评估对原评估进行评估而产生的反对观点有助于公众对初始评估做出一个真实评价；其次，元评估可以帮助原评估的评估者反思自己的评估计划、做法与结论；第三，原评估即将完成且被利用起来，元评估可以帮助原评估者和公众谨慎地考量原评估的充分性问题。

元评估的研究标准众多，但最权威的评估标准是美国教育评估标准联合委员会（JCSEE）发布的1994年版《方案评估标准》。1989年，美国国家标准学会对教育评估标准联合委员会的程序进行了论证并给予通过，JCSEE标准也因此获得了国家标准的资质，成为美国的国家标准。因而，JCSEE标准在元评估领域有着特殊的地位，这也是本文着重研究JCSEE标准的缘由所在。

（三）元评估在我国的发展

总体而言，我国的元评估研究存在着三大主要特征：一是研究开展时间相对短。国内学界对元评估的研究主要开始于20世纪80年代末，朱镜人在他的文章《保证教育评价质量的探索——美国（评价之评价）Metaevaluation理论》中，较早地对元评估进行了研究。二是研究内容偏于集中。国内对元评估的研究内容受国外影响较大。国外的元评估兴起并发展于教育领域，国内对元评估的研究遵循元评估研究的教育起点，并长期以教育元评估为研究核心。三是国内的元评估研究还存在着实践不足的问题。国内学者对元评估的研究偏重于理论，加上缺乏开展元评估工作的物质支持，以致目前元评估实践案例较少。

（四）元评估之于学术类社团评估

尽管我国在学术类社团评估工作中尚未引入元评估机制，但是在学术类社团评估工作中开展元评估是十分必要的。主要依据有：第一，学术类社团在保障学术自由、推动学术交流、促进科技进步等方面有着重要作用，对学术类社团开展评估有着重要作用，元评估作为对原评估的检验，可以有效控制评估偏差。第二，国外学者的研究成果已经证明，元评估适用于广泛的评估，而非仅仅适用于教育等某一个领域。就非营利组织领域而言，Monica利用Henry和Mark的评估影响分类方法，在个人、人际交往以及集体三大分类条件下对国际救助贫困组织（cARE）的评估影响力进行了元评估的案例研究，证明元评估作为检验评估影响力工具的有效性，同时这也是元评估在非营利组织研究中的一次有效运用。第三，遵照Cook和Gruder的观点，原评估要得到认可就必须进行元评估。

三、开展学术类社团元评估的积极作用

（一）有利于评估偏差的控制

评估中会因为主客观因素导致偏差的发生，评估偏差贯穿于评估的整个生命周期。同所有的评估工作一样，学术类社团评估中产生偏差也是一种客观存在。评估的环节众多，包括评估主体的选择、评估客体的确定、评估方法的选择、评估指标的设立、评估的进行过程等都存在产生偏差的可能。评估偏差容易使所得评估数据出现信息失真，而未纠正的评估偏差会对评估结果产生一些负面影响，严重的评估偏差将会导致评估结果偏离预期，甚至使整个评估项目的产生失败。评估偏差的存在，会使评估工作的科学性、权威性以及公正性遭受质疑。通过元评估的开展，可以有效控制评估偏差。其一，元评估对评估的各个环节进行检验，可以对原评估的偏差进行识别，并分析出其中的原因，以利于后续改进；其二，元评估可以帮助其委托人解释和使用元评估的发现，以提高原评估结果的利用，进而使元评估和原评估之间产生良性循环。

（二）扩大学术类社团评估的影响力

我国学术类社团参与评估途径遵从社会组织评估普遍采用的依申请评估机制，社会组织的总体参评率不高，评估的影响力有限。以2012年民政部主导的全国性学术类社团评估为例，参与民政部评估的中国科协所属学术类社团有包括中国农学会、中国粮油学会等在内的40家，而同期中国科协所属的全国性学术类社团共有198家，占我国科技类社团总量的70%以上，而参评率仅为20.2%。究其原因：一方面，学术类社团评估工作刚刚起步，发展还不够完善。另一方面，评估对学术类社团带来的吸引力有限，学术类社团参与评估的积极性不高。而通过开展元评估，既可以完善学术类社团评估机制，夯实现有的学术类社团评估成果，还可以提高评估的权威性与公正性，吸引更多的学术类社团参与评估。

（三）增强学术类社团的社会公信力

我国的社会组织普遍存在公信力不足的问题，而公信力又是社会组织发展良好与否的生命线。姚锐敏认为，“公信力不足是制约我国社会组织健康发展的根本原因”圈。学术类社团发展也存在着公信力不足的问题。究其原因，从内部上看，我国的学术类社团有着独特的官办NGO特色，在发展中受政府部门的影响较大，在公共部门公信力普遍下降的社会背景下，学术类社团的社会公信力也会受到影响；从外部上看，社会公众对社会组织的普遍信任感较低是宏观原因。元评估可以有效增强初始评估的权威性，促使学术类社团改善工作中的不足，增加公众的认可度，进而塑造良好的组织公信力。

（四）有助于政府职能的精确转移

职能转移是现代政府发展的大趋势，学术类社团在承接科技成果评价、人才评价、科技项目评价等政府职能过程中，因其独立的社团法人身份、客观公正的地位、专业性和权威性、雄厚的人才力量以及组织结构优势而具有独特的优势。作为政府职能转移的载体之一，学术类社团评估为公共部门向其转移职能提供了基本依据。元评估可以验证初始评估的科学性与准确性，为政府得到对参评学术类社团的准确状况提供了科学依据。政府可以依据元评估结论，将部分职能优先转移给评估中表现优良的学术类社团，一方面，提高了职能转移对象选择的准确性，降低职能转移后产生政策失败等负效应的风险；另一方面，政府择优选择学术类社团承接职能，有利于促进公共资源使用效率的提高。同时，对评估等级不佳的学术类社团也起到了“榜样效应”。

四、学术类社团评估的元评估开展

（一）元评估的评估流程

Stufflebeam提出了11步元评估流程。他认为，在形成性元评估和总结性元评估中可能不一定会应用到所有的11步流程，有时还需要补充一些其他的元评估步骤，以满足不同案例的元评估规划与实践需求。Stufflebeam的元评估具体流程见表1。

（二）元评估的运用

元评估的核心在于建立科学的元评估标准，本文着重借鉴美国教育评估标准联合委员会（JCSEE）的“方案评估标准”。“方案评估标准”分为效用性、可行性、合理性以及准确性四大维度。四大维度作为一级指标，分别对应衍生出7个、3个、8个、12个二级指标，总计30个，最后由每个二级指标演化出10个三级指标，共计300个具体指标。JCSEE的元评估标准，通过对各级指标得分进行逆向的分层计算，从三级指标开始计算分值，逐步汇总到一级指标，直至得到总的元评估分值与分值所达到的良好水平。

第一步，从三级指标开始。评估者对各个二级指标下的三级指标分别进行勾选，并根据勾选到的三级指标数量得出该三级指标所属（表2）的二级指标状态。