科技学会能力评估指标体系构建研究

2017-06-28张良唐安刘蓉

学会 2017年5期

关键词：能力

张良　唐安　刘蓉

[摘要]国家治理现代化的目标对科技学会的能力提出了更明确的要求，如何准确又简明地测量科技学会的能力成为学界急需解决的问题。本文基于科技学会能力结构“动态螺旋模型”，根据科技学会能力的现实要求，首先通过文献法拟定了一套科技学会能力的评估指标体系，然后通过德尔菲法，经过两轮专家评审，根据得分及意见进行修改后确定科技学会能力评估指标体系。该指标体系共有3个一级指标，9个二级指标，24个三级指标，并赋予每一项三级指标相应的分值。

[关键词]科技学会能力评估指标体系

一、问题的提出

国家治理现代化目标的提出，确立了社会组织在国家治理中的重要主体地位，也对社会组织的能力建设提出了更高的要求。社会组织需要具备足够的能力承担政府转移职能和社会责任，否则将有可能出现社会公共职能的“真空”，对社会治理带来不利影响。如何构建一套合理、有效的社会组织能力评估指标体系，已经成为社会组织研究领域的重要课题。

社会组织能力的结构是什么？复杂系统理论对回答这一问题提供了理论支撑。横向来看，社会组织的运作是围绕其功能展开的，这个过程中，社会组织会与其他主体（行政组织、营利组织等）产生比较和互动，这就确定了社会组织运作的边界；纵向来看，随着社会的发展，社会组织在社会关系网络的刺激下，其功能范围会出现动态调整，从而进一步影响组织的能力情况，促进能力结构的演化。诸多学者认为，社会组织的能力应该体现在组织运作的全过程中，并最终表现为各种外在形式，如组织的收入、活动、规模等。

科技学会（以下简称学会）是科技工作者自愿组成的学术共同体，与其他类型社会组织相比，其优势是“智力密集、人才荟萃、横向联系、组织网络健全”。凭借上述优势，学会在科技评价、科技奖励、标准制定等方面的工作效率高、质量好，在提供公共服务、承接政府转移职能中发挥重要作用。科技学会的能力既有社会组织能力的共性，也有其特性。共性表现在科技学会的组织能力由制度体系、资金情况、信息公开与监督体系、组织影响力和公信力等构成；特性表现在科技学会服务对象的特殊性和服务内容的专业性上。目前，缺少专门针对科技学会能力的评估指标体系，难以对科技学会功能和服务的质量做出科学评价，也对承接政府转移职能的效果带来不确定因素。因此，需要构建一套多元维度的合理、有效的科技学会能力评估指标体系。

国外对社会组织评估问题的研究始于20世纪90年代初期，研究的角度主要有：社会组织评估类型（Baumol and Bowen，2000，Herzlinger，1996）、社会组织评估方法（Parasuraman、Valarie A. Zeithaml、leonard L. Berry，1985，Liz Vanghan、Edward Shiu，2000，Mueller et al，2004）、社会组织评估应用（Robert S. Kaplan、David P. Norton，1990）。我国社会组织评估领域的研究虽然还不够成熟，但也有一些成果，如邓国胜教授构建的非营利组织评估框架及非营利组织“APC”评估理论；刘清洁、曹庆萍将社会组织的评估分为组织机构评估、组织治理评估、非营利性评估、发展能力评估及项目评估五个环节等。

与此同时，国内很多机构也对社会组织评估进行了实证探究，如上海市社团局每年开展的社会组织“规范化建设评估”包含102个指标，总计1000分，基本上涵盖了组织运行、管理及发展的各个方面，具有全面性。但是这套体系也存在一些不足：第一，由于评估主体是政府，因此指标主要体现了政府规范的要求；第二，指标体系的过于繁杂直接导致操作性不强；第三，部分指标偏于主观，难以量化。如上海市科学技术协会为提高科技学会竞争力，在20世纪90年代就开始对上海的科技学会进行星级学会评估工作，最新的评估指标体系有4个维度，共43项指标，与规范化评估相比已经有了很大程度的简化，但该指标体系以合规性和功能性评价为主，并不能完全反映科技学会的能力状况。

综上所述，西方发达国家对于社会组织评估的研究起步较早，已经具有比较成熟的理论模型，在实践中也获得了大量的成功经验，而我国社会组织评估的相关研究主要停留在理论层面，限于构建评估框架，实证研究不够成熟，没有对量化指标的形成、指标的有效性进行深入研究。本文以科技学会为对象，基于科技学会能力结构“动态螺旋模型”，尝试构建一套科技学会能力评估指标体系，以衡量科技学会能力的效率和质量。

二、科技学会能力评估指标体系构建

（一）评估指标体系构建思路

本文对于科技学会能力评估指标体系构建的思路主要基于：

1.复杂系统理论。这一理论为社会组织能力结构的建构提供了三个维度：功能、边界与时序。功能是指社会组织能够满足社会需要的属性，包含服务、发展、创新等内容，直接明确了社会组织应具备的能力；边界是在社会组织与其他类社会治理主体在比较和互动中所确定的，界定了社会组织的能力范围；时序则体现了社會组织发展的纵深过程，表明社会组织的功能会随时间的推进而发生变化，从而对能力产生新的要求。

2.学会能力结构“动态螺旋模型”。在该模型中，核心能力是体现学会目标与宗旨的能力，包括学术发展、会员服务、科学普及等，这些是学会成立的根本目的所在，没有核心能力学会就会失去其存在的社会合法性；重要能力是保证学会良性运转与持续发展的能力，包括科技服务、科技咨询、科技评价、科技培训等，这些能力的提升，有助于其扩大规模和影响力；延展能力是指组织与其他各类主体互动衍生而起辅助性支撑作用的能力，主要指承担的各项社会化服务职能，这是学会履行社会责任、发挥社会责任感的关键指标。该模型从学会的功能、边界和时序三个维度出发，展示了学会能力的层次性和动态性。

（二）评估指标体系的构建原则

1.针对性原则。评估指标体系紧紧围绕对科技学会能力的评估，能够更有针对性地反映和指导科技学会的能力建设。

2.多元性原则。评估指标体系的评估主体整合政府、组织自身以及社会公众三个方面，有利于从组织内部以及广泛的社会层面激发科技学会的能力建设。

3.简明化原则。评估指标体系的构建选取了反映科技学会能力的核心指标，既能反映科技学会能力的实际情况，又可以简化评估的工作量。

（三）评估指标体系的构建流程

第一步，采用德尔菲法设计评估指标体系。由于德尔菲法第一轮相对耗时耗力，所以首先在科技学会能力结构“动态螺旋”模型和文献研究的基础上，将科技学会能力的一级指标拟定为核心能力、重要能力和延展能力；然后在科技学会年检数据分析、调查问卷分析和实地访谈的基础上拟定了9项二级指标和24项三级指标，并赋予相应分值。

第二步，进行第一轮的专家评审和打分。指标拟定后，邀请长期从事科技学会管理和研究的20位专家进行第一轮的专家评审和打分。这些专家大部分来自科技学会的实际工作者，也有来自高校、研究所和科技学会管理机构的专业人士。问卷设计采用“李克特五点量表”方法，分别用1分、2分、3分、4分、5分来分别表示“非常不合理”“不太合理”“一般”“比较合理”和“非常合理”，将平均分在3.5分（不含）以下或标准差在1（不含）以上的指标或赋分予以修改或剔除。

第三步，进行第二轮的专家评审和打分。第一轮专家评审结束后，根据得分及专家意见修正指标体系，并产生第二轮专家评审调查问卷。然后，再次邀请10位专家，仍然采用“李克特五点量表”进行调查，但将修改标准提高至平均分4分及标准差在0.8，即平均分在4分（不含）以下或标准差在0.8（不含）以上的指标或赋分被修改或剔除。

第四步，确定能力评估指标体系。根据第二轮评审的得分确定各项指标的赋分，并最终确定科技学会能力评估指标体系。

（四）科技学会能力评估指标体系的建立

1.拟定评估指标。在科技学会能力结构“动态螺旋模型”的基础上拟定的科技学会能力评估指标体系，详见表1，满分为100分。其中，一级指标确定为核心能力（61分）、重要能力（26分）、延展能力（13分）；在年检数据、调查问卷和实地访谈的基础上将二级指标拟定为9个，分别是：主体服务能力、业务活动能力、领域发展能力、内部治理能力、获取支持能力、学习创新能力、公信力塑造能力、社会化服务能力和社会影响力；三级指标拟定为24个。

2.第一轮专家咨询。邀请了20位相关专家对拟订的评估指标进行评审和打分，其中学会工作人员11人，学会管理部门工作人员4人，高校教师4人，研究所研究人员1人。问卷分为两部分：一是对指标合理度的评价；二是对赋分合理度的评价，统计结果详见表2。

为了确保打分结果的可靠性，对打分的结果进行了信度检验。指标合理度方面，克隆巴赫系数（Cronbanchs Alpha）为0.914，大于0.8，表明擬定的评估指标的信度很好。三个维度的指标KMO值分别为0.496、0.566和0.611，表明拟定的评估指标的效度较好。赋分合理度方面，克隆巴赫系数为0.916，大于0.8，表明拟订的评估指标的信度很好；三个维度KMO值分别为0.586，0.591和0.559，均大于0.5，表明拟订的评估指标的效度较好。

总的来说，评审专家对评估指标体系有较好的认同：第一，指标体系设计具有一定创新性。第二，指标层次比较合理。在理论与实证研究的基础上提出核心能力、重要能力和延展能力的层次区分，并在此基础上进行各级指标的设计。当然，评审专家也针对部分指标和指标赋分提出了一些建议。根据专家的意见，对评估指标体系进行了相应的修改。

3.第二轮专家咨询。第二轮专家咨询邀请了10位专家，包括学会工作人员5人，高校教师2人，学会管理部门人员3人。调查方法与第一轮相同，统计结果详见表3。

对统计结果进行信效度分析。信度方面，指标合理度的克隆巴赫系数为0.941，赋分合理度的克隆巴赫系数为0.919，均大于0.8，具有较高的信度；效度方面，由于第二轮调查样本量较少，因此无法进行KMO值的检验，但从专家从事社会组织研究的时间和成果来看，调查结果具有良好的效度。

从结果可以看出，无论是指标合理度，还是赋分合理度，平均分较第一轮都有了较大提升，标准差也在缩小，说明专家对修改后的指标体系给予了更高的肯定。根据得分和专家意见，对平均分低于4分或标准差大于0.8的指标或赋分进行了修改与剔除，得到最终的科技学会能力评估指标体系（详见表4）。

三、结论与展望

本文基于科技学会能力结构动态螺旋模型，运用文献法和德尔菲法，通过两轮专家评审，确定了科技学会能力评估指标体系，包括3个一级指标、9个二级指标、24个三级指标，满分100分。总的来讲，该指标体系基本符合针对性、多元性和简明化的构建原则，既注重科技学会能力建设过程，也注重科技学会能力建设结果，而且考虑了政府、公众、科技工作者和学会自身等多个主体的评价。指标均可从学会年检数据、年报数据或通过问卷调查获得，操作性较强。本套指标体系具有以下应用价值：

第一，对政府而言，微观层面上，政府可以通过该指标体系的应用，迅速把握一个科技学会的整体状况与发展阶段；宏观层面上，该指标体系简洁而具有针对性，可将其应用到区域之间科技学会宏观发展状况的评估对比中。

第二，对于学会自身来说，其内部会员（成员、工作人员）可以根据指标体系更好地认识或者评价其所在学会的能力状况，并从学会内部督促能力建设，从而更好地激发学会能力建设的内在能动性。

第三，对于广大的社会公众来说，简单明确又有针对性的能力评估指标较容易实现社会普及，这不仅能让社会公众更全面地认识学会，而且有利于形成全社会共同推进学会能力建设的良好氛围。但需要指出的是，本研究设计的评估指标体系尚处于初步探索阶段，下一步将选取部分科技学会进行实际验证，在实践中对评估指标体系不断加以修正，最终构建起更具针对性、专业性和可操作性的科技学会能力评估指标体系。

参考文献

[1]Hansman， H. B. The Role of Nonprofit Enterprise[J]. Yale Law Journal，1980，4.

[2]Lin Nan. Social Capital： A Theory of Social Structure and Action[M]. Cambridge： Cambridge University Press， 2001.

[3]张良.我国社会组织转型发展的地方经验：上海的实证研究[M].上海：中国人事出版社，2014.

[4]于水波，曹堂哲.社会组织能力评估的系统权变观[J].云南行政学院学报，2011（6）：33-36.

[5]张良，刘蓉.治理能力现代化视角下科技学会能力模型构建研究[J].学会，2015（11）：7-14，22.

[6]孙凯.浅谈我国科技社团能力建设[J].时代人物，2008（9）：56-59.

[7]林闽钢.我国社会服务管理体制和机制研究[J].华中师范大学学报（人文社会科学版），2013，52（3）：41-46.

[8]叶托，胡税根.政府购买社会服务的绩效评估指标体系研究——基于德尔菲法和层次分析法的应用[J].广东行政学院学报，2015，27（2）：5-13，45.

[9]邓国胜.非营利组织评估体系研究[J].中国行政管理，2001（10）：20-23.

[10]邓国胜.非营利组织“APC”评估理论[J].中国行政管理，2004（10）：33-37.

[11]孔令梅.我国非政府组织的绩效评估研究[D].北京：中国石油大学，2010.