智库成果如何评价

胡岩

摘要：[目的/意义]近年来，智库评价体系不断出现。成果评价是智库评价的重要组成部分。对代表性智库评价体系在智库成果上的评价标准进行比较研究，有助于智库及其研究人员提高自身成果的影响力，也有助于智库评价体系自身的不断完善。[方法/过程]通过对4个代表性智库评价体系有关成果评价的指标进行比较分析，提出智库成果评价的改进方向。[结果/结论]各代表性智库评价体系在成果类型、评价指标、评价方法和评价流程等问题上都有自身的独特之处，同时在成果评价中又都坚持将影响力作为核心指标。未来的智库成果评价体系应注意进一步区分不同的成果类型，完善针对不同成果类型的指标体系并适当提高社会影响力和决策影响力各项指标的权重，应注意定量评价和定性评价相结合。

关键词：智库成果 评价体系 影响力 论文 著作 报告

分类号：C932.2

DOI： 10.19318/j.cnki.issn.2096-1634.2018.05.04

1 引言

近年来，国内智库发展迅猛，不仅在数量上越来越多，影响力也不断提高。同时，各种类型的专门从事智库研究的学术机构也开始出现，其中，有不少机构还构建了自己的智库评价体系，并推出了各具特色的智库排名。涉及中国智库评价的代表性评价项目有上海社会科学院智库研究中心的《中国智库报告》（简称“上海报告”）、中国社会科学院中国社会科学评价中心的《全球智库评价报告》（简称“社科院报告”）、四川省社会科学院与中国科学院成都文献情报中心的《中华智库影响力报告》（简称“四川报告”）、南京大学智库网络影响力评价课题组的《中国智库网络影响力评价报告》（简称“南大报告”）、美国宾夕法尼亚大学“智库与公民社会项目”（TTCSP）的《全球智库报告》（简称“宾大报告”）， 等等。各种评价报告的出现，使人们对中国智库的发展现状有了比较全面的了解，对各个智库的发展也发挥着一定的推动作用。这些报告都构建了自己的评价指标体系，在评价流程、方法以及具体结果上也各不相同[1-2]。值得注意的是，在这些评价体系中，尽管对智库的人才、管理、经费等指标都有涉及，但对智库成果的评价却占据着最大的比重。本文对有代表性的几种智库评价报告的成果评价体系进行比较研究，希望能有助于智库了解各大报告在成果评价方面的指标体系，从而有针对性地提高自身的各方面发展水平并最终提高自身的影响力，也希望能够为智库成果评价体系的完善提供一些借鉴，使它们更好地服务于智库建设。

对智库评价的相关研究已有很多，这些研究对当前国内外智库评价的现状[3-4]、智库评价的指标体系[5-6]，智库评价的方法流程[7]等问题进行了深入的探讨，加深了人们对智库评价的认识。关于学术成果的评价问题，学界更是有大量研究。但智库成果不完全等同于一般的学术成果，因而不能简单套用学术成果评价的各种体系，而是需要予以专门考察。关于智库成果的评价问题，虽然在各种智库评价体系中事实上都有大量涉及，但似乎并没有引起学术界的充分重视。在中国知网上以“智库成果”“评价”等为关键词进行检索，只得到很少几篇相关文献。因此，对这一问题进行进一步探讨也有一定的学术意义。

本文不对所有评价体系的所有内容进行全面性研究，而是聚焦智库成果的评价问题，重点考察几个代表性评价体系的相关做法。几大智库评价体系都在滚动推出新的版本，本文主要考察他们的最新版本，即上海社会科学院智库研究中心的《2017 年中國智库报告》，四川省社会科学院的《中华智库影响力报告（2017）》，中国社会科学院中国社会科学评价中心的《全球智库评价报告2015》，宾夕法尼亚大学的2017 Global Go To Think Tank Index Report。本文同时对学界关于智库成果评价的代表性研究成果进行考察，并尝试对未来智库评价体系中的成果评价提出若干建议。

2 智库成果及其类型

智库成果指的是以智库名义产生的各类成果，主要指的是成果第一作者（或通信作者）的第一署名单位是某智库的成果。判断一项成果是不是属于智库成果，主要标准就是该成果的第一作者（或通信作者）的第一署名单位是不是属于智库。因此，问题的关键就在于如何判断一个单位是不是属于智库。这就涉及智库的界定问题。关于这一问题，学界有很多争议。我们这里也不打算就此讨论过多。近年来，国内外出现了各种各样的“智库名录”，由于对智库的界定并不一致，这些名录涉及中国智库的，多则数千少则几百。比较简单的做法是，选择一种或综合选择几种作为智库名单，只要进入这些名单的，都可以认定为智库，否则，便不是。特别值得一提的是，南京大学中国智库研究与评价中心、光明日报智库研究与发布中心联合研发的“中国智库索引（CTTI）”，于2016年9月28日正式上线。该索引通过“摸底”、推荐、评审、审核等环节，对我国智库进行了大范围的信息搜集和严格筛选，首批选定489家智库作为来源智库（2017—2018）。该索引后期还在不断地进行调整和增补。由于中国智库索引（CTTI）在收录智库时已经做了比较严格的筛选，所以可以说，它不仅是一个智库数据库，同时也是智库评价的结果。从这个意义上讲，入选该索引的智库应该是水平较高同时较具代表性的智库。考虑到检索的便利度和智库名录的权威性，本文建议，可以将以入选中国智库索引（CTTI）的智库为第一单位的第一作者（或通讯作者）的成果作为智库成果。

界定了智库成果的范围，再来看智库成果的类型。前面提及，尽管评价指标各异，但对各类成果的评价都构成了各智库评价体系的重要内容。通过考察不同的智库评价体系可以发现，各体系对成果的类型有不同的认定和区分。上海报告在“中国智库影响力评价指标体系设计V1.0”中提及的成果类型有起草的规划、提出的政策建议、学术论文、论文集、著作、智库报告、访谈类节目、举办的活动等。四川报告在“智库影响力评价标准”中提到的成果类型有公益讲座、皮书、专利、论文、专著、会议论文集、刊物、学术会议等。社科院报告在“全球智库综合评价指标体系”中提到的成果类型有研究报告、学术论文、学术著作、决策报告、连续出版物、举办会议（研讨会、圆桌会议、论坛等）、社会公益项目、在媒体上发表的政策观点等。宾大报告在其提名和排名标准中提到的成果类型有著作、期刊论文、会议论文、会议报告、政策评论、白皮书、其他出版物、活动（会议等）、媒体节目等。南京大学的中国智库索引中有专门的产品数据库和活动数据库。这两个数据库包含了不同的成果类型。比如，在产品数据库中就包含了报告、电子出版物、论文、内参、期刊、其他出版物、时事通讯、视频资料、图书、项目等10个大类；在活动数据库中包含了会议、培训、调研考察、接待来访等4个大类。

可见，4大智库评价体系对智库成果的丰富性都有充分的认识。从范围上看，尽管4大体系对成果的侧重有所不同，但基本提及了智库成果的所有可能形式。从类型上看，尽管4大体系对成果的表述不完全一致，但基本涵盖了智库成果的不同类型。由于篇幅限制，本文不能对所有类型成果的评价问题一一讨论。考虑到成果类型的代表性、信息获取的便利性、成果评价的可操作性和精确性，本文主要选择论文、著作、报告3种类型的成果进行讨论。当然，需要说明的是，这3种类型都是广义的用法，比如报纸或网络上的评论性文字，我们将其归入论文，论文集则归入著作，报告则包括研究报告、咨询报告、政策建议报告等不同类型。至于各类视听节目类型的成果，以及会议论坛等活动类型的成果，限于篇幅本文将不进行专门讨论，留待以后专文详论。

3 智库成果的评价标准

在对智库进行评价时，4大评价体系都制定了完整的评价指标体系（见表1）。

由表1可见，（1）各评价体系在进行智库评价时，基本都将影响力作为最核心的指標，其中四川报告将影响力作为唯一的指标，而宾大报告也将其4个分指标归入到智库影响力（impact of think tank）的名下，上海报告在影响力指标之外，提出了智库成长能力，但只是将其作为参考指标。（2）关于影响力的具体表现，各评价体系之间尽管存在一些差异，但认识基本一致。中国的3个评价体系，都将国际影响力作为一个评价标准，美国的宾大报告则没有提到该项指标。中国的3个评价体系，都将影响力指标进行了进一步的分解，并且内容基本一致。3种国内评价体系都共同提到了社会影响力和国际影响力，并且表述完全一致；也共同提到了决策影响力（政策影响力）和学术影响力（专业影响力），只是表述略有不同。宾大报告虽然没有明确使用决策影响力、社会影响力等，但在其影响力指标之下所列举的具体指标内容中，实际就包含了这些维度。宾大报告认为，影响力指标主要包括建议被采纳情况，网络话题集中度，获奖情况，出版物被引情况，对选举等的影响，等等，这些指标实际正指向了前面提到的几项影响力指标。

全面考察4个评价体系的异同和优劣，不是本文的重心，本文只是希望从成果评价的角度考察几大评价体系带给我们的启示。4大评价体系都是针对作为机构的智库进行评价，对智库成果的评价只是其中的一部分。通过对它们总体评价指标体系的比较，可以发现，在对智库成果的评价中，仍应坚持将影响力作为核心指标，在此指标之下可重点考察某项成果的决策影响力、学术影响力、社会影响力、国际影响力。至于这几个指标之间的权重，不同评价体系有不同的设置。总体而言，4种评价体系所公认的最核心的指标是决策影响力、社会影响力和学术影响力。而这三者中，相比较而言，大家又一致认为，决策影响力大于社会影响力，社会影响力又大于学术影响力。有学者围绕这几项指标的权重分配问题，对专门从事智库研究或在智库工作的专家进行了问卷调研，结果也发现，专家们大都认为决策影响力的权重最大，居于第2位的是社会影响力，传统成果评价比较强调的学术影响力则排在第3位[8]。可见，这样的权重分配几乎成为共识，这也表明智库成果评价不同于一般的学术成果评价，而有其独特性。对评价机构而言，可以根据自身的评价特点和目标导向，对上述指标设置不同的评价权重。接下来我们分别围绕论文、著作、报告3种成果类型讨论智库成果的评价问题。

表2罗列了各智库评价体系涉及论文类成果的评价指标，可以看出，各评价体系注意到了论文类成果评价的不同方面的指标，同时又各有侧重。相比较而言，社科院报告的论文评价指标最为全面，基本注意到了论文评价的常用指标；四川报告中所列举的指标比较单一，但指向性很强，即特别注重论文的国际影响（比如国际收录情况、国际被引情况等）；同时，上海报告特别强调了媒体评论文章的发表情况。需要指出的是，机构评价不同于成果评价，在对机构进行评价时，我们可以采用发表数量、转载率等指标，但对某一项单一的成果而言，就不存在这些指标，而是存在与之相关的发表情况（发表平台的重要性等）、转载情况（被转载次数、转载平台的地位等）等指标。因此，对单一智库成果（不管是论文，还是著作和报告）的评价，不能直接套用智库评价的相关指标。

尽管不同评价体系都强调决策影响力的重要性，但通过表2我们还是可以看到，在涉及论文类成果的评价时，4大智库评价体系都较多地注意到了成果的专业影响力和国际影响力，而对成果的决策影响力、社会影响力没有提出太多指标，这或许与信息获取的便利性和评价过程的可操作性有关。总体而言，4大智库评价体系在论文类成果方面的评价指标与常见的学术期刊评价体系（如中国知网的引证报告）对论文的评价大致相同。由于智库成果的特殊性，在综合4大智库评价体系的基础上，参照常见的学术期刊评价体系，本文认为对论文类型的智库成果进行评价时，可考虑如下指标：发表情况，包括发表平台的层次（如所发期刊的收录情况等），发表类型（原创论文、综述论文、评论等），发表语种（中文、外文等）；转载情况，包括转载平台的层次，转载次数，转载类型（全文、摘编、推荐篇目等）；被引情况，包括被引次数（被专业人士引用情况，被大众引用情况等），国际被引情况（被引次数、被引平台）等；获奖情况，包括获奖次数、获奖级别等；传播能力，包括下载量、点击率、开放获取情况等指标。同时，就各指标的权重来说，应提高政策影响力、社会影响力方面相关指标的权重。另外，由于部分智库还出版有连续性出版物，有些智库评价体系也将连续性出版物的相关情况纳入评价指标体系，对它们的评价可参照已有的多种期刊评价体系，并提高社会影响力、决策影响力方面指标的权重。

或许与目前尚无公认的著作类成果评价体系有关，4大智库评价体系对著作类成果的评价都没有提出较为丰富的指标（见表3）。相较而言，宾大报告提出的评价指标相对完善。Web of Science有BKCI-Science（BKCI-S）和BKCI-Social Science & Humanities（BKCI-SSH）两个子集[9]；南京大学在“中文社会科学引文索引（CSSCI）”的基础上也推出了“中文学术图书引文索引”（CSSCI-BKCI）[10]。是否被它们收录，也可以作为评价智库著作的指标，但由于它们主要关注学术著作及其引用情况，因此，又不能将它们作为评价著作类智库成果的唯一指标。综合考虑，本文建议对著作类智库成果的评价可注意以下指标：出版情况，包括出版机构的地位、出版的语种等；发行情况，包括印数、销量、媒介形态等；被引情况，被引次数、被数据库收录情况、相关书评的发表情况等；获奖情况、获奖次数、获奖级别等。同时，在进行具体的评价时，也应适当提高有关社会影响力和决策影响力指标的权重。

报告类成果是各智库的主要成果形态，各大智库评价体系对此也制定了详细的指标（见表4）。如何评价一项智库报告？对此4大评价体系各有侧重。比较来说，宾大报告主要强调了各类报告发布后或出版后的影响情况，而国内3大报告除此之外，还强调了各类报告的立项主体或委托主体的情况。关于各类报告的评价情况，目前尚没有比较公认的评价体系。综合4大评价体系，针对报告类智库成果的评价，本文建议可包含以下指标：立项或委托主体，包括有没有立项、立项的级别、委托方的级别等指标；出版情况，包括出版方式（数字、纸质）、出版单位层次、报告语种、印刷或发行数量等；被引情况，包括被引用次数、国际引用情况等；批示采纳情况，包括被批示或采纳的级别等；获奖情况，包括获奖次数、获奖级别等。同样，对报告类智库成果的评价，仍应提高有关社会影响力和决策影响力方面各项指标的权重。

4 评价的方法和流程

大体而言，在评价所采用的方法上，宾大报告采用的是整体性测度方法中的“主观整体印象評价法”，上海报告的评价方法基本上是参考宾大报告。社科院报告和四川报告则采用定量研究和定性研究相结合的方法，希望以此弥补单纯的主观评价的缺陷。根据不同的评价方法，各评价体系也采用了不同的工作流程。

宾大报告的评价流程是，在每年春季向其项目资料库中的人员以及其他感兴趣的公众发送邮件，邀请他们登录项目组网站，并推荐有资格参加“国际咨询委员会”（International Advisory Committee，IAC）的人员名单及联系方式。然后，项目组向IAC成员发出提名邀请，请他们按照若干类别分别提名每个类别中他们认为能够排在前25名的智库。在汇总提名结果后，将所有被提名为顶级智库的候选机构的汇总资料发给“专家小组”（expert panelists），邀请他们参考项目组提供的评价指标对这些筛选后的机构进行分类排名、确认和调整，在每年年底确定各个类别的最终排名[11]。

上海报告的基本流程是，通过第1轮问卷调查，获得入围智库的大致名单。然后结合专家意见，得到入围名单，进行第2轮问卷调查，同时邀请相关专家、政府人士、社会知名人士等对入围名单进行打分；最后，召开专家论证及研讨会，对评价结果进行分析再确认。当然，整个评价过程中，还穿插了多次实地调研，以弥补主观评价法的不足。

社科院报告的评价流程是，首先通过对已有各类成果的梳理、专家的推荐等，界定来源智库的大致名单，然后邀请国内外智库以及相关各学科专家，就来源智库和评价体系进行研讨；同时，携带智库调查表和专家调查表走访国内外多家智库，根据咨询与调研的反馈信息对来源智库进行增删，最终确定来源智库。然后，根据评价指标及权重对最终入围的智库的数据进行分数核算和排序[11]。

四川报告则首先综合运用理论分析法、频度分析法，在充分挖掘智库内涵、功能的基础上，结合先验知识和专家经验构建了“智库影响力评价指标体系”。同时，通过多种渠道搜集信息，建立“中华智库数据平台”，为智库评价提供客观数据。然后基于数据平台的信息，依据评价指标体系，对数据库进行评价和排名[12]。

可见，不同的评价体系采用的评价方法和流程各不相同，但总体来看，所有评价过程都涉及如下要素：评价对象，即参评智库基本名单的确定；评价标准，评价指标体系的确定；统计分析，依据标准对评价对象进行评价，并对评价结果进行处理。不同评价体系对这些要素有不同的理解，因此也采用了不同的方法和流程。比如，在评价对象的确定方面，宾大报告和上海报告主要是采用了主观推荐法，其获取途径主要是多轮的问卷调查；而社科院报告尤其是四川报告对评价对象的确定，则主要使用了客观数据，其获取途径是通过已有的智库名录或各种智库数据库来确定。

正如前面曾提及的，机构评价不同于成果评价，由于现实的原因，机构评价中主观评价占有很高的权重，但成果评价中，由于数据本身的客观性和获取的便利性，应将客观定量评价作为主要方法。同时，又由于部分成果类型（比如各类报告）的被采纳、被批示等信息，并不容易获取，加上其他一些情况，成果评价仍然需要主观评价作为辅助。如果条件允许，还应针对不同的成果类型分别采用不同的评价方法，以实现对不同类型智库成果的精准评价[13]。与不同的评价方法相对应，还应科学设计评价流程。众所周知，对智库成果的评价，首要的一步是准确而又完整地获取智库成果的基本信息。虽然各种类型的数据库为搜集信息提供了便利条件，但由于种种原因，仍不免会出现缺漏，因此在这一环节创造条件邀请被评价者参与确认和补充，则有助于提高评价过程的公平性。

5 结语

成果评价是智库评价的主要内容。几乎所有的智库评价体系都明确提到，评价本身不是目的，通过对智库的评价促进智库的发展才是目的。同样，对智库成果进行评价也不是目的，而是希望通过相关的评价活动来提升智库成果的影响力。就智库机构而言，当然不应被各种评价体系所完全牵制，一味地迎合各项评价指标。但各种评价体系所提到各种各样的评价指标，确实可以在很大程度上反映某项成果的影响力。因此，智库成果的生产过程中，自觉地注意各项评价指标，对提高智库成果本身的影响力会有好处。前面对智库成果评价体系的讨论，期望给评价机构和智库机构一些有益的启示。

对评价机构而言，首先要区别对待评价对象，虽然都是进行成果评价，但成果类型各种各样，评价机构应针对不同的成果类型制定不同的评价指标体系。其次，应合理设置不同评价指标的权重，酌情提高决策影响力和社会影响力相关指标的权重。同时，由于反映智库成果的影响力的各项信息相对客观，且获取相对容易，对智库成果的评价应以定量评价为主，定性评价为辅。当然，定量指标的权重和定性指标的权重如何分配，则要视不同类型的智库成果而定。比如，针对论文类成果而言，定量评价指标基本可以获取，应该主要依靠定量评价；而对著作类和报告类成果而言，由于相关信息不易获取，因此可以适当提高主观定性评价的权重。但需要注意的是，有关著作和报告的客观信息可获取的事实上已经越来越多，所以，还是尽可能获取客观信息，进行定量评价。需要特别指出的是，评价本身并不是最终目的，通过智库评价来促进智库发展才是目的。尽管评价机构大多抱有促进智库发展的目的，但事实上正如有学者指出的，某些智库评价报告确实对智库发展产生了不利影响[14]。因此，评价机构需要有服务智库建设的意识，需要加强与智库机构的互动，充分了解智库机构对评价指标、评价方法等的看法，从而使自身的评价活动真正有助于智库的建设。

对智库机构而言，首先要对各种常见的智库评价体系有所了解，比如各评价体系的基本规则，这有利于提高智库排名和自身的实际影响力。智库也应丰富成果类型，并合理分配不同成果类型在所有成果中的比例。智库可通过对自身以往评价信息的梳理，发现短板，从而有针对性地调整。比如，如果一个智库的政策影响力很强，但学术影响力不高，就需要强化在学术论文方面的产出；如果一个智库的学术影响力很强，但决策影响力不高，就需要强化报告类成果的产出。对中国智库而言，还应注意国际合作和国际发表，与国外机构合作展开研究，提供研究成果的国际版本，有助于提升自身的国际影响力。一项智库成果的影响力，取决于其自身的质量，而一项高质量的智库成果，又有着一些基本的特征[15]。因此，对智库中的具体研究人员而言，对各智库评价体系有所了解，对高质量智库成果的若干标准有所了解，会有助于其取得高质量研究成果。

参考文献：

[1] 唐果媛. 中美三份智库评价报告的比较分析[J]. 智库理论与实践， 2016， 1（2）： 88-96.

[2] 栾瑞英， 初景利. 4种智库影响力评价指标体系评介与比较[J]. 图书情报工作， 2017， 61（22）： 27-35.

[3] 王文，李振. 中国智库评价体系的现状与展望[J]. 智库理论与实践， 2016， 1（4）： 20-24， 71.

[4] 张树良， 张志强. 国际智库评价体系发展现状及趋势分析[J]. 情报学报， 2017， 36（6）： 628-636.

[5] 庆海涛，李刚. 智库专家评价指标体系研究[J]. 图书馆论坛， 2017， 37（10）： 22-28.

[6] 梅新林， 陈国营， 陈明， 等. 中国大学智库评价的“三维模型”和指标体系研究[J]. 智库理论与实践， 2017， 2（5）： 33-41.

[7] 荆林波. 智库评价方法综论[J]. 晋阳学刊， 2016（4）： 134-142.

[8] 刘亮， 吴笙. 关于智库成果评价的一些尝试[N]. 中国社会科学报， 2015-12-01（005）.

[9] Web of Knowledge. Web of knowledgeSM help[EB/OL]. [2017-09-07]. http：//images.webofknowledge.com/WOKRS54B7/help/zh_CN/WOK/hp_database.html.

[10] 凤凰读书. “中文学术图书引文索引”数据库在北京首次发布[EB/OL]. [2017-09-07]. http：//book.ifeng.com/a/20150729/16591_0.shtml.

[11] 中国社会科学评价中心. 全球智库评价报告2015[EB/OL]. [2017-09-07]. http：//skpj.cssn.cn/xspj/xspj_yw/201601/t20160119_2833395.shtml.

[12] 四川省社会科学院中华智库研究中心. 中华智库影响力报告2016[EB/OL]. [2017-09-07]. http：//www. chinesethinktanks.cn/toLogin.

[13] 何绍辉. 精准评价智库研究成果[N]. 中国社会科学报， 2015 -08 -25（004）.

[14] 王文.切莫让评价体系阻碍智库发展：如何评价智库优劣（下）[J]. 对外传播， 2016（10）： 46-47.

[15] 牟岱. 新型智库研究成果评价标准基本特征[N]. 中国社会科学报， 2017-01-12（002）.

Abstract： [Purpose/significance] Think tank reports have been up constantly in recent years. Evaluation of products is an important component of think tank reports. Understanding the evaluation criteria can help think tanks and their researchers enhance the impact of their products. Comparative study can help think tank reports become more scientific. [Method/process] Through the comparative analysis on the evaluation criteria of products of 4 think tank reports，it puts forward the improvement direction in the future evaluation. [Result/conclusion] Think tank reports are different in type of products， evaluation criteria， method and process， meanwhile， they regard impacts as the core indicator commonly. Future evaluation should distinguish different types of products of think tank， perfect evaluation system for different products and increase the weight of social impact and policy impact， and combine qualitative evaluation with quantitative evaluation.

Keywords： products of think tank evaluation system impact paper book report

收稿日期：2018-08-09 修回日期：2018-08-30 本文責任编辑：唐果媛