基于政策反馈理论的智库评价模型构建研究*

梁 丽 张学福 周 密

(1.沈阳农业大学经济管理学院 沈阳 110866；2.中国农业科学院农业信息研究所 北京 100081)

1 研究背景

2015年1月20日，中共中央办公厅、国务院办公厅印发《关于加强中国特色新型智库建设的意见》(以下简称《意见》)。《意见》指出，我国智库发展很快，同时随着形势发展，智库建设跟不上、不适应的问题也越来越突，促进我国智库建设发展进程成为当务之急。随着国内外局势的日益复杂和社会利益群体的不断分化,决策者对于智库供给政策分析的需求也随之提升,但对于评估智库对政策形成的影响,最合适的方法几乎没有共识，当前对于如何测度智库对公共政策的影响力,依然缺少框架和合理的评价指标[1]。2020年，著名学者宾夕法尼亚大学麦甘带领的智库研究团队提出的智库建设面临新时代人工智能技术变革的严峻挑战，更是给我国智库评价理论与实践提出了新的研究课题。

本文基于学术界已有研究成果，针对智库对公共政策反馈过程影响的评价问题，梳理了国内外智库评价领域国内外相关研究进展，依据政策反馈理论，从全新的理论视角，识别智库评价中的政策实体，分析智库评价中的知识与政策映射关系，研究政策反馈视角下的智库评价动态过程，并提出了包括政策评价与政策设计两个维度的智库评价模型。文章提出的理论模型从智库机构辅助国家战略决策的重要功能定位出发，以政策反馈为出发点和落脚点，为智库评价领域研究学者和决策者提供新思路。

2 相关研究进展

2.1国内外研究现状近年来，欧美等西方发达国家在智库与政策影响方面开展了较多的理论研究。Niblett(2018)指出智库未来的发展方向是知识和政策之间的有效转化，应该建立相关的制度以保障这种转化的实现[2]。Kelstrup(2017)分析了德国、丹麦、英国智库对政府外交决策制定的影响[3]。Shephard (2017)分析了特朗普政府决策对美国外交智库美国传统基金会的依赖性[4]。国内关于智库评价方面的研究，主要集中在对欧美地区智库建设经验、智库的能力和行为、智库的评价体系等几个方面[5-6]。雷佳丽和郑军卫(2020)提出，智库建设与智库评价二者密不可分，国内智库排名是否代表其真正的国际影响仍有待商榷[7]。

目前国际上对智库的评价体系的主要有两派：一派是以美国学者宾夕法尼亚大学的麦甘及其团队主持的《全球智库报告》为代表；另一派是以政治学家唐纳德.阿尔贝森的客观评价法为代表[8]。麦甘团队主要是通过由专家和政府官员推荐评分的形式，对智库影响力进行排名评价。唐纳德.阿尔贝森主要通过统计设定的指标，对智库进行定量评价，Clark(2013)年利用这种客观评价法，通过统计智库官方网站的浏览者数量，被主要媒体报道的数量，谷歌搜索的引用情况，来评估美国智库的影响力大小[9]。

国内方面，诸多知名科研机构借鉴国外智库评价科学成果，结合我国国情实际，积极探讨智库评价理论方法和实践操作。上海社会科学院智库研究中心利用定量与定性相结合的方法，从2014年到2020年连续发布中国智库影响力报告，并提出智库建设相关政策建议[10]。2016年，光明日报和南京大学联合发布了《中国智库网络影响力评价报告》，从网络资源、传播能力、交流能力这三方分别建立指标体系，对国内不同智库进行评价。2020年4月，清华大学公共管理学院智库研究中心协同字节跳动公共政策研究院联合发布的《清华大学智库大数据报告》，通过大数据评价方法对智库行为进行综合性评价[11]。

关于国内外的智库评估和测算问题，卢小宾、黎炜祎(2019)提出智库评价应由政府、智库机构自身、智库行业协会及社会第三方机构四者共同参与[12-13]。丁璐璐和徐恺英(2019)提出基于层次分析法与因子分析法，构建智库情报价值评价体系[14]。孙瑞英(2019)指出，应以思想产品质量的不断提高打造智库核心竞争力，以传播能力的不断增强促进智库思想产品的应用转化[15]。张颖、初景利、栾瑞英(2020)指出，智库评价研究能够为情报学学科发展和情报工作实践提供发挥作用空间[16]。查建国、夏立、陈炼(2020)提出，要注重提升中国特色新型智库的核心竞争力，打造智库核心竞争力与关键影响力[17]。张旭(2020)提出，中国智库评价体系当前面临评价主体的权威性困境、评价路径的科学化困境、评价结果的社会化困境三重困境[18]。

2.2国内外研究总结国内学术界十分关注智库的评价问题并取得了较多成果，丰富了本领域的研究内容。2019年，谢曙光研究团队出版的《中国智库成果名录》中，统计得出2016年国内正式出版的智库报告总数共为1954个，涉及出版社301家，智库研究相关作者3000多位，涉及研究单位1500多家[19]。各智库机构在国家政策大力支持的良好契机下，积极推进本领域各类型专业化智库事业建设。从数量来看，国内公开出版的智库评价成果发展迅速，上海社会科学院智库研究中心、清华大学公共管理学院智库研究中心、中国科学院文献情报中心、南京大学中国智库研究与评价中心等评价机构发布年度研究报告对各智库机构的竞争力进行评价。2016年，中国科学院文献情报中心和南京大学联合主办创刊了《智库理论与实践》杂志，《情报杂志》期刊近年专门设置“智库研究”栏目，积极探讨智库建设与评价问题。

纵观国内外智库评价研究，可见目前学术界对智库的评价体系存在着争议，评价方法和评价指标各有不同。通过研究目前国内外关于智库建设水平测度和影响力评价体系方法的文献，现有智库评价方法体系可以从研究角度的不同主要划分为定性分析和定量分析两个不同的方法体系。定性分析主要是通过设立一套科学可行的评价指标，结合专家咨询方法，整体上定性分析评价要素指标来评估智库的整体水平。定性分析方法包括德尔菲法和头脑风暴法等，通过征询汇总专家意见或研究小组对面讨论的方式进行智库评价，优点是容易操作，缺点是主观性较强，例如对一家智库机构的评价是否客观准确,不但受到所遴选的专家咨询队伍的水平和专家偏好影响，在很大程度上，还受到所选择的评价方法和指标体系的影响,因此会出现同一家智库机构在国内外不同智库排名中差异较大的现象。

定量分析通过微观数据统计分析，或者大数据分析方法，从智库机构与各级政府的合作情况、媒体舆论报道宣传情况、参加政策制定与反馈评价情况、科研成果高质量产出情况等不同方面，衡量智库机构的建设水平和影响力与竞争力。定量分析方法包括数据包络分析、主成分分析、因子分析、聚类分析、层次分析、模糊综合评价、人工神经网络等数学方法，通过对不同变量或相关因素的机理分析，进行排序计算获取定量结果，优点是具有较高关联性和自适应能力较强，缺点是数据需求量大，存在数据缺口和数据质量问题，例如有学者阐明，西方学者一般用智库专家参加国会听证会数量作为智库评价指标，但是即使智库专家出席了国会听证会，也并不能说明其会对国会决策真正产生影响。

学术界现有的成果和理论观点提出了智库评估的争议困境，也成为本文的研究背景。该如何从方法论角度解决智库评价结果的非一致性、非完全性问题，是智库评价研究领域一个亟待解决的问题。智库的功能是以知识产出服务政府决策，从情报学方法考虑，智库实现基本功能的过程主要是从知识到政策方案的转化过程。因此，借鉴已有的国际前沿研究成果，基于政策反馈理论，从全新的理论认识视角，能够从实现智库机构辅助政府决策的基本功能出发，识别智库评价网络中的政策实体，分析智库评价中知识与政策的映射关系，进而提出以影响政策决策过程为根本的智库评价过程模型，能够为智库研究领域科技工作者和政府决策人员，提供智库评价的新思路，增加科研机构对智库评价的数据参与机会，提高评价结果的全面代表能力。

3 政策反馈理论与智库评价

3.1政策反馈理论政策的出台与执行客观存在着外在的政治法律环境、经济市场、社会文化环境和技术环境。政策反馈理论认为政策对象是一系列发生于政策系统环境中的社会问题，而政策作为特定社会问题的解决方案，在政策实施过程中以及政策结束之后对政策对象必然有着某种改变或者反应，并且通过一定的机制和渠道将这些反应信息传递给政策系统[20]。政策反馈理论旨在研究政策执行过程中外生性的因素对政策制定的影响，该理论的研究路径是通过分析相关影响因素与作用机制来影响新的政策，包括社会群体、利益机构等相关政策实体对公民认知、政府治理方式转变等方面产生的重要作用。政策反馈机制直接或间接地影响了未来的政策过程，塑造了新的公共政策。就因果关系来讲，政策反馈理论研究中的因变量是政策本身，自变量是政策相关实体的行为，政策能见度和邻近度则是发现政策反馈的两个基本原则[21]。

根据政策反馈理论，公共政策制定过程主要包括政策设计、政策执行、政策评估、政策终结、政策监督五个方面，从政策的设计到政策的改变，是一个长期的动态反馈回路。近年来有学者尝试应用政策反馈理论，分析评价复杂的社会问题。PolicyScience、RegulationandGovernance、NatureEnergy等重要期刊报道了该方面工作，如Schmid(2020)应用政策反馈理论，分析了社会反应对美国公共政策的修订过程[22]，Schmid(2017)提出反馈回路模型，测度衡量了科技与政策的相互作用程度[23]。

3.2智库评价中政策实体识别在政策反馈动态过程中，智库机构通过评估政府决策效果，辅助科学决策。对智库评价过程中的政策实体进行识别和分析，如政策反馈知识主体、政策反馈工具主体和政策反馈博弈主体等，能够全面多角度的衡量评价智库。尽管目前大多数智库评价文献关注的是政策影响过程中特定阶段的行为者：政府和智库机构，但系统刻画智库评价的利益相关者能够更好地理解各机构和个人在智库评价中所扮演的角色。因此系统地评价智库，需要更多地关注智库网络中的利益相关者及其关系对智库建设的影响。我们借鉴Sebastian(2020)提出的政策反馈回路整合思想[24]，识别智库评价社会网络中的政策实体。

如图1所示，智库评价网络实体包括政策反馈知识主体、政策反馈工具主体和政策反馈博弈主体。政策反馈知识主体是智库评价社会网络中以符号化、逻辑化的方式存储各种信息、经验和知识的主体机构,包括官方型智库、科研机构型智库、大学附属型智库、社会智库和国外各类型智库。政策反馈工具主体是智库评价社会网络中政策出台后，影响政策动态调整实现政策目标的主体机构，包括政府机构和行业市场。政策反馈博弈主体是智库评价社会网络中参与政策动态调整过程的，具有独立决策权的相关利益博弈方，包括媒体、企业和第三方评价机构等其他相关社会组织。

图1 智库评价社会网络中的政策实体识别

基于政策学领域的政策反馈理论，能够明确政府、企业、智库自身、媒体、社会不同对象的责任分工，建立一个基于政策反馈理论的智库评价要素识别的清晰框架，提出用以识别影响智库建设发展的政策因素的学理依据。同时，智库评价应考虑进其利益相关者：第三方评价机构自身及其专家构成的评价。由于评价指标体系的构建无法避免含有定性的软指标，对这些软件标的评价打分离不开专家咨询, 但是专家的偏好和知识结构的不同，会对评价结果产生重要影响。考虑对专家群的意见进行评价, 旨在解决使用专家咨询法进行指标判断时，引起的评价结论不一致或偏差问题。将对研究对象的评价，和对专家群的评价集成起来，能够在一定程度上修正专家的评价结论，进而确保最终研究结果的科学客观性。

3.3智库评价中知识与政策映射关系按照学术界现有影响范围较广的是宾夕法尼亚大学智库评价体系和上海社会科学院的智库评价体系，多个智库评价机构认为，智库评价应主要包括其资源投入评价、决策影响评价、科研产出评价和社会舆论影响评价等多个方面。然而，与国外兰德公司、查塔姆社等知名智库每年公布年度报告不同，国内少有智库机构能够做到向世界知名智库一样，向社会公布包括财政收支情况、人员培训转换情况等在内的详细年度建设数据[25]。即使2015年8月，我国国务院发布了《促进大数据发展行动纲要》50号文件，明确提出政府内部相关部门之间对数据库共享与信息公开的政策要求，关于中国智库参与政府政策制定过程情况的信息获取渠道非常有限，例如智库产出的内部报告数量和报告被采纳的数量等指标数据很难被公众开放获取，这给智库评估研究工作带来很大困难，智库评价领域的科研数据存在大量已知的和未知的数据缺口。

基于政策反馈理论，根据智库评价中的政策行为主体、政策措施工具、政策作用对象的关联机制，将非结构化的公开政策文本进行不同知识单元的量化处理，构建计算公式，对智库机构影响政策反馈的效用进行评价，形成具有时间属性的政策动态演化路径，能够揭示智库机构参与政策演化的内在逻辑和作用机理。利用研究识别出智库评价中的政策实体，分别从时序网络特征、关系网络凝聚度、网络中心变动、实体频次统计等角度探索基于实体识别和社会网络关系的政策演化状态。20世纪60年代初，美国管理学家彼得·德鲁克(Peter F. Drucker，1966)首先提出知识管理的概念，他指出在知识社会中最基本和最重要的资源是知识，知识资源和知识工作人员在知识社会中将发挥主要作用。在信息时代和大数据时代，知识已成为最主要的智力和财富来源，知识管理将使组织机构具有更强的竞争力，并有能力做出更科学适用的战略决策。知识理论的核心概念是知识管理，组织机构本质上是一个获取、利用、保持、转移和创造知识的学习性系统，是一种使知识一体化的制度，对知识的管理既包括对显性知识的管理，也包括对隐形知识的管理，更重要的是对两种知识之间转化过程的管理[26]。

智库机构本身具有知识性，其研究团队凝结的专家智慧是智库知识性的主要表现。智库高质量成果的产出依赖于知识资源的重组与创造，例如智库对热点时事的分析，以及对舆论危机的预警和解读，都与知识管理相关理论密切相关，智库分析和评价工具也同样依赖知识管理分析方法和工具。在智库提升其竞争力的过程中，知识在智库运作中发挥的核心作用，知识赋予了智库研究人员能力提升的智力资源，是智库机构与公共政策最终建立之间的沟通桥梁。依据知识理论，科学研究之间存在某种共性，反映在科学家引用他人科研成果的学术行为之中。从公共政策效用计量角度来讲，政策之间的相互影响关系可以同样依据知识理论中的共被引理论进行分析，公共政策的被引频次越高，说明政策的影响力越高，在政策施行行为中的有效性也就越高，依据知识理论中的知识与政策映射关系，以及知识单元的量化处理和效用计算，能够从政策知识演化角度解决智库评价过程中的数据缺口问题，智库影响政策演化中的知识与政策映射关系，见图2。

图2 智库影响政策演化中的知识与政策映射关系

从文本数据挖掘的角度，在政策文本中描述的问题特征和解决方案与知识库间定向的知识挖掘和知识搜索建立映射关系，以此根据知识结点网络构建政策实体网络关系建立映射关联，获取政策文本蕴含的更深层次知识[27]。知识映射关系中，关键词是政策文本核心内容的高度概括和揭示，高频关键词常被用来确定一个领域研究的热点问题，关键词共现是指关键词在领域文献集中共同出现的情况，高频关键词的共现聚类能够揭示特定领域的重要研究主题，关键词知识图谱有利于分析特定领域的研究热点[28]。聚类是依据事物本身具有的特征，将连接强度较近的词聚集起来，形成属性相似性高、相对独立类团的一种数学方法。分析对象之间的连接强度主要有三个指数：Cosine夹角余弦指数、Jaccard指数和Dice指数，聚类算法主要有kmeans 算法、Streemer 算法、Modularity Maximization 算法等。根据语言学特征统计、深度句法解析等信息抽取方法，标引政策文本中具有实际信息含量的知识单元，将非结构化的政策文本进行不同知识单元的量化处理，识别智库影响政策演化中的知识与政策映射关系。

随着人工智能和大数据的发展，学术界偏向利用大数据技术和海量数据进行智库评价，以弥补特定领域具体数据的缺失，Battersby(2019)指出，知识和政策之间存在着相互促进的关系，政策制定者需要了解数据中存在的差距，以及这些差距掩盖了什么，通过创新和传统的数据收集方式增加更多的知识，进而以知识映射测量评价政策效能[29]。2020年4月，清华大学公共管理学院智库研究中心协同字节跳动公共政策研究院联合发布的《清华大学智库大数据报告》，首次通过大数据评价方法和社交大数据资源对国内智库机构的行为活动进行综合性评价，这是智库评价领域的重要创新。一方面，利用大数据技术进行智库评价，海量政策文本替代措施能够一定程度上补偿数据缺口问题，提高科研机构对智库评价的数据参与机会，提高评价结果的全面代表能力。另一方面，智库评价中的大数据运动有可能会产生新的不平等形式，这些不公平更难察觉，其影响也更难预测，通过知识替代措施补偿数据缺口与潜在质量问题情况，是智库评价领域学者应该面对的学术难题应有之意。

4 智库评价过程与模型构建

4.1基于政策反馈理论的智库评价过程智库机构区别于普通学术机构和参考咨询机构，智库客观、科学的评价应着眼于智库辅助国家各级政府决策资政功能层面，以政策研究为出发点和落脚点。现有的智库评价研究往往只关注部分问题，比如深入研究智库产出的资政建议报告对政府出台政策的影响程度，而忽略了随后的政策稳定性或有效性。为了理解政策的稳定和变化，必须考虑政策出台到调整变化的整个动态反馈回路，从智库辅助政府进行政策制定及其对社会经济系统的影响，到调查评价政策反馈效应和智库辅助政策设计在其中的作用，直到政策落地终止或后期调整改变。因此，我们借鉴美国农业研究服务局和日本国际问题研究所的项目评价流程，结合我国智库服务国家决策的功能定位，提出基于政策反馈理论的智库评价过程，见图3。

图3 基于政策反馈理论的智库评价过程

从政策反馈理论角度，智库评价需要描述科学系统且逻辑紧密的研究议程，包括：对政策设计选择及其如何产生的系统评估；对政策干预的效果或影响进行系统评估；对后续政策发生变化的原因和方式进行系统调查；对政策设计过程是否发生变化进行系统评估。以这种方式构建的智库评价研究流程，将把政策反馈置于智库评价的中心位置，并为整合智库评价各种方法和体系提供机会。以政策研究为出发点和落脚点的智库评价思路，可以从过去的政策反馈循环中提炼出见解，以制定政策战略，增强政策的持久性和有效性，进而引起整个政策子系统轨迹的转变，最终切实评价智库机构对政府科学决策的辅助功能水平。

4.2政策反馈视角下的智库评价模型构建模型构建需要有严谨科学的理论依据与过程说明，对智库评价内涵的界定是构建模型的前提。目前智库评价研究多以智库整体作为评价对象，尚未有以某一类智库作为研究对象而开展的专项智库评价，智库评价多以智库影响力为导向或界定，缺少从智库功能或行为等导向着手的评价体系[30]。在知识管理过程中，智库的功能是以知识产出服务政府决策，智库实现基本功能的过程主要是从知识到政策方案的转化过程，因此从实现智库功能为导向着手，本文将政策反馈视角下的智库评价内涵界定为对智库机构参与政府决策的动态过程和影响公共政策反馈的效果进行评价。在此基础上，依据政策反馈理论分析出的智库评价网络中不同政策实体及其关系(见图1)，知识与政策的映射关系(见图2)，以及智库的动态评价过程(见图3)，就可以用来作为构建本文评价模型的主要思路。依据上述理论和研究思路，构建基于政策反馈理论的智库评价模型(见图4)。该模型的运用将智库评价划分为政策评价与政策设计评价两个维度，两个维度间的整体联系对应政策反馈动态系统中的输入输出关系，其他层级间的箭头指向表示各评价要素的逻辑顺序，两个维度归结在一个整体分析框架中。政策评价维度立足点为政策本身，包括政策力度、政策目标、政策措施与政策反馈四个方面；设计评价维度立足点为政策设计过程，包括设计理念、设计目标和设计工具三个方面。

图4 基于政策反馈理论的智库评价模型

为实现模型中政策评价与政策设计评价两个维度的系统架构，根据知识结点网络构建政策实体网络关系建立映射关联，获取政策文本向下挖掘知识，将上层系统架构逐层向下解构为政策干预效果评价、政策动态调整评价和政策设计过程评价三个内容。其中，政策干预效果评价用于衡量智库机构辅助决策的政策影响力，由不同级别的政府部门评价，主要包括衡量研究机构的专家资源、研究报告和咨询活动对政策制定的有效影响等。政策动态调整评价用于描述智库机构在影响决策过程中政策稳定性的具体程度，由政府、第三方评价机构等企业、媒体等联合评价，主要包括智库机构的研究项目、论文著作和主办刊物的长期价值等。政策设计过程评价是指对政策设计选择及其如何产生，以及对政策设计过程是否发生变化等进行系统评估，由于涉及到机构内部科学管理流程，由智库机构自身进行评价，主要包括设计选择、设计产生和设计调整等对政策反馈过程的影响。在智库评价过程中遇到的数据缺口和数据质量问题，可以通过识别政策与知识之间的映射关系，利用大数据技术和海量政策文本进行替代解决，同时提高科研机构对智库评价参与及数据获取机会，提高评价结果的全面代表能力。一般而言，影响政策文件发布部门的级别越高，智库机构的政策影响力度越大，影响政策文件发布部门的级别较低，政策机构的政策影响力度越低。根据政策效率冲突理论，政策文件发布数量的上升会相应引起政策力度的下降，而政策目标、政策措施和政策反馈的衡量得分会同时上升。模型中智库评价对象聚焦于智库对于政策反馈的影响，智库建设则是反馈后智库改进和加强的实践工作。基于政策反馈视角的智库评价结果，以政策影响效果为核心，关注动态过程性评价，从智库机构辅助国家决策重要功能的顶层设计出发，一方面促进智库机构辅助决策能力的提升，另一方面促进智库建设可持续发展。

课题组后续拟实证优化本文提出的基于政策反馈理论的智库评价模型，拟在遴选中国社会科学院中国社会科学评价中心、上海社会科学院智库研究中心、南京大学中国智库研究与评价中心等相关权威机构发布的中国智库名录，以及2020年清华大学智库研究中心协同字节跳动公共政策研究院联合发布的《清华大学智库大数据报告》中的智库机构基础上，通过征询专家意见和实地调研，补充遴选实证研究对象，验证模型，并将研究成果带回实地进行实践验证，修正完善模型，并提出相关对策建议，进一步深化研究内容。

5 结论与讨论

文章梳理了国内外智库评价领域相关研究进展，基于学术界已有研究成果，从智库机构辅助政府决策基本功能出发，依据政策反馈理论，从全新的理论视角，识别智库评价中的政策实体，分析智库评价中的知识与政策的映射关系，提出智库评价需要描述科学系统且逻辑紧密的研究议程，包括：对政策设计选择及其如何产生的系统评估；对政策干预的效果或影响进行系统评估；对后续政策发生变化的原因和方式进行系统调查；对政策设计过程是否发生变化进行系统评估。并提出在政策反馈理论视角下，包括政策评价与政策设计评价两个维度的智库评价模型，其中政策评价维度包括政策力度、政策目标、政策措施与政策反馈，政策设计评价维度包括设计理念、设计目标和设计工具。从政策反馈理论角度，文章提出的理论模型从智库机构辅助国家决策的重要功能定位出发，以政策反馈为出发点和落脚点，为智库评价领域研究学者和决策者提供新思路。并提出挖掘智库评价网络中的利益相关者及其关系，使用海量政策文本替代措施补偿数据缺口和数据质量问题等研究新思路。