一流智库战略研究成果的质量管理机制*
2016-03-24张志强
张志强 苏 娜
1 中国科学院成都文献情报中心 成都 610041 2 中国科学院科技战略咨询研究院(筹) 北京 100190
一流智库战略研究成果的质量管理机制*
张志强1苏 娜2
1 中国科学院成都文献情报中心 成都 610041 2 中国科学院科技战略咨询研究院(筹) 北京 100190
国际一流智库影响力的取得有很多决定因素,但关键是其战略研究与政策咨询报告的高质量,而高质量又取决于其研究成果的高标准与质量管理机制。文章通过对一些国际一流智库高质量研究标准或指南、研究成果的严格独立同行评审的质量管理机制和流程的梳理,总结了研究成果质量管理机制的有益经验和启示。文章指出,我国新型智库建设中,尚未将高质量分析与研究的质量管理机制作为智库建设的重要环节来抓,既缺乏研究成果的相关高质量管理理念,也缺乏管理的制度规范,更缺乏质量管理控制的严格流程。为此,文章提出了我国新型智库建设的高质量分析与研究标准及质量管理机制建议。
智库,战略与政策研究机构,高质量研究与分析标准,评审指南,同行专家评审,质量管理机制
DOI 10.16418/j.issn.1000-3045.2016.08.014
2015年1月,中共中央、国务院《关于加强中国特色新型智库建设的意见》发布,标志着中国特色新型智库建设成为国家战略;2015年11月《国家高端智库建设试点工作方案》获得批准并确定首批25家国家高端智库建设试点单位,中国特色新型高端智库建设全面启动。建设中国特色新型智库和高端智库,目标就是要建立具有国际影响力的一流智库。
现代意义的智库机构已有近70年的发展历程,其中一些智库成为国际智库中的佼佼者。国际一流智库有其鲜明标志,如,前瞻研究重要战略问题并预判政策;良好的管理机制和筹资能力从而巩固决策咨询服务网络;凝聚思想型人才并开展政策设计研究;产出重要影响力的研究成果支撑决策,等等。国际一流智库获得影响力的一个重要特点和管理环节,就是其研究成果的高质量标准和基于内外部专家严格评审的质量管理机制[1]。
我国的战略与政策研究机构,目前尚未有规范化、制度化的研究成果质量标准以及同行评审与质量控制的专门机制,也没有相应的质量管理流程规定。现实的情况是,软科学与政策研究的委托项目任务结题验收时,一般是项目委托方委托承担方组织专家评审或验收;若要申报科技成果奖励,均由项目承担方组织专家评审,对研究成果的水平给出“国际领先”“国际先进”“国内领先”“国内先进”等评审结论。但这些结题验收会、成果评审会,一般都没有成文的章程来指导、约束评审过程。除了公开发表研究论文时有期刊编辑部依托编委会和专家队伍组织审稿外,研究报告成果的正式出版都由报告作者自行与出版社联系,出版社所做的评审一般只是出版格式规范的审查。因经济利益驱使,出版社一般不会组织同行专家审稿,也不会因为研究质量平平而拒绝出版,正因如此,我国智库产出有重要影响力的战略和政策研究方面的经典报告难得一见。
智库发展的持久支撑力量是什么?智库不仅要有“库”,更要有“智”!智库不是开展纯学术性研究的机构,而是开展经世致用战略与政策研究的机构,智库决策咨询的最主要形式是产出权威研究报告成果。国际一流智库制度化的高质量分析与研究标准、内外部同行评审的严格质量管理机制,是我国智库的短板。培育具有国际影响力的高端智库,就必须建立自身的成果高质量标准和成果评审质量控制机制。
本文选择美国国家研究理事会(NRC)、兰德公司(RAND Corporation)、布鲁金斯学会(Brookings Institution)、世界资源研究所(WRI)、布鲁盖尔(Brugel)研究所、美国能源部信息署(EIA)等国际一流智库,其分别代表了科技、安全防务、公共政策、环境、经济、数据分析等智库类型。通过分析上述国际一流智库的价值观、高质量分析和研究标准、质量管理控制机制等,提出我国新型智库高质量分析与研究标准以及质量管理机制建议,以期促进中国特色新型智库核心能力建设。
1 高质量研究成果是国际一流智库价值观的核心要素
随着政府决策科学化、民主化的发展,智库的决策咨询服务日益专业化,政府、企业等各层次决策对智库的战略与政策研究及咨询需求越来越强烈。面对越来越复杂的国内和国际局势,政府需要智库为其提供思想支持,同时还需要智库以第三方意见领袖和舆论精英的身份,向社会公众提供政策解读以引导社会舆论,提高政府的公信力。
智库是专业型的战略与政策问题研究机构。各国的重要智库特别是政府附属性智库已经成为政府重要公共政策的来源点、政策内容的设计者、政策效果的评估者、政策实施的营销宣传者、社会话语权的主导和引领者[1]。国际知名智库对全球性和区域性挑战、对世界各国的经济社会发展等的研究报告,常常成为引领和影响社会舆论的重要思想利器、社会价值观追求的精神灯塔。从这个意义上说,高质量、高品质的战略与政策研究成果(一般体现为各种研究报告等智慧产品)对智库的声望至关重要。产出高品质研究成果是智库形成高影响力的根基。
国际智库视研究的质量为其发展的基石和塑造影响力的根本。国际一流智库对高质量研究成果的孜孜追求,就深刻地体现在其价值观中。
美国国家科学院(National Academy of Science)系统每年完成 300—400 份权威研究报告,其中公开出版的科技领域的权威研究报告往往引领着全球科技的创新方向。美国国家科学院 1863 年建立之初的宗旨就是成为“科学问题的独立建议者”。现在它与由它扩展而成的美国国家工程院(National Academy of Engineering)和美国国家医学研究院(National Academy of Medicine)是名副其实的美国“科学、工程、健康领域高质量、客观咨询建议的最杰出来源”。作为上述“三院”决策咨询研究的管理执行机构,美国国家研究理事会(NationalResearch Council)的价值观是“确保独立的、客观的咨询建议”。
作为以安全与防务领域问题研究著称的兰德公司,每年完成研究报告 500 多份。其机构愿景是“成为世界上最值得信赖的政策思想和政策分析之源”,核心价值观是“高质量和客观性”。
作为公共政策领域的著名智库,布鲁金斯学会网络有 300 多名国际一流专家开展所有领域的公共政策研究,其价值观是“高质量、独立性和影响力”。可以说这一价值观追求现在已经成为国际上智库的普遍价值观。学会还制定和不断修订《研究独立性政策》《利益冲突政策》《非党派政策》等一系列保证其研究独立性和诚信的政策,并更新在其网站上。
成立于 1982 年的世界资源研究所以对全球环境与发展挑战开展跨学科分析为己任,已经成为国际环境领域的著名智库。其价值观是“诚信、创新、紧迫、独立、尊重”,对研究报告成果的质量要求是“报告全面、写作完善、观点中立、价值突出”。
成立于 2005 年的比利时布鲁盖尔研究所,其奉行的建所基石(价值观)是“基于证据提出政策建议;需求驱动的问题,独立客观的答案;密切联系政府、研究机构、企业和社会公众;立足欧洲,聚焦全球”。包括固定或非固定的研究和管理人员在内共有 60 多人,每年完成 50 多份研究报告,现在已经成为国际经济领域的顶级智库。
这些国际一流典型智库的价值观,都体现着追求高质量研究成果、获得高影响力决策咨询效果的基本价值取向,引领着这些智库成为国际一流典型智库。
2 国际典型一流智库的高质量分析研究标准
国际一流智库不仅将产出高质量研究成果作为其价值追求,而且在价值观的指引下,制定并实施研究成果的制度化高质量分析与研究标准规定,作为研究成果追求高质量水平的基本遵循。而且这样的高质量研究标准,还在实践中不断修改和完善,成为智库机构的常态化业务管理制度。
2.1 美国国家研究理事会的研究报告评审标准
美国国家研究理事会(NRC)成立于 1916 年,是美国国家科学院为扩展其科学技术政策咨询职能而成立的非盈利研究机构,是美国国家科学院、国家工程院、国家医学研究院的执行机构,负责美国政府绝大部分科学技术政策咨询项目的研究。NRC 现设有行为社会科学和教育部、地球与生命研究部、工程与物理科学部、健康与医学学部、政策与全球事务部、交通研究委员会、海湾研究部共7个研究委员会,是典型的国家科学院型智库,是国际一流科技智库的典型代表,每年出版约 400 份重要战略研究报告,大多涉及科技领域发展战略与方向。NRC 的科技领域战略研究报告,对国际上相关科技领域的发展,有着重要的战略方向性指导意义和决策咨询作用。
NRC的战略研究产出主要包括:共识性研究报告(Consensus Reports),快报(Letters)和简报(Abbreviated Documents),学术研讨会报告和摘要(Workshop Reports and Summaries),学术研讨会论文集(Workshop Proceedings)等。其中,共识性研究报告是NRC的主要战略研究成果;后3种是非原创性成果,在已有研究报告的基础上进行整理与汇编而成。NRC针对每种成果类型都制定了专门的质量评审指南[2-5]。
以 NRC 的“共识性研究报告”为例,其评审指南有9条[2],包括:(1)报告是否清晰描述了要解决的问题?所有的问题是否都得到了解决?作者是否能胜任这一工作?(2)是否有充足的证据、分析和论证支撑结论与建议?是否明确地识别出证据中存在的不确定性和不完整性?如果报告中的建议是基于作者价值判断或全体作者的一致意见,这一点是否得到认可,是否有充分的理由做出这些判断?如果报告是基于工作组的工作,研究发现和结论是由个人得出还是由国家研究理事会某一委员会得出?(3)数据和分析是否合适?统计方法是否应用恰当?(4)对敏感政策问题的处理是否谨慎?如果提出了机构改组或者成立新机构的相关建议,是否考虑了不同可选方案的优缺点以及现状?与报告的其他部分是否一致?(5)报告的阐述和组织是否有效?标题是否合适?(6)报告是否公正?报告的语调是否公正、没有诡辩?(7)报告摘要中对关键研究发现和建议的描述是否简明准确?与报告其他部分是否一致?(8)有无署名文章或附件?若有,是否与报告要解决的问题相关?如果报告依赖署名文章支撑其共识结论或建议,这些文章是否符合上述的标准(3) ?(9)报告是否存在改进的可能,如果有,可对报告进行哪些重要改进?
“快报”或者“简报”主要基于已有研究报告的材料形成,不包含新的研究发现和建议(包含了新的发现和建议的文档适用于研究报告的评审标准)。NRC 的“快报”和“简报”的质量标准有 5 条[3],主要涉及研究起源与目的清晰度、结论与建议的基础的全面性、研究论据与参考文献的适当性、建议的合理可信性、数据和信息资源的局限性、敏感政策问题处理的谨慎性、报告组织和阐述的有效性及可改进性、报告语言描述是否诡辩或带有作者偏见等。
“学术研讨会报告”和“摘要”的评审标准有 5 条[4],主要涉及报告目的和背景介绍的清晰度、内容涵盖性和清晰性、论述准确性、报告观点的全面性和共识性(参会者个人观点还是集体认识)、材料取舍的公正性、敏感政策问题处理的谨慎性、有无造成误导性的可能声明等方面。“学术研讨会论文集”的评审标准有 2 条[5],包括论文内容的清晰和可理解性、论文的质量及与论文集的相关性等。
NRC 研究成果的这些质量评审标准非常具体和细致,可操作性很强,有助于报告评审专家掌握和操作,无疑保证了其研究成果的高质量水平。
2.2 兰德公司的高质量研究与分析标准
兰德公司以研究军事尖端科学技术和重大军事战略起家并著称于世,是美国乃至国际最负盛名的战略研究与决策咨询机构,已发展成为一个研究政治、军事、经济、科技、社会等各方面的综合性著名国际化大型网络型智库。其现有 4 个研究学部、7 个研究中心(即研究项目部),这些研究学部和研究中心的矩阵式组织结构在国际智库中具有代表性。2014 年在研项目 1 700 多个,其中 2014 年新增项目 630 个,完成研究报告 500 多份,发表文章 500 余篇。兰德公司设有“研究质量保证部”(Research Quality Assurance)专门负责研究成果的质量控制。
兰德公司于 1997 年在其网站上公布了《高质量研究与分析标准》,并先后于 1999 年、2003 年和 2009 年多次修改完善,于 2010 年再次正式发布了其《高质量研究与分析标准》(Standards for high-quality research and analysis ,2010)文本[6]。
兰德公司《高质量研究与分析标准》的主要内容是[6]:(1)应明确表达研究问题,应清楚研究目标;(2)应恰当设计与应用研究方法;(3)应体现对已有相关研究的充分了解;(4)数据和信息应易于获得;(5)研究假设应清楚明了并且可靠;(6)研究发现应改进知识,并且针对重要的政策问题;(7)启示与建议应合乎逻辑并由研究发现来佐证,并予以充分阐明和恰当告诫;(8)研究报告文档应准确和可理解、结构清晰和语调温和;(9)研究应是引人注目的和有用的,并与客户和决策者相关;(10)研究应是客观的、独立的。除了这些常规的标准外,兰德公司还制定了反映其战略研究抱负、体现其战略研究遗产的“杰出”研究的标志:(1)研究是全面性的和综合性的;(2)研究是创新性的;(3)研究是不朽的。兰德公司将这些标准作为确定“兰德特色”(RAND-like)战略研究的标志。可以说,兰德公司的高质量研究与分析标准,构成了兰德公司的鲜明特征,铸造了兰德公司产品的高质量特色。
2.3 世界资源研究所的卓越性报告标准
成立于 1982 年的世界资源研究所(WRI)致力于人类与环境的和谐共生,围绕气候、能源、粮食、森林、水、城市和交通六大目标,现设有治理、产业和金融 3 个研究中心,目前在非洲、巴西、中国、印度、印度尼西亚、墨西哥、欧洲都设有办事处。WRI 现已经成为国际最著名的环境问题研究智库。
WRI 致力于提供高质量的研究,其研究成果既要符合 WRI 的使命和价值观,即:诚信、创新、紧迫、独立、尊重,也要符合传统的卓越学术标准,包括精确、客观、及时、能够满足用户需要、能够提出积极推动世界正向发展的战略规划[7]。报告的质量要求是:报告全面、写作完善、观点中立、价值突出。
2.4 美国能源部能源信息署的信息质量指南
美国能源部能源信息署(EIA)建立于 1977 年,是美国能源部下属的统计机构,也是美国联邦政府的十大主要统计机构之一。EIA 的主要职能是进行能源相关数据的收集、管理、应用服务,同时也提供当前热点主题的分析和专题报告。EIA 向决策者提供独立的数据、预测、分析,以促进健全政策、建立有效的市场。
EIA 的信息生产、收集、维护和传播活动,主要包括发展数据收集的概念、方法和方式,收集、处理和编辑数据,分析数据、进行预测,审查信息产品,出版报告、电子文件或以用户希望的其他方式发布信息等。为保证信息的质量,EIA 要求其发布的信息产品必须要符合《信息质量指南》(Information Quality Guidelines)[8]的要求。
事实上,《信息质量指南》是美国白宫管理与预算办公室为保证联邦政府信息的质量而于 2002 年 1 月发布的一份指南,要求联邦机构统计、发布的所有信息都要满足客观性、实用性和完整性 3 条原则。该《指南》要求每一个联邦机构都制定一个具体的《信息质量指南》。
为体现客观性、实用性和完整性的原则,EIA 制定的《信息质量指南》要求其发布的信息数据必须具有客观性、实用性和完整性。同时,EIA 还致力于提高信息和方法的透明度,以提高对数据的理解和保证信息可再现。具体标准包括 4 方面。
(1)客观性。采用可信的数据资源;采用可靠的分析与预测技术;强调信息产品的质量;产品发布之前进行质量审查;提供方法与数量质量问题方面的信息;在适当的时候,对已发布的信息进行错误更正和修订。
(2)实用性。按时发布;发布方式有利于用户获取;提供有助于用户理解和诠释信息的材料;分析用户的信息需求;对产品本身进行评价以保证及时性和相关性;与不同层面决策者讨论评估信息收集和传播的工具和方法。
(3)安全性。采用可靠的信息控制技术对收集的保密承诺的数据采用专门的保护程序,遵循确保信息诚信的有关条例。
(4)有影响力信息的透明性和可再现性。EIA 规定有影响力的科学、财务或统计信息应该具有高度的“透明性”,以支撑信息的“可再现”。EIA 的《信息质量指南》要求有影响力的信息必须具有“透明性”和“可再现性”,“透明性”是指信息源清晰、调查和分析方法准确可信赖。“可再现性”是指在一个可接受的误差范围内,信息产生过程可复制,即使用相同的方法对原始数据进行独立分析能够得到大致相同的分析结果。
为了支撑《信息质量指南》,EIA 制定了各种工作标准和规范,如《信息收集与处理标准》《信息传播标准》等,通过这些标准和规范来确保信息的质量。EIA 的信息产品在发布之前也要经过严格的同行评议。
3 国际典型一流智库的成果评审质量管理机制
国际一流典型智库,一方面,制定研究成果、数据产品的高质量研究与分析标准;另一方面,建立成果质量管理部门或组织机制(科学委员会、评审委员会等),开展和实施内外部同行专家严格评审与监督,以保证研究成果的高质量。
3.1 美国国家研究理事会的成果外部专家评审机制
NRC 的战略咨询研究有一套标准的研究组织流程[9],同时在整个战略研究过程中实行监督与利益冲突审查,使其所提供的战略咨询报告具有很高的价值并获得政府与公众的信赖与认可。NRC 的各种研究和分析报告,在发布或提交前,都要经过报告评审委员会(Report Review Committee,RRC)批准的外部独立评审小组,按照规定的评审标准(指南)予以独立、严格评审。未经RRC 批准的评审小组评审的报告、没有按照评审要求修改完善的报告,不得发布。
RRC是 NRC 建制化的评审委员会,由来自美国国家科学院、工程院和医学研究院的约 30 位专家组成,另有 5名工作人员负责对评审程序进行监督。项目管理单位与RRC 协商指定一组独立的、对报告的关键议题持各种观点的评审专家。报告作者将报告草稿提交给评审专家。评审专家根据《评审标准手册》给出对报告的书面评审意见。报告作者收到所有评审意见后需提供书面答复,书面答复最终会被监督评审人员(由 RRC 指定)和/或评审协调员(由管理部门指定)评估。直到评审过程完全完成,且所有作者同意并经修改完成的报告,才会提交给项目委托方或向公众公开,作为研究结果正式发布。
例如,NRC 2008 年发布受美国科学基金会(NSF)等政府机构联合委托完成的《地球的起源与演化——变化星球的研究问题》报告[10],提出了21世纪固体地球科学研究的 10 个重大科学问题,这些科学问题将在很长时期内都是国际地球科学界面临的重大科学挑战。该报告发布前,其初稿由 NRC 的 RRC 按照评审程序,指定了13 位评审专家和1位监审专家进行独立评审。NRC 2010 年发布受美国科学基金会(NSF)等政府机构联合委托的《认识变化的行星:地理科学的战略方向》[11]报告,该报告以科学问题的形式提出了未来 10 年地理科学研究的 11 个战略方向。该报告发布前,其初稿由 NRC 的RRC 按照评审程序,指定了 7 位评审专家和 2 位监审专家进行独立评审。上述评审的目的即是请评审专家提出直言不讳的和批评性的建议,以帮助 NRC 最大程度地保证报告的权威性。
3.2 兰德公司的成果内部专家评审制
兰德公司的研究成果审查机制称为“内部评审制”[12]。兰德公司每个研究项目都由学部主任选择 2— 3 名该领域未参与研究计划的资深研究人员做评审员,负责项目开始后的期中审查和计划邻近结束时的期末审查,写出评审报告,以判断是否达到了兰德公司的要求。在组织评审会议时,由项目完成者解答评审人提出的问题;报告需经本部门 2 人、外部门 1 人参加评审并同意,才能通过。而后经分管该部门的副总裁审定通过,才能最终发布或发表。
3.3 世界资源研究所的成果内外部专家评审机制
WRI 专门有科学与研究部(S&R,类似于国内科研机构的“科技处”),负责对研究的知识成果的评审。WRI 对其研究成果的报告(Report)与问题简报(Issue Briefs)、工作论文(Working Paper)、技术文件(Technical Note)、在线工具与应用软件、数据信息图(Infographics)等不同产品,都有严格的内外部专家评审程序,成果评审的内外部专家的遴选,则根据研究成果的具体专业内容,由科学与研究部组织。以研究报告(Report)与问题简报(Issue Briefs)为例,通过“出版计划(由研究部门主任、S&R 共同审定同意)—报告初稿(研究部门主任、S&R 共同审定)—内部评审(S&R同意并送内部专家评审)—外部评审(S&R 同意并送外部专家评审)—正式出版报告(S&R 同意出版或发布)”的循环,经过研究部门主任、科学与研究部的审阅同意,评审过程一般需要 6 个月的时间才能完成。严格的质量要求和成果评审流程,使 WRI 成为资源环境领域的国际顶尖智库。
3.4 布鲁盖尔研究所的机构评估与成果评审机制
布鲁盖尔研究所设有科学委员会(SC),负责机构评估、成果评审等,以保证高质量研究标准、独立性和影响力。布鲁盖尔研究所的评估评审主要有以下 4 类[13]。
(1)三年发展评估。研究所每 3 年进行一次机构评估。董事会每 3 年任命一次多元化独立评估小组——评估任务组(Review Task Force,RTF),开展从研究领域到机构管理的各方面的全面评估。科学委员会提交研究所发展初步评估报告(包括研究策略和咨询服务等),作为 RTF 独立评估的基础。RTF 形成独立评估报告(包括发展建议)提交董事会。
(2)年度发展评估。科学委员会每年约见研究人员,讨论研究的相关性和影响力。委员会主席要出席董事会会议,汇报委员会对战略问题的观点。
(3)季度发展评估。每3个月,传播团队要提交研究所发展监测报告,给出政策建议在媒体、社交网络、博客圈及其他传播工具上的影响力。
(4)常年报告评审。研究报告的质量控制依赖于预出版阶段的充分讨论机制,包括内外部同行、丛书编辑、研究领域协调员(由高级研究员担任,他们对报告负主编之责)等之间的一系列交流与讨论及报告审阅。
4 国际典型一流智库成果高质量标准和管理机制的启示
4.1 高质量研究分析标准是保证高质量成果产出的基础性制度设计
国际典型一流智库研究成果的高质量标准,内涵非常丰富,涉及到研究问题的选择和剖析、规范研究方法的应用与创新、对已有相关研究的系统分析、数据和信息的有力支撑、研究理论依据和假设构建、研究的逻辑性要求、研究的新发现和对新认识的追求、政策设计与咨询建议的针对性、报告写作规范与语言严谨表述、成果发布管理与提供用户咨询等重要环节,直接引领和引导智库向高目标和高影响力迈进。
智库战略与政策研究的客观性、独立性,直接决定其研究成果的科学性和质量程度。这就要求智库研究工作必须探究研究问题本身的客观规律性,在规律性揭示的基础上提出政策建议的各种方案。如果研究工作不能保证客观性、独立性,也就不能保证成果的科学性、权威性和咨询价值。基于智库机构发展的价值观和使命,制定研究成果的高质量标准和管理机制,就可以有效形成针对研究问题、政策机制内在规律的洞见认识和咨询建议,就可以有效避免成果观点的显性“利益集团倾向”、惯性“人云亦云”结论、甚至直接为利益集团代言的“发言人角色”。
4.2 严格的独立专家评审机制是实现高质量标准的约束性管理机制
独立的同行评审是保证研究成果客观性、高质量的有效手段。为实现分析和研究的高质量标准,上述国际典型一流智库都采取了独立的同行专家评审机制,评审的依据就是成果的高质量标准或指南。这些智库的专家评审机制,区别只在于评审专家的来源不同,有的是外部专家评审(如 NRC,本身就没有固定的专家队伍,从机构外部选择专家),有的是内部专家评审(如兰德公司,作为大型智库、有大量的可选专家),有的是内外部专家评审(如 WRI 和布鲁盖尔研究所,作为小型智库、自身专家有限,所以建立含内外部专家的评审专家库);但相同的是,评审专家的选择和批准按照专门的程序来组织,强调独立性和利益冲突回避,评审过程甚至实行专人监督,不能放任研究者和研究小组自己选择关系户评审专家。这是非常值得我国智库机构学习的。
4.3 事实、数据、信息和研究方法是评审的主要内容
事实、数据和信息是战略研究的基础和关键输入,研究方法是研究工作的逻辑路线图并直接关系到研究结论的可靠性和科学性,因此,在国际一流智库高质量研究标准和指南中,尤其强调事实、数据、信息与研究方法对研究结论的重要性。
NRC 的成果质量指南中特别规定了作为研究支撑和证据的数据和信息的重要性,强调报告必须基于事实和严格分析,任何研究发现、结论和建议的基本原理都应在报告中充分解释。这些解释必须包括对文献的参考引用、数据分析,或对可选方案以及倾向于某一选择的正反面理由的陈述。兰德公司的高质量研究标准强调数据和信息必须易于获得,包括数据源和数据生产方法描述清晰、事实信息正确可检验、数据应进行过恰当的筛选和处理、清楚说明所用数据的局限性、数据研究方法必须适用于研究问题和研究目的等。EIA 除了强调信息源清晰、信息生产过程的可复制性和调查及分析方法的准确可信赖外,还特别指出在研究过程中使用相同的方法对原始数据进行独立分析能够得到大致相同的分析结果。
4.4 结论和建议的客观性、严谨性是评审的关键内容
战略研究报告的目标是为决策者提供咨询建议,报告的结论一般应当是项目成员一致的意见,但有时尽管经过了广泛商议,仍可能有个别项目成员不能同意大多数人的意见。针对这种问题,NRC 的报告评审指南中提到,报告中应该清楚地说明不一致的意见内容。项目成员可以准备一个简短的不同意见陈述(不超过 5 000字),简要描述问题内容以及支持少数观点的论据。这一陈述要作为附录放在报告最后,并且要在正文文本和内容目录中提及。不一致意见所涉及的材料是否恰当的任何问题都应告知报告评审委员会主席。不一致的意见不应该涉及到研究范围之外的问题。NRC 还指出,报告中如提到增加政府部门预算、体制机制改革等类的建议更要给予特别关注。一般来讲,应当避免这些建议,除非研究目标中特别要求。兰德公司的高质量研究标准中也指出,研究和发现应改进知识并且针对重要的政策问题。启示与建议应合乎逻辑并由研究和发现来佐证,并予以充分阐明和恰当告诫。
5 中国特色新型智库高质量研究成果质量管理机制建议
中国特色新型智库,一个重要的特征应当是能够产出高水平战略与政策研究成果,这些研究成果大多数首先是服务用户决策需求,而不是用于直接出版,有些研究报告甚至永远都不能出版。如果没有出版或者发表过程,就没有出版社的格式规范审核或者编辑部的专家审稿过程。在这种情况下,智库机构对其研究报告的质量控制标准和控制机制,就显得更加重要。因此,智库机构自身加强其研究成果的质量管理是建设高水平智库所必须的。智库要形成高水平的战略研究成果,就必须要在战略研究的工作组织机制和质量标准规范等方面有所突破[14],这也是当前我国智库建设必须补齐的短板。为此,本文提出关于我国智库高质量分析与研究标准以及成果质量管理机制的以下建议。
5.1 高质量分析与研究标准建议
本文所指高质量分析与研究标准,主要针对战略研究报告类成果提出,不同类型的智库,可围绕这些方面,因地制宜、因机构制宜地制定自己的高质量分析与研究标准。
(1)问题表达准确,研究目标明确,逻辑框架清晰。在研究主题和目标的把握上,要做到透彻解析、清楚表达。明确研究和分析要实现和达到的具体目标,而不是漫无目的地开展研究和分析工作。形成研究问题或主题的分析方案,建立合理、清晰的分析逻辑框架和分析流程。
(2)阅评相关研究,全面把握现状,剖析进展不足。在相关研究背景的剖析上,要全面系统调研和深入评阅相关的已有研究工作和研究文献,分析已开展的最新相关研究的现状和认识,剖析研究的进展和存在的不足,明晰相关问题分析的重点方向和视角,同步分析相关研究采用的研究方法及其优劣。
(3)方法选择恰当,针对问题匹配,规范设计应用。在研究方法选择和应用上,要针对研究问题或主题的性质和特点,选择恰当和匹配的研究方法,把握研究问题的实质和研究方法的要领,规范化地设计和应用研究方法,乃至科学地创新研究方法。以规范和科学的方法应用保证研究结论和认识的科学权威性。
(4)理论应用适当,假设清楚可靠,理论建构充分。在理论应用或假设构建上,面对研究问题或主题,要合理应用已有的适当的科学理论学说,支撑对研究问题的观察和解析,强化研究和分析的理论依据和理论支撑。面对研究问题或主题,也可以提出合理、清楚和可靠的理论假设,弥补现有理论依据的空白和不足,通过研究和分析过程,深入论证理论假设,建构或丰富相关问题研究的理论依据。
(5)数据信息可获,建立计算模型,科学分析结果。在数据信息准备和分析计算上,引用数据和信息应当可靠和权威,自主调研、生成的数据和信息应当真实、可信。研究和分析所需要的数据和信息可以获得,才能保证推进研究方案和路线的实施,而不是因无法获得数据而难以实现尽管看上去很完美的研究方案。
(6)研究全面综合,思想创新精辟,认识客观独立。在研究的系统性、综合性、独立性和创新性上,应当是围绕研究问题开展的全面、综合和系统的战略分析,而不应是片面的、零散和局部的观察和分析。研究和分析应当产生创新性的思想,分析和研究应当精辟入理,思维引人入胜。研究的认识应当是客观的、独立的和平衡的见解,而不是带有研究者情绪的或者受到利益相关者影响牵制的、有偏见的、不客观的认识。
(7)启示建议新颖,研究问题聚焦,研究发现支撑。在归纳启示和提出对策建议上,研究和分析得出的启示应当新颖独特,提出的有关对策建议应当洞见独到;而且启示和建议要以研究获得的发现和认识作为强力佐证和支撑,而不是与研究没有关联的另行发挥。启示和对策建议应当紧紧围绕和聚焦研究问题或主题,避免人云亦云式的套话和没有咨询价值的陈词滥调,避免偏离研究主题或问题的不着边际的发散式议论和无关痛痒的不知所云。
(8)研究引人注目,政策问题关联,应用价值突出。在研究的结论性观点认识、结果创新和决策咨询价值上,研究和分析的结果应当形成创新性的成果,应当改进或者发展已有的知识、引人关注和引导评论分析、引导和教化舆论。研究的成果应当围绕研究问题或主题,密切关联相关的政策议题,对有关问题的政策决策有显著的应用价值,对决策者有显著的咨询价值。
(9)报告结构合理,行文流畅规范,语言严谨达意。在研究报告成果的形式和展示上,研究报告文档的整体结构要安排合理、逻辑明晰,报告的语言论述严谨达意、直白温和、言简意赅,报告行文和内容编排符合标准规范、图文并茂,报告要充分清晰表达研究者的思路和想法,吸引读者和决策者阅读、吸纳观点和采纳利用。
5.2 高质量分析与研究标准实施管理机制
智库机构在建立高质量分析与研究标准的同时,必须首先建立其有效实施的管理机制。管理机制的核心包括 3 个方面。
(1)质量管理规章制度落实。建立并不断完善研究成果的质量管理相关规章制度,是开展成果质量管理的基本依据和遵循。智库作为主要开展战略与政策问题的研究机构,其主要研究成果是战略研究报告、政策咨询快报、会议论文集、会议报告、商业性图书、学术论文等,对不同的成果类型,应当建立不同的评审规定和要求。随着大数据计算型战略与政策研究的兴起,信息可视化图、数据库、计算分析方法等也成为智库的重要成果,由于这些成果直接应用于战略与政策研究工作,也应当有质量评审管理机制。
(2)组织管理部门职责落实。一是,必须建立专职负责成果质量管理的专责部门(或者至少是专责管理岗位),作为质量控制机制实施的具体承办部门,负责成果的进展跟踪、评审计划制定、评审专家提名、评审过程组织实施等。二是,建立常设的评审专家委员会,以及作为审定具体研究成果的评审专家名单的学术审核机制。评审专家委员会是根据智库的专业领域和特长,建立的有一定任期的常设评审委员会,评审委员会并不对具体成果进行评审,而是对具体成果的提名评审专家小组予以审定,确定提名评审专家的专业方向匹配性、专业水平胜任度、利益冲突回避等。评审专家委员会审定的专家小组成员,就是获得智库授权的“独立评审专家”。
(3)独立同行评审机制落实。研究成果质量管理的关键环节是独立同行评审,要形成内外部同行专家独立评审的、完整的评审流程:报告评审稿提交—同行评审(包括过程监督)—评审结果反馈—报告再修改—报告修改稿再评审—报告完成提交(或发布)。甚至在评审过程中,要设有独立监督评审人员评审过程的监督人员,确保评审工作扎实有效、独立客观。
以智库名义完成的职务性研究成果,智库都必须按照质量管理制度规定的要求进行评审。智库研究成果的质量管理,应当成为智库的主动作为和超前作为。智库的内部评审控制环节不能缺失,即使公开出版、发表的成果报告和论文,也需要智库内部的评审,而不是仅交给出版社和期刊评审。智库成果同行评审,必须坚持独立性原则,必须采取由质量管理部门提名评审专家、由评审委员会审定评审专家的方式,不能由成果完成人自行寻找评审专家进行评审。必须克服目前存在的成果评审、项目结题验收、研究生论文答辩等中存在的专家自己操作、相互输送利益、“你好我好大家好”的“皆大欢喜”的局面。
只有实施了上述步骤,才能保证报告成果等的数据及分析的准确性、研究方法选择的科学性、研究过程的严谨性、研究结论的独立性和客观性等,从而保证研究建议的决策咨询价值。
“他山之石,可以攻玉”。中国特色新型智库建设应当借鉴国际一流智库高质量研究成果的成功管理经验,在核心能力建设方面真正重视建立高质量的分析研究标准、开展严谨的同行评审质量控制、追求客观和严谨的研究结论和政策建议,通过智库成果质量控制的集群效应,以实现“圣人之治,不贵其独治、贵其能与众共治”。
1 张志强,苏娜. 国际智库发展趋势特点与我国新型智库建设.智库理论与实践, 2016, 1(1): 9-23.
2 The National Academies. Report Review Committee Guidlines for Review : Consensus Reports. http://www.nas.edu/site_assets/ groups/nasite/documents/webpage/na_067076.pdf
3 The National Academies. Report Review Committee Guidlines for Review: Letter Reports and Other Abbreviated Documents. http://www.nationalacademies.org/nrc/na_067075.html
4 The National Academies. Report Review Committee Guidlines for Review: Workshop Reports and Summaries. http://www. nationalacademies.org/site_assets/groups/nasite/documents/webpage/na_067079.pdf
5 The National Academies. Report Review Committee Guidlines for Review: Workshop Proceedings. http://www.nationalacademies.org/site_assets/groups/nasite/documents/webpage/ na_067078.pdf
6 RAND. Standards for High Quality Research and Analysis. http://www.rand.org/standards.html
7 World Resources Institute. Excellence in Publications. http:// www.wri.org/publications/excellence
8 Energy Information Agency. Information Quality Guidelines. http://www.eia.gov/about/information_quality_guidelines.cfm
9 National Research Council. Our Study Process—Ensuring Independent Objective Advice. http://www.nas.edu/site_assets/ groups/nasite/documents/webpage/na_069618.pdf
10 美国国家研究理事会. 地球的起源和演化——变化行星的研究问题. 张志强, 郑军卫,王天送(译). 北京: 科学出版社, 2010.
11 National Research Council. Understanding the Changing Planet: Strategic Directions for the Geographical Sciences, 2010. https:// www.nap.edu/login.php?record_id=12860
12 王佩亨, 李国强. 海外智库——世界主要国家智库考察报告.北京: 中国财政经济出版社, 2014.
13 Bruegel. Annual Report 2013. http://bruegel.org/wp-content/uploads/2015/04/Annual-Report-2013-English.pdf
14 张志强, 郑军卫. 国际主要科学基金组织的地学资助战略分析. 中国科学基金, 2016(2): 163-170.
张志强中科院成都文献情报中心主任,中科院文献情报中心副主任,研究员、博士、博士生导师。新世纪“百千万人才”工程国家级人选,甘肃省领军人才第一层次人才。国家自然科学基金委员会地学部专家咨询委员会学术秘书。独立或合作出版专著(编著)20 部、出版译著 10 部、发表论文 400 余篇。获得省部级科技进步奖、社会科学优秀成果奖等科技成果奖励 15 项。主要研究领域:科技战略与规划、科技政策与管理、情报学理论方法与应用、生态经济学与可持续发展等。E-mail:zhangzq@clas.ac.cn
Zhang ZhiqiangProfessor, Ph.D., doctorial tutor. The Director of Chengdu Library and Information Center of the Chinese Academy of Sciences, Deputy Director of the National Science Library of the Chinese Academy of Sciences. A national candidate of the New Century National Talents Project, a first level talent of the Gansu Province Leader Talents, an academic secretary of the Expert Advisory Committee of the Earth Science Division of the National Natural Science Foundation of China. His major research fields are strategic planning for scientific and technologic development, scientific policy and research management, methods and applications of information analysis, ecological economics and sustainable development. He has published more than 400 articles, translated 10 books, and independently or collaboratedly authored 20 books. He has also achieved 15 ministry level awards. E-mail: zhangzq@clas.ac.cn
On Quality Management of Think Tanks’ Strategic Research Output
Zhang Zhiqiang1Su Na2
(1 Chengdu Library and Information Center, Chinese Academy of Sciences, Chengdu 610041, China; 2 Institutes of Science and Development, Chinese Academy of Sciences, Beijing 100190, China)
Among the factors that determine the influence of think tank’s decision-making consultations, the high quality research and analysis of strategies and policies is the key one, which further depends on its high quality standards and quality management system. This article introduces the high quality standards or guidelines for research and analysis of strategies and policies of the world’s leading think tanks and institutes dedicated to strategic and policy research, as well as the peer review system and process for strategic research output, from which valuable experiences and enlightenments for quality management of strategic research output are summarized. This article concludes that China’s decision-making consultancies, even the new-type think tanks have not treat the quality management system as the core of think tank construction and development, not only lacking idea of quality management, but also the basic institutions and the process of quality management and control. In the context of China’s new-type think tank construction and development, suggestions for high-quality standards of research and analysis of strategies and policies are put forwards at last.
think tank, strategy and policy research institute, high quality standard for research and analysis, guidelines for review, peer review, quality management mechanism
*资助项目:中科院政策调研课题(ZYS-2016-07)
修改稿收到日期:2016 年7月31日