科技评估 DIIS 方法

潘教峰 杨国梁 刘慧晖

中国科学院科技战略咨询研究院 北京 100190

科技评估作为科技管理的重要手段和工具，在促进我国经济社会发展、科技进步中发挥着重要作用。随着新一轮科技革命和产业变革的加速演进，科技活动的复杂性和不确定性加大，对科技评估提出更高的要求。党的十八大作出实施创新驱动发展战略的重大部署，十八届三中全会对科技体制改革提出新要求，党中央、国务院相关文件提出要完善创新评价制度，加强对创新政策和科技改革任务的督察评估，定期对政策落实情况进行跟踪分析，并及时调整完善。因此，科技评估已成为新一轮科技体制改革的重要任务。

科技评估也已成为科技智库任务的战略重点。2017 年 2 月，中央深改组第三十二次会议审议通过了《国家科技决策咨询制度建设方案》，强调建设国家科技决策咨询制度，建立科技决策最高智库；2016 年 5 月，习近平总书记在《为建设世界科技强国而奋斗》的重要讲话中强调“要加快建立科技咨询支撑行政决策的科技决策机制，加强科技决策咨询系统，建设高水平科技智库”。由是观之，科技评估在智库研究中扮演着双重角色：一方面，科技评估是智库研究的重要任务，无论是研判科技发展大势和方向，还是从科技作用和影响的角度研究改革发展中的重大问题，科技智库都要开展科技评估，为提出科学建议提供基础；另一方面，科技评估是智库研究质量的重要保障，例如，在实践中世界知名智库都有对自身研究工作进行评估的程序和制度安排，以此确保智库研究成果质量。因此，如何建设完善科学合理的科技评估方法体系，开展科学评估，为我国创新发展提供有力决策支撑，是我国科技决策咨询体系和智库建设中需要考虑的重要问题。然而，从现有科技评估方法来看，其通常作用于评估问题的局部，缺少从辩证法及系统论角度对科技评估全过程方法体系的思考与认知，需要发展系统、科学的新方法、新工具来加以解决。

中科院科技战略咨询研究院院长潘教峰研究员[1]指出：科技智库研究的对象往往是复杂、综合的战略和政策问题，不仅仅涉及科技问题，而且涉及经济、社会、环境、管理等诸多方面的问题，仅就科技问题而言，也往往是跨领域、跨学科、综合交叉的。为此，潘教峰等[2]在分析国内外智库研究现状基础上，对智库问题的一般性研究思路进行系统归纳，从智库问题研究的全过程，即“收集数据（Data）—揭示信息（Information）—综合研判（Intelligence）—形成方案（Solution）”（DIIS），对智库研究方法论进行再思考，提出问题导向、证据导向、科学导向下的智库研究 DIIS 理论方法。

智库 DIIS 理论方法起源于对智库研究全过程的思考与概括，系统归纳了智库问题的一般研究规律，对智库问题具有很好的适用性，同样适用于科技评估。有鉴于此，本文利用智库 DIIS 理论方法对科技评估全过程进行再思考：首先，分析科技评估的内涵及其发展面临的新要求；其次，对智库 DIIS 理论方法体系进行简述；进而，基于评估规律形成科技评估 DIIS 方法，并从 DIIS 视角对科技评估在科技决策咨询中的作用进行界定；最后，以机构评估、项目评估、政策评估和研究质量评估为例，分析科技评估 DIIS 方法的实践应用。

1 当前科技评估面临的问题

科技评估既是构建科技竞争发展环境的重要基础，也是科技智库进行科技战略管理和绩效管理的重要工具。本节通过分析科技评估的内涵，结合科技评估发展面临的新要求，梳理现有科技评估方法体系中存在的问题。

1.1 科技评估的内涵

科技评估根据科技决策者、资助者及相关利益群体的需求，确定价值标准，用科学的方法收集和处理评估对象的相关信息，是判断价值实现程度的过程，体现了评估者的价值理念和价值追求。除遵循评估活动的一般规律外，科技评估又由于科技活动的性质而具有特殊性：① 科学研究活动的结果难以预测；② 科学研究活动的成果难以定量评估；③ 科学研究成果所产生的作用和影响难以定量评估。

随着科技在经济社会发展中的作用日益增强，科技评估的目的、对象、内容等不断延伸，成为科技战略管理的重要工具和公众理解科技的重要渠道。同时，科技评估的要素从不同的角度来看也不尽相同（表 1）。

表 1 科技评估基本要素

1.2 科技评估发展的新要求

在科技成为引领经济社会发展主导力量的今天，科技评估在科技活动管理中的作用更加突出，丰富多样、发展变化的科技活动也对科技评估提出新的要求。

（1）科技评估需关注科技活动的全过程。科技评估的内涵已从传统单一产出环节的评估，拓展到科技规划、科技投入、组织实施、科技产出及其影响效果等科技活动各个环节的评估，需要采用目标、过程、结果三者相结合的新模式对科技活动进行全过程的评估，以适应科技活动的发展变化。

（2）科技评估需充分发挥诊断分析的作用。随着科技活动的规模日益增大，科技管理决策所面临的问题越来越复杂，科技评估应更加注重对科学研究过程的诊断、分析和改进，从而确定科学研究过程中存在的薄弱环节，提出相应的改进措施和方法。

（3）科技评估需注重定量评估与定性评估的有机结合。随着政府和公众对科技评估客观性的要求日益增强，基于科学工具与方法的定量评估在科技评估中占有日益重要的位置。因此，开展科技评估活动时应注重在定量评估的基础上进行定性评估，或在定性评估基础上进行定量处理，结合客观信息和专家经验形成多角度全方位的综合评估结果。

（4）科技评估需注重科学性和高质量。目前许多科技评估报告的审核缺乏专业性，评估结果的可靠性和科学性有待商榷。因此，开展科技评估时应从客观事实和数据出发，形成可以循环论证的评估结果，确保评估结果的高质量。

总体来看，随着国家治理体系和治理能力现代化的深入发展，科技评估在我国政策实施情况评估、政策方案制定的前期论证中也发挥着重要的作用；同时，这也对我国科技评估工作的科学性和系统性提出了更高的要求。然而，从现有科技评估方法来看，通常作用于评估问题的局部，存在分散化和系统性缺乏的问题，缺少从辩证法及系统论角度对科技评估全过程方法体系的思考与认知，评估结果的科学性有待进一步论证。

2 智库 DIIS 理论方法

系统性方法体系缺乏的问题，并不仅仅存在于科技评估领域，而是在智库咨询研究中普遍存在。因此，需要先对智库研究的理论方法体系进行归纳，形成科学合理的研究方法，从而保证智库研究成果的高质量和客观性。为此，本节简述潘教峰等[2]提出的系统性研究方法体系——智库 DIIS 理论方法。

结合长期从事科技战略研究和重大规划的经验，潘教峰[1]总结提炼智库研究问题的一般性思路，并将智库问题的研究过程归纳为智库 DIIS 理论方法：首先，围绕所研究的问题全面收集各类相关数据和相关现象（Data）；其次，进行专业化的挖掘、整理和分析，形成客观的认知（Information）；进而，引入专家智慧对这些认知进行研判（Intelligence），得到新认识和新思路；最后，在问题导向下提出解决方案或政策建议（Solution），最终为宏观决策提供高质量和有建设性的智库研究报告。由上可知，DIIS 理论方法可以概括为“收集数据（Data）—揭示信息（Information）—综合研判（Intelligence）—形成方案（Solution）”。

智库 DIIS 理论方法针对现行智库研究方法体系的系统性缺乏问题，归纳了智库研究问题的一般性思路。具体地，在开展智库研究时应从问题导向、证据导向和科学导向出发[2,3]，基于 DIIS 理论方法对智库问题进行研究（图 1）：问题导向是指智库研究需要结合问题的特征进行综合研究，以问题为导向的 DIIS 研究遵循“凝练问题—分析问题—综合问题—解决问题”4个阶段的流程；证据导向是指智库研究过程要有理有据，以证据为导向的 DIIS 研究从 DIIS 的 4 个阶段出发保证智库研究的高质量；科学导向是指智库研究要利用科学的研究方法和工具对问题进行系统性研究，以科学为导向的 DIIS 研究从 DIIS 的 4 个阶段出发保证智库研究的科学性。

图1 问题导向、证据导向和科学导向下的智库DIIS理论方法

智库 DIIS 理论方法遵循智库研究问题的一般性思路，不仅适用于科技问题研究，而且可以应用于社会、经济、生态等领域战略和政策问题的研究。此外，在 DIIS 研究的 4 个环节及其全过程，应始终坚持方法创新，坚持基于专业知识和科学证据的科学精神，用好技术预见、路线图等有效的研究方法和工具，运用信息技术、大数据技术、管理决策技术、融合汇聚技术、人工智能和运筹学、系统工程、复杂科学等研究的最新成果，创新发展科技战略咨询研究的新方法、新模型、新工具，如科学结构地图、虚拟现实工具、政策模拟工具、可视化决策支持平台等，发展形成有特色的智库 DIIS 理论方法，不断提高战略咨询研究工作的科学性，为国家宏观决策提供科学咨询建议和系统解决方案。

3 科技评估的 DIIS 方法与功能

智库 DIIS 理论方法起源于对智库研究工作的思考与概括，对智库问题具有很好的适用性。本节拟在 DIIS 视角下分析科技评估的研究流程，形成科技评估 DIIS 方法，并从 DIIS 视角对科技评估在科技决策咨询中的作用进行界定。

从科技评估问题出发，基于 DIIS 理论方法，结合评估问题特征，在问题导向、证据导向和科学导向下进行跨学科和多领域的研究，科技评估 DIIS 方法的流程具体如下：① 凝练评估问题阶段，围绕科技评估问题收集相关数据，综合各学科知识对问题进行关联性分析，明确科技评估问题的特征，并将其分解为多个子问题，此阶段对应 DIIS 的 Data（收集数据）；② 分析评估问题阶段，对问题的相关数据进行整理分析，对分解后的子问题进行深入研究，形成客观认知和初步意见，此阶段对应 DIIS 的 Information（揭示信息）；③ 综合评估问题阶段，系统整合集成各子问题的客观认知信息和初步意见，综合专家意见进行研判，此阶段对应 DIIS 的Intelligence（综合研判）；④ 解决评估问题阶段，依据专家的综合研判结果，给出评估结论和不同约束条件下的评估报告，此阶段对应 DIIS 的 Solution（形成方案）。

基于上述 4 个阶段的分析，将凝练评估问题、分析评估问题、综合评估问题和解决评估问题 4 个阶段凝练为 14 个步骤（图 2），其中 3 项检验步骤（步骤 3、10 和 13）可确保科技评估问题研究的全面性和科学性，各步骤具体内容如下。

3.1 凝练评估问题阶段—Data

步骤 1：界定评估问题。界定科技评估问题的特征，注重各学科之间的联系，对问题进行跨学科与多领域的研究。

步骤 2：分解问题。将科技评估问题分解为多个子问题，并发掘关键的问题。

步骤 3：检验问题。检验步骤 2 中问题分解的全面性，若已分解全面，则进入步骤 4；若尚未完全分解，则返回步骤 2 对问题补充数据重新分解。

步骤 4：确定问题及技术路线。确定需深入研究的子问题，并依据研究目标、对象、资源约束及具体需求形成解决问题的技术路线。

3.2 分析评估问题阶段—Information

步骤 5：数据收集。收集各项子问题的相关数据。

步骤 6：研究子问题。整理分析各子问题的相关数据，初步形成客观认知。

步骤 7：综合研判子问题。综合相关领域专家的意见对各子问题进行综合研判。

步骤 8：形成初步方案。依据综合研判的结果，初步形成各子问题的解决方案。

3.3 综合评估问题阶段—Intelligence

步骤 9：集成研究问题。综合各子问题的研究结果，集成得到问题的研究结果。

步骤 10：检验研究。检验步骤 9 的集成结果是否全面解决问题，若已全面，则进入步骤 11；若未全面解决问题，则返回步骤 4 循环论证研究过程。

步骤11：综合研判。利用不确定性分析与博弈论等方法进行利益相关者分析，综合专家意见对问题进行综合研判。

3.4 解决评估问题阶段—Solution

步骤 12：形成多情景方案。基于专家的综合研判结果，构建条件问题，给出不同条件约束下的方案集，形成初步报告。

步骤 13：检验报告。依据质量标准对报告进行检验，若达到标准，则进入步骤 14，即生成科技评估报告；若未达到标准，则返回步骤 1 循环论证研究过程。

步骤 14：生成评估报告。依据规范化格式生成最终达标的科技评估报告。

图2 科技评估 DIIS 方法

结合上述研究流程，从 DIIS 视角出发可将科技评估在科技决策咨询中的作用界定为六大功能：证据形成功能、衡量比较功能、诊断分析功能、前瞻预测功能、价值导向与判断功能和质量控制功能（表 2）。

4 科技评估实践的再认识

科技评估作为科技智库研究的重要课题，广泛应用于国内外智库的研究中。本节以德国马普学会、美国国家科学基金会、国务院重大水利工程政策和英国高等教育机构科研水平的科技评估为例，分析科技评估 DIIS 方法在机构评估、项目评估、政策评估和研究质量评估中的应用。

4.1 德国马普学会研究所评估实践

德国马普学会主要开展德国大学和其他科研机构难以承担的自然科学、社会科学与人文艺术领域的基础研究，同时为马普学会以外的科研人员提供仪器设备、文献资源等。该学会在评估时聚焦于基础前沿研究，注重研究成果的质量，并充分重视研究人员的选择，给予研究人员充分的自由。对马普学会研究所评估实践可参见文献[4]。

分析马普学会的评估过程，可以发现，其基本遵循了科技评估 DIIS 的研究思路，具体归纳分析如下：① 收集数据——Data。收集各个学科的相关数据，包括产出和影响方面，为各领域分类评估提供基础性数据支撑。② 揭示信息——Information。通过文献计量数据分析，从学术产出质量和影响的维度揭示研究所各领域科学前沿和产出影响，揭示不同领域科研活动若干关键点和关键环节上的重要信息。③ 综合研判——Intelligence。将数据分析与各领域权威专家的知识和研判结合，重在分析研究所在国内外的地位以及对青年科学家的支持，提出研究所各领域诊断评估意见。④ 形成方案——Solution。面向马普研究所的未来发展需求，在评估结果的基础上形成对研究所未来发展和努力方向的建议。

表 2 DIIS 视角下科技评估的功能

4.2 美国国家科学基金会研究成果评估实践

美国国家科学基金会（简称 NSF）是最具代表性和影响力的国家级政府科学基金资助机构之一，主要面向科学和工程学的基础研究项目和教育研究项目，旨在推动科学进步，促进国民健康和繁荣，保障国防安全。NSF 每年都要从其资助项目的研究成果中遴选出最有显示度的亮点成果，作为绩效评估报告的重要部分报送国会，同时通过亮点成果向社会公众展示其资助成效。美国 NSF 绩效评估实践可参见文献[5]。

分析 NSF 研究成果的评估过程，可以发现，其基本遵循了科技评估 DIIS 的研究思路，具体归纳分析如下：① 收集数据——Data。收集 NSF 各研究项目的相关数据，包括项目的研究价值、潜在的影响和意义、产生的突破性研究成果以及社会经济效益等，为研究成果评估提供基础性数据支撑。② 揭示信息——Information。通过对成果信息的综合分析，找出与 NSF 战略目标最相关且最重要的研究成果。③ 综合研判——Intelligence。在科学处、科学局、机构 3 个层面，将数据分析与不同外部专家的知识相结合，对照 NSF 的战略目标研判项目成果的突破性程度。④ 形成方案——Solution。根据研判结果，筛选最有显示度的亮点成果，纳入 NSF 年度绩效报告，并对外公布亮点成果，向社会公众展示其资助成效。

4.3 国务院重大水利工程政策第三方评估实践

根据国务院部署（国发明电〔2014〕1 号），中科院作为第三方评估机构对“加快重大水利工程建设，今年（2014 年）再解决 6 000 万农村人口饮水安全问题的政策措施落实情况”开展评估。中科院由院领导牵头，成立评估领导小组、专家组和咨询组，组织重大水利工程组和农村人口饮水安全组分别开展部委、地方政府和利益相关方访谈，通过项目实地调研评估政策措施的落实情况。

总结重大水利工程政策的第三方评估过程，可以发现，其基本遵循了科技评估 DIIS 的研究思路，具体归纳分析如下：① 收集数据——Data。通过资料调研、座谈访谈与实地考察相结合等方式，收集重大水利工程建设和农村饮水安全相关规划和项目数据，为政策第三方评估提供基础性数据支撑。② 揭示信息——Information。通过定性分析文献资料、定量分析数据统计资料、统计分析批量研究调查问卷，对数据进行处理分析。③ 综合研判——Intelligence。组织专家组多次召开集中研讨会议，将数据分析与专家长期研究经验相结合，对政策实施情况的主要评估指标进行打分。④ 形成方案——Solution。根据研判结果，从体制机制和政策方面提出建议，形成第三方评估报告，报送国务院常务会议。

4.4 英国高等教育机构科研水平评估（REF）实践

英国四大高等教育基金委员会（HEFCE，SHEFC，HEFCW 和 DEL）从 1986 年开始，在全英国范围内推行科研评估制度（简称 RAE），为英国 350 余所大学和高等学院政府下拨的基础性研究经费提供决策依据。由于 RAE 评估耗资巨大，同时需要耗费大量评审专家的时间，英国社会各界对 RAE 评估颇有微词。因此，英国政府 2008 年对 RAE 评估进行了改革，提出了新的卓越研究评估框架 REF，并于 2014 年在英国推行①参见：http://www.ref.ac.uk/。REF 评估实践可以参见文献[6]。

REF 采用专家评议方式开展针对高校科研人员研究质量的评估，并为高等教育基金委员会的拨款提供依据，成为英国政府监控和提高高校科研质量的手段，有利于促使大学形成良好的内部竞争机制。分析 REF 研究质量评估过程，可以发现，其基本遵循了科技评估 DIIS 的研究思路，具体归纳分析如下：① 收集数据——Data。收集待评估人员的科研活动详细信息和科研成果，形成评估材料，为科研人员评估提供基础性数据支撑。② 揭示信息——Information。通过对评估材料的综合分析，形成科研人员的初步评估结果。③ 综合研判——Intelligence。评估组（包括子评估组、跨组顾问、观察员、外籍专家等）运用各自的学科专长，根据评分等级形成每份材料的总体看法。④ 形成方案——Solution。根据研判结果，形成参加评估的高校得到年度政府经费拨款的重要决策依据。

4.5 对科技评估实践的分析

通过机构评估、项目评估、政策评估和研究质量评估的实践案例分析表明，其整体评估过程基本都遵循了科技评估 DIIS 的研究思路，但由于目标对象的差异性，科技评估在 DIIS 各个环节的侧重有所不同。例如，以 Intelligence 环节为例，在德国马普学会开展的机构评估中，该环节侧重于其研究所各领域的科学前沿和产出影响；在美国 NSF 开展的项目评估中，该环节侧重于对项目成果的突破性程度进行研判；在中科院开展的国务院重大水利工程政策评估中，该环节侧重于对政策实施情况的分析；在英国REF评估中，该环节侧重于对参评人员的科研活动质量进行评估。可以看出，科技评估对象和目的的不同直接导致了评估价值导向的差异，并且贯穿于 DIIS 的 4 个环节中。

5 结论

随着科学技术的飞速发展，如何抓住新一轮科技革命和产业革命交汇期的历史机遇以掌握竞争发展的主动权，是我国推进创新驱动发展、建设世界科技强国需要考虑的重要课题，需要科技智库通过科学合理的科技评估体系洞悉未来科技发展趋势、准确研判发展方向和战略重点，为提出前瞻咨询建议和系统解决方案奠定研究分析基础。因此，科技评估不仅是智库研究的重要任务，而且是智库研究质量的重要保障。本文将智库 DIIS 理论方法运用于科技评估，形成了凝练评估问题、分析评估问题、综合评估问题和解决评估问题 4 个阶段的科技评估 DIIS 方法，并从 DIIS 视角重新揭示了科技评估在科技决策咨询中的 6 个作用，弥补了现有科技评估研究中存在的不足；此外，通过典型案例分析了科技评估 DIIS 方法的实践应用，为我国科技评估实践提供一种方法指引与支撑。

1 潘教峰. 科技智库研究的 DIIS 理论方法. 中国科学报, 2017-01-09(7).

2 潘教峰, 杨国梁, 刘慧晖. 智库 DIIS 理论方法. 中国管理科学,2017, 25(Special Issue): 1-14.

3 潘教峰. 加强智库建设 推进国家治理体系和治理能力现代化——潘教峰研究员访谈. 中国科学院院刊, 2017, 32(3): 297-302.

4 中国科学院科技评价研究组. 关于我院科技评价工作的若干思考. 中国科学院院刊，2007, 22(2): 104-114.

5 郑永和, 刘云, 何鸣鸿. 科学基金绩效评估方案设计中的若干问题研究. 中国基础科学, 2008, (2): 41-44.

6 刘莉. 英国大学科研评价改革：从RAE到REF. 科学学与科学技术管理. 2014, 35(2): 39-45.