科技监督评估体系构建方法研究概况＊

许超，黄潇



科技监督评估体系构建方法研究概况＊

许超1，黄潇2

（1.山西省产业技术发展研究中心，山西 太原 030000；2.山西省分析科学研究院，山西 太原 030000）

本文介绍了科技监督评估体系构建的重要意义和必要性，进一步探讨了科技监督评估体系的构建方法和步骤，分析阐述了同行评议法、德尔菲法、层次分析法、模糊综合评价、人工神经网络技术、灰色分析法、综合性评价等几种方法的使用特点及优缺点，在一定的方法选取原则下，选取适用的方法。

科技创新；科技监督；评估体系；构建方法

1 引言

科技监督评价制度是政府为支撑创新，发挥政府科技资源配置作用的重要手段。在“科技创新+制度创新”双轮驱动背景下，科技监督评估体系构建在制度创新中有重要的作用。科技监督评估体系一般是指依据大量事实和依据，遵循一定的原则、程序和标准，运用科学、可行的方法，对涉及科技领域的政策、计划、项目、成果、机构、人员以及与科技活动有关的行为所进行的系统化和专业化的监督评估活动。

2 意义和必要性

科技监督评估是指依据有关规定，对参与科技计划（专项、基金）的各责任方所进行的持续、全面的监督，评估与问责，涉及到责任主体包括科技计划相关管理部门、项目管理专业机构、项目承担单位、参与科技计划项目咨询评审和监督工作的专家、支撑机构以及从事科技项目研究的科研人员，目的是明确各责任主体的权力边界，并约束其行为。“科技监督评估体系”属于“三根支柱之一”（即咨评委+专业机构+监督与评估体系），是这个体系中唯一的一个动态体系，同时也是实施难度最大的一项。科技监督评估体系的主要内容包括三个方面，分别是科技监督、科技评估和科研信用。其特点是事前重风险防范，事中、事后重监督检查，事后重评估与问责。科技监督评估体系的建立完善不仅是完成新一轮国家科技计划管理改革的主要环节，也是促进科技计划和专项科学、有序、高效推进的制度保证，更是完善科技治理体系的重要支撑。因此，科技监督评估体系的构建是科技体系监督和评估的要求，对于提高政府科技资源分配的公正性和有效性，提高科技计划相关主体的意识与水平，从机制上约束和规范科技计划相关主体起到重要的作用。

3 科技监督评估体系构建步骤

3.1 指标体系结构的确立

前期准备主要包括信息收集资料、分析目标、确定指标体系结构和收集与分析指标。

3.2 指标体系的内涵及标度设计

确定基础评价指标体系时，一般收集的指标体系都是定性或者半定量的，所以需要设计标度来评判，一般分为5个标度，即很好、较好、一般、较差、很差，使指标体系可以被量化。

3.3 指标权重的确定

权重是综合评价的重要信息，应根据指标的相对重要性，即指标对综合评价的贡献确定。

确定评价指标权重的方法主要分为主观方法和客观方法。主观赋权法是人为主观赋权，主要方法有专家调查法、二项系数法、环比评分法和AHP法等；客观赋权法是指标依据一定的规律自动赋权，主要方法有成分分析法、熵技术法、均方差法和多目标规划法等。

赋权后，确定指标权重的方法很多，比如定性分析的德尔菲法、数据统计处理的成分分析法以及定性定量结合的层次分析法等。

4 科技监督评估体系构建的常用方法

4.1 同行评议法

同行评议法，最简单、直接的理解是指由身份相同的人评审、审查、评价和评论。同行评议是由从事该领域或相关领域的专家按照一定的评议准则来评定一项科学研究工作的学术水平和重要性的一种方法，是对科学问题或科学成果的潜在价值或现有价值进行评价，对解决科学问题方法的科学性和可行性给出判断的过程，是科研项目进行评审和对科研成果进行评估的一种基本方法，也是科技评估过程科学化和民主化的一个重要环节。同行评议一般包括专家组会议评议和网络评议，对于需要组织同行专家进行现场考察或者演示、测试和达标的科技成果，组织评议单位可以采取会议评议形式；对于通过书面审查有关技术资料即可进行评议的项目成果，则可以采用网络评审。

同行评议简单易行，而且可以指出被评价项目成果的创新或不足，能找出该项目成果在该领域国内外同类研究中所达的水平，从而作出客观、准确的评价。在同行评议中，必不可少的是评议标准，基本标准主要有项目进行的科学意义，项目申请者的完成能力，项目申请单位的承担能力。同行评议是使用较早的科技评估方法，应用领域相对较广泛。

4.2 德尔菲法

德尔菲法，即Delphi法，是一种通过征求并集合群体成员（包括决策者、专业干部和反映者，约20～50人）的意见作出的群判断，是进行决策、预测和科技咨询的一种有效方法，有三个主要特征，分别是匿名反映、迭代和受控反馈和统计的群反映。流程为：提出问题→选择并确定群众成员（反映人）→制订多个咨询表，发给群中成员→收集咨询表，进行分析→多个咨询表分析合成报告。

4.3 层次分析法

层次分析法（Analytic Hierarchy Process，简称“AHP”），是将与决策总是有关的元素分解成多个有序的低阶层次结构，在此基础之上进行定性和定量分析的决策方法。该方法是美国运筹学家匹茨堡大学教授萨蒂于20世纪70年代初应用网络系统理论和多目标综合评价方法提出的一种层次权重决策分析方法。APH体现了决策思维的基本特征，即分析、判断和综合。

APH经常作为一种确定指标权重的方法加以应用。在科技项目评估中，运用APH确定指标权重一般分为5个步骤：①建立问题的递阶层次结构；②构造两两比较判断矩阵；③进行层次因素（指标）单排序数值的计算；④进行APH判断矩阵一致性检验；⑤计算各层指标的组合权重。

APH作为一种决策工具，具有适用性、简洁性、实用性和系统性等特点，但在应用上也有局限性。例如，APH的应用主要针对那种方案大抵确定的决策问题；APH得出的结果是粗略的方案排序；在APH适用过程中，无论是建立层次结构还是构造判断矩阵，人的主观判断、选择对结果的影响较大，导致采用APH进行决策的主观成分很大。

4.4 模糊综合评价

模糊综合评价法是解决定性和定量问题的经典方法，创始人是美国加利福尼亚大学著名的控制论专家LA.Zadeh教授，最早是我国学者汪培庄提出来的。该法是利用模糊关系合成的原理，从多个因素出发对评判事物隶属情况进行综合性评价的一种方法。主要分为两步，分别是单因素单独评判和多因素综合评判，一般包括基本因素集、评价集和考核集。

优点：模糊评价通过精确的数字手段处理模糊的评价对象，能对蕴藏信息呈现模糊性的资料作出比较科学、合理、贴近实际的量化评价；评价结果是一个矢量，而不是一个点值，包含的信息比较丰富，既可以比较准确地刻画被评价对象，又可以进一步加工，得到参考信息。

缺点：计算复杂，对指标权重矢量的确定主观性较强；当指标集较大，即指标集个数较大时，在权矢量和为1的条件约束下，相对隶属度权系数往往偏小，权矢量与模糊矩阵不匹配，结果会出现超模糊现象，分辨率很差，无法区分谁的隶属度更高，甚至造成评判失败，此时可用分层模糊评估法加以改进。

总的来讲，模糊综合评价是一种基于主观信息的综合评价方法。

4.5 人工神经网络技术

人工神经网络（Artificial Neural Networks，简写为“ANNs”）是一种模仿神经网络类似于大脑神经突触联接的结构行为特征，由大量的节点（或称神经元）之间相互联接构成，每个节点代表为激励函数，每两个节点间的连接都代表一个对于通过该连接信号的权重，网络的输出则依网络的连接方式、权重值和激励函数的不同而不同。进行分布式并行信息处理的算法数学模型是数学统计学方法的一种实际应用。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的，并具有自学习和自适应的能力。人工神经网络能够与人一样，具有简单的决定能力和判断能力，这种方法与正式的逻辑学推理演算相比更具有优势。

人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统，它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。人工神经网络具有的基本特征有非线性、非局限性、可容错性和自适应能力。

人工神经网络的特点和优越性主要表现在以下3个方面：①具有自学习功能。自学习功能对于预测有特别重要的意义，预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远大的。②具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。③具有高速寻找优化解的能力。

优点：人工神经网络评价方法可通过与其他特定的方法结合，来降低综合评价过程中的不确定性因素。在学习样本中，无需考虑权重值等模型的函数关系，通过不断的学习，能够从未知模式的大量复杂数据中发现其规律，克服传统分析过程的复杂性及选择适当模型函数形式的困难。此外，神经网络并不依赖变量之间必须线性相关或是相互独立的假设，变量之间存有微妙联系，如果同数据不连续或不完全一样均可以被系统辨识并生成定性评估。

缺点：样本需求量大，精度不高；需借助计算机处理，效率不高等。

4.6 灰色评价法

灰色综合评估法是一种以灰色分析理论为指导的综合性评估方法。

部分信息明确、部分信息不明确的系统称为灰色系统，灰色系统理论的中心就是充分利用已知信息。其过程如下：①建立灰色综合评估模型；②对各种评价因素进行权重选择；③进行综合评估。灰色聚类分析是一种定量与定性相结合的方法，可以较好地解决评价指标难以准确量化和统计的问题。灰色综合评估法中的权重选择可以结合层次分析法、聚类分析法和关联分析法等，以提高评估的准确性。

优点：计算简单，数据不必归一化处理，指标体系可以根据具体情况增减，无需大量样本。

缺点：要求样本有时间序列特性，灰色关联系数的确定还需要计算分辨率，且缺乏合理标准。

4.7 综合性评价方法

综合评价方法是指多种评价方法相结合，但不是任何两个方法都可以随机组合，方法之间必须是可以联结的，所涉及的变量可以相互转化。首先由定性方法确定评价指标集，然后计算指标的权重并形成评价体系，包括评价等级、样本矩阵等，最后，用定量方法与模型进行计算，得到评价值。

5 方法选取的原则准则

在选择评估方法时，应注意以下几点：①科研项目评估就是确定被评估项目在所在系统中的地位，这种地位是通过比较而认识的。由于比较的基准物不同，评估的内容和方法也就不同。②系统要保持其相对地位不变或提高其地位，就必须具备动态调节的功能。这就要求所选择的评估方法必须具有良好的动态调节性能，使系统结构合理，且具有开放性。③评估具有主观性，评估是事物价值在人的意识之中的反映。因此，对事物价值的评估要因人、因时、因环境而异，评估中的差异性是无法排除的，只能尽量缩小。在研究设计评估方法时，要使方法具有减弱或消除主观因素成份的功能，使要获得的评估信息具有可能性和可靠性。④认识是评估的前提和基础。认识的对象大于评估的对象，要提高评估方法的合理性与准确性，首先要全面、客观地认识系统和环境，对事物的认识不准确，就难以选择出合理的方法。

6 结语

综上所述，目前，人们对评估领域已经有了一定的认识，并形成了一套比较成熟的理论和方法。但也应清楚地看到，评估工作是一种跨学科、跨层次的综合性工作，它既要求社会科学、经济学与自然科学的综合，又要求决策层、执行层与研究层的结合，这就对评估工作的组织管理与机制提出了特殊的要求，要求多方面、多层次的研究者相互理论结合，优劣互补来进行相关探讨研究。

［1］王凭慧.科技项目评价方法［M］.北京：科学出版社，2003.

［2］赵焕臣，许树柏，和金生，等.层次分析［M］. 北京：科学出版社，1986.

［3］张军军，许超.科技监督与评估体系建设途径研究［J］.科技创新与应用，2018（11）.

［4］张娟.广东省科技监督和评估体系建设研究［J］.科技视界，2017（01）.

［5］杨雪梅，林端宜.科研项目评估研究现状综述［J］.中华医学科研管理杂志，2002（03）.

［6］陈小卫，王新政，王文双，等.科技项目中评价研究综述［J］.科研管理，2009（30）.

2095－6835（2018）20－0004－03

G311

A

10.15913/j.cnki.kjycx.2018.20.004

许超（1980—），男，助理研究员，主要研究方向为公共政策分析与科技创新。

黄潇（1984—），女，副研究员。

山西省软科学研究重点项目“山西省科技计划管理改革政策体系建设、管理、评价研究——科技监督评估体系构建研究”（项目编号：2017042003-1）

〔编辑：王霞〕