科技评估方法综述及简评*
2021-11-28刘志强王慧晴
刘志强,王慧晴,温 颖
(北京建筑大学,北京102616)
1 科技评估方法研究综述
关于科技评估方法,李志军(2016 年)对事前、事后评估方法进行了细致的梳理和总结[1]。此外,聚焦于科技政策评估视角,LEEUWEN 等(2003 年)、李强等(2018 年)梳理了国内外在政策评估领域的研究成果,并对文献计量法、经济模型法等经典方法进行了分析总结[2-3]。和经纬(2008 年)指出政策评估方法的核心是政策效果分离的社会实验[4]。曲婉等(2017 年)以科技创新政策评估为例,建立了新的逻辑框架分析法,并结合政策作用对象,来识别不同类型的政策工具[5]。肖小溪等(2015 年)总结了PING(2014 年)[6]介绍的快速循环评价,指出该方法可通过海量数据搜集和挖掘来提供实时监测数据,为科技政策制订提供更可靠的数据支撑[7]。高华川和白仲林(2019 年)提出一种估计政策因果效应的时变LASSO 方法,并通过实证研究发现,该方法对样本时期数较长、政策干预时间点相对较晚的政策评估更加有效[8]。
从绩效评估视角,YAGER(2002 年)等人对政府绩效评估中常用的数据包络分析法、3E 评价法等评估方法进行了梳理,并对方法的适用场景以及局限进行了总结[9]。盛明科(2009 年)通过对比主观评议法与多指标综合评价法,指出政府绩效评估应该从价值理性和工具理性相结合的角度,对两种方法进行综合的运用,以充分发挥各自方法的优势[10]。庄国波和时新(2019 年)指出将大数据技术的海量数据和精准分析可以消除了政府绩效评估中人为因素的干扰和反馈信息的失真[11],极大地增强了定量评估方法的准确性和说服力。
2 科技评估中的主要方法
科技评估方法有很多种,按照描述方式的不同,可以分为定性的科技评估方法、定量的科技评估方法以及定性与定量相结合的综合评估方法。
定性的科技评估方法主要依据评估者的经验、知识、技能等,但其主观性过强,对评估者本身的素质要求极高。定量评估方法是指根据评估对象的数据信息或量化的数据信息,建立政策评估的数学模型,再借助电子计算机等手段进行计算来求得答案的方法和技术。
定性与定量相结合的综合评估方法融合了定性、定量评估方法的优点,广泛地应用于复杂的科技评估中。典型的方法有层次分析法、模糊综合评价法、灰色系统评估方法以及数据包络分析法等。
2.1 模糊综合评估法
模糊综合评价法是指在模糊数学的隶属度理论基础上,在事物组成模糊的环境中,考虑各方面因素的综合影响后,针对某一特殊的目标对一个事物做出综合性评价结果的方法。它以模糊推理为主,定性和定量相结合,精确与非精确相统一。模糊综合评价法基本可分4 步进行:①确定评估对象集、因素集和决断集;②运用专家咨询法、层次分析法等确定因素权重值,建立评估因素的权重分配向量;③通过各单因素模糊评估获得模糊综合评估矩阵;④进行复合运算可得到综合评估结果,计算每个评估对象的综合分值,并进行选择排序。
将模糊综合评价方法应用于科技评估中,其主要优点在于简单实用、可操作性强,并能进行整体的评价,但也存在评价指标体系的合理性与代表性问题,模糊隶属函数的构造带有一定的主观随意性等不足。
2.2 灰色系统评估方法
灰色系统评估方法来源于20 世纪80 年代中国华中理工大学邓聚龙教授提出并创立的灰色系统理论。其基本思想是先从样本中确定一个理想化的最优样本,并以此为参考序列,通过计算各样本序列与该序列的关联度,对评估对象做出综合比较和排序。灰色系统评估方法的基本步骤为:①确定参考序列;②指标值的规范化处理即无量纲化;③求各个方案与由最佳指标组成的理想方案的关联系数矩阵,由关联系数矩阵得到关联度;④按关联度的大小进行排序、分析,得出综合评判结果。
灰色系统评估法通过对评估对象进行综合比较和排序,解决了评估指标难以准确量化和统计的问题,可以减少人为因素带来的影响,但也存在灰色关联度量化模型所求出的关联度总为正值,不能全面反映事物之间关系的局限。
2.3 数据包络分析法
数据包络分析法是由著名运筹学家查尼斯和库柏等在“相对效率评估”概念基础上发展起来的一种新的效率评估方法。它应用数学规划模型计算比较决策单元之间的相对效率,对评价对象做出综合评价。运用数据包络法进行科技评估时,主要有以下4 个步骤:①确定评估目标。②建立评估指标体系。基本的原则是能反映评价内容和目的,避免指标间的强线性关系,最后考虑指标的可获得性和多样性等。③收集和整理数据,并进行计算。④分析评估结果并提出决策建议。
数据包络分析法通过模型自行计算权重,大大减少了主观因素对评估结果的影响。但是其使用范围具有一定的局限性,要求被评估的组织单元的目标要相似并且影响组织单元效率的因素应相同。
3 科技评估方法的前沿与发展趋势
以云计算、数据挖掘、机器学习、人工智能和区块链等为代表的新一代信息技术的快速进步,推动着科技评估向自动化、智能化、智慧化方向发展,同时为评估方法更细致地科学应用提供了新的理论和技术支持。
科技评估工作具有数据海量的特点和深度分析的需求。而数据挖掘的基本思想正是从数据中抽取有价值的信息,从而帮助决策者寻找数据间潜在的关联。将数据挖掘运用到资料查阅法时,它就是一种适当的测度方法,通过关键词提取,可以将文献资料的段落和章节作为单元进行聚类分析,提高信息获取效率;云计算技术同样也可以很好地进行数据分析工作。它的基本思想是通过构建大规模的基于集群系统的数据中心,将集群中的资源以虚拟化的形式向用户提供资源池。将云计算运用到人工神经网络的公共项目评估中,可以帮助获得更加全面的项目端监测数据,从而对其进行更好的动态分析,以提高系统的综合评估水平。此外,区块链技术通过建立一组互联网上的公共账本,由网络中所有的用户共同在账本上记账与核账,起到保障数据真实性和不可篡改性的作用。将该技术运用于主成分分析法、数据包络分析法等需要大量数据处理的评估方法中,可以通过追溯进行数据真实性的比较和检验,提高评估的可信度。
与此同时,随着科技评估领域的扩大和交叉学科的发展,应用统计学、数理经济学、计量经济学等学科的方法也被引入到了评估中,通过综合运用评价指标体系、量化模型等知识,来改进科技评估方法,实现定性与定量相结合。比如计量经济学中断点回归,就是当前利用微观数据进行政策评估一个重要的方法,它可以在没有随机性的情况下识别出政策的效果;倾向得分匹配则通过改善选择性偏误,减少对照组与实验组特征的差异而被视为评估干预影响的准实验方法。统计学中的贝叶斯方法可以充分考虑评估模型以及参数的不确定性,对非线性状态空间模型进行较好的拟合,近年来在科技评估中受到越来越广泛的应用。
4 总结
科技评估工作是一种跨学科、跨层次的综合性工作。它既要求社会科学、经济学与自然科学的综合,又要求决策层、执行层与研究层的结合。因此根据具体的评估对象和评估目的选择合适的科学的方法对提高评估实施效果,改进管理决策有至关重要的作用。同时,仍需要对科技评估方法进行深入探索,并且将社会经济发展的实际需要以及信息技术和交叉学科相结合,进行科技评估方法的实际应用,不断推动中国科技评估工作的发展。