科研项目效益评估指标体系构建*
2021-06-01卢冰陶泉
卢冰,陶泉
(中国气象局气象干部培训学院,北京100081)
1 科研项目效益评估作用与内涵
党的十八大以来,在以习近平同志为核心的党中央坚强领导下,中国发展坚持把科技创新摆在核心位置,科技创新能力显著提高,科研项目数量大幅提升,科研项目的科学管理研究也越来越重要。具体到每一个项目,其作用如何,需要开展科学的综合效益分析和评估研究,真实反映项目完成的综合效益,指导未来项目的开展,为科技决策提供参考依据,使有限的科技资源投入产出更好的经济效益和社会效益。科研项目效益评估是项目后评估的核心内容,从效益方面对科研项目的综合评估,其目的在于考核科研项目是否实现了预期的效益并衡量效益的大小。科研项目效益评估实际就是对科研项目运行结果评价,即对项目价值、项目完成质量、项目影响、项目时间、成本、人力、产出等经济效益、社会效益和平台效益进行全面综合的评价。而科研项目以其研究目的和特点,一般分为三大类:基础研究类、应用研究类和标准规范类。不同类别的科研项目效益评估的侧重点和指标应该有所区分。
2 指标体系的构建原则
科研项目效益评估指标体系是评估科研项目效益的基础和依据,直接关系到评估结果的客观、公正、准确、有效。构建科研项目效益指标体系是个复杂系统的过程,必须理清思路,遵循正确的原则,运用正确的方法,才能少走弯路。一般有以下4 个基本原则。
2.1 科学合理性原则
科研项目效益评估指标是否具有代表性,能否真实反映科研项目的总体面貌、本质特征和基本水平,是评估指标设计是否科学的关键。
选取指标应注重运用定性与定量相结合的方法,对难以直接测量的因素可以考虑用间接方法测量[2],从而优化指标结构。
2.2 系统均衡原则
科研项目效益评估是一个多目标决策,不能用局限性较大的单一指标进行评价,应建立一套各有侧重,又相互联系的指标系统来反映项目的总体效益[3],突出有限目标,尽量选择那些有代表性的综合指标,对项目的直接效果和间接效果都能给予反映,保证效益评估的全面性。
2.3 灵活稳定原则
科研项目效益评估应尽可能选取具有共同特性的综合指标和专业指标,或相对成熟、公认的指标。主体指标需长时期处于稳定的状态也要易于修订,在实际运用中能根据客观条件的变化而进行适当的调整,而不对整个指标体系造成太大的影响。
2.4 择重性原则
为避免主观片面的决策,科研项目效益评估指标应进行量化管理,根据各级、各项评估指标对项目效益的重要程度不甚相同,合理分配各项指标的权重。
3 科研项目效益评估指标体系
科研项目效益是指项目对国民经济所作的贡献,它包括得到的直接效益和由项目引起的间接效益。科研项目的效益有其独特的内涵和规律,其效益目标是多元化的,涉及范围很广,既有经济效益、社会效益,也有平台效益。作为对科研项目进行评估的重要基础和支撑,科研项目效益评估是建立在大量的原始数据、统计分析、调研基础上提出的具有科学性、完整性、系统性的反映科研项目各要素现状及发展趋势的数据。
本文根据科研项目的分类和特点,在选择和设置效益评估指标时,将归类、层次结构、综合分析结合在一起,逐层分解,建立层次分明的指标结构。本文针对效益评估的主要内容,在遵循指标构建原则的基础上,结合有关专家和管理人员的征询和反馈意见,尝试进行科研项目效益分析,设计了一套既具有普适性,又具特殊性的指标体系,如表1 所示。
表1 科研项目效益评估指标框架
指标内涵简要说明如下。
3.1 经济效益
科研项目的经济效益是指科研成果带来的效益和科研活动耗费的比较,应从项目完成情况和投入与产出的角度考察项目的经济效益:①项目预期目标实现。根据项目的总体目标、进度、经费的完成情况,对项目本身进行预判。②项目投入。综合计算用于项目的人员、资源、时间、经费投入。③项目产出。综合计算项目研究成果的数量、质量及获奖情况以及先进程度、创新程度和示范作用。④将项目的产出和投入的综合计算结果进行比较。
3.2 社会效益
科研项目的社会效益是指研究成果对整个社会的贡献,主要从成果推广应用和学术技术影响两个方面综合评估:①成果推广应用。从成果推广应用的时间、空间、深度三个维度来评估应用情况,以及成果对相关决策、管理的影响大小、成果对社会中人们素质提高的贡献大小。②学术技术影响。评估研究成果对科学理论体系的完善和扩充作用;对提高现有技术能力水平的作用;形成了新的可用的学术技术标准;对建立相关学科发展模式上的作用来综合评价项目的学术技术影响,从而反映项目对社会的贡献。
3.3 平台效益
科研项目的平台效益是指以项目研究为平台,在技术开发、研究团队建设、人才培养方面取得效益:①技术开发。评估项目研究过程中,对国际、国内相关先进技术引进的情况以及自主创新开发技术情况。②团队建设。评估创新团队组建情况和团队的创新能力提升情况。③人才培养。评估依托项目研究的平台,对团队成员管理能力、创新能力等个人能力的提升情况以及学术、行业影响力的提升情况。
为区分各类型科研项目的效益评估标准、增强指标体系在实际操作中的适用性,本文将指标框架进行了归类和细分,分别按照“经济效益”“社会效益”“平台效益”三大类开展效益评估,如表2 所示。
三类科研项目都可按照本文将表1 指标框架中的9 个一级指标和29 个二级指标分为“通用指标”和“个性指标”两类。“通用指标”反映科研项目效益评估的共性特点,是各类科研项目开展效益评估的必选指标。“个性指标”反映了各类科研项目效益的突出亮点和个性特点。
4 指标权重的确定方法
科研项目效益评估设计多项指标,而指标间作用并不均衡,因此,应选用合适的评估方法对评估指标之间进行权值大小的判断,以便确认哪项指标影响较强或较弱。
权重的确定是否科学直接关系到评估结果的合理与否[1]。国内外在科技评估方面采用的定量评估方法很多,但就评估而言并没有通用的方法库。每种方法都有一定的使用范围、适用性和局限性。因而必须根据评估对象的实际情况和指标体系来选择相应的权重确定方法,提高评估的科学性。对于科研项目的效益评估而言,其评估指标权重的确定需要遵循一些具体要求:①权重的确定方法要体现决策机构开展评估的目的,满足科研项目决策调整的要求;②权重确定方法尽可能做到简单、实用、易于理解和操作,评估结果易被决策机构采纳接受;③权重的确定方法必须较成熟可行,适用范围有比较清晰的界定,并对局限性有较为清楚的认识[1]。
层次分析法是美国匹兹堡大学运筹学家托马斯·塞蒂(SAATY T L)于20 世纪70 年代初,提出的一种层次权重决策分析方法。它本质上是一种决策思维方式,它把复杂的决策问题分解为各个组成因素,并将这些因素按支配关系分组,形成有序的递阶层次结构,通过两两比较的方式确定层次中诸因素的相对重要性,然后综合人的判断以决定决策诸因素相对重要性总的顺序[4],计算指标权重。本文力求对科研项项目效益评估指标进行重要程度的定量分配,使得指标体系更加科学,使用层次分析法(Analytic Hierarchy Process,简称AHP)作为确定权重的手段。
AHP 能把决策过程中定性与定量因素有机地结合在一起,用一种统一的方式进行处理,既能保证模型的系统性、合理性,又能使决策管理专家充分运用其有价值的经验与判断能力。它是将决策者的思维过程实现数量化,从而解决多目标、多层次、多准则决策问题的方法[5]。AHP 体现了人们决策思维的基本特征,即分解、判断、排序、综合使用层次分析法建立数学模型可分为五步:建立递阶层次结构模型、构造两两比较判断矩阵、层次单排序、层次总排序、层次总排序一致性检验。这种方法该方法所具有系统性、灵活性、综合性、简便性和准确性的特点,使其成为非常实用的决策方法,并得到了广泛应用。只是无论是建立层次结构还是构造判断矩阵,人的主观判断、选择对结果的影响较大,存在一定的局限性[6]。
5 结语
科研项目效益评估是项目后期管理的必要过程和手段,有利于科研管理部门对项目的决策、管理、监督等工作的提升。建立一套合理、科学、实的科研项目效益评估指标体系,强化科研管理意识,制定合适的项目后期考核与监管机制,建立良好的反馈机制是适应科学管理发展的需要。本文在深入研究国内外效益评估政策措施和技术路线的基础上,提出了全面反映科研项目效益评估的若干关键通用性和指标,根据科研项目的不同类型,给出了建议选取的评估指标系列,进一步增强了科研项目效益评估指标体系的适用性。