APP下载

我国医院科研绩效评估研究现状及思考

2022-10-25

卫生软科学 2022年9期
关键词:科研人员绩效评价评估

吴 涛

(首都医科大学附属北京安贞医院,北京 100029)

科研活动的绩效评估是通过一定的方法对科研人员、组织、项目等科研绩效目标的完成情况进行评价。科研绩效评估的结果对于发挥科技激励促进创新作用,引领科研工作更加科学高效的管理,推动各学科创新发展具有非常重要的作用。科研绩效评估在上世纪90年代引入我国,学者通过定性和定量的评价方法,从科研人员、科研机构和科研项目的角度探索科学的评价指标和体系。但对于集医疗、科研、教学等综合职能的医院而言,基于科研人员的多职责性以及临床科研的复杂性等因素,科研绩效评价体系的研究相对较少,研究的视野较窄。本文以我国医院开展的科研绩效评估工作为研究问题,从情报学、经济学和管理学的角度归纳科研绩效评价指标的使用情况,分析医院科研绩效评价指标选取存在的问题并提出对策,旨在为今后我国医院开展科研绩效评估体系指标的研究提供参考。

1 科研绩效评估的概述

1.1 科研绩效评估及其作用

绩效评价(Performance Appraisal,PA)又称为绩效考核,是基于绩效目标的评价周期和评价方法,通过一定的评价方法对组织、部门和个人的绩效目标完成情况进行评价的过程。科研绩效评价是基于传统绩效评价发展起来的,用于评价科研组织、部门、项目和科研人员的科研活动绩效。

科研绩效评价对于组织机构的科研工作发展至关重要。首先,科研绩效评价是科研管理的重要依据,科学合理的科研绩效评价能够为科研管理部门优化科技资源配置、调整研究机构和学科布局提供有效的管理手段。其次,科研绩效评价是推动学科发展的重要驱动力,准确评价科研成果的社会、经济、文化等方面的价值对于发现学科领域的新问题、新方法,继而引领学科向前发展。最后,科研绩效评价是人才激励的重要基础,有效运用评价结果能够激发科研团队和科研人员的创新能力和工作热情。

1.2 医院科研绩效评估的特点

在科技创新引领社会发展进步的国家战略规划下,我国科研工作的不断深入,科研工作已不仅仅是高校、科研院所的重点工作,其在医院、企业等组织机构的日常活动中也占据着重要的位置。基于科研绩效评价的学科差异性、科研产出的滞后性、科研活动的不确定性和外部效益性等特征,科研绩效评价具有一定的难度。尤其是根据科研活动在不同组织机构的职能定位不同,不同类型的组织机构的科研活动的绩效评估亦有不同特点。

临床、科研、教学和社会服务是综合医院的重要职能,其中科研能力是衡量医院和科研人员水平和发展潜力的重要指标。与一般性的科研工作相比,医院科研具有很强的不确定性、风险性和未知性,因此其科研绩效管理一直是绩效管理中的难点,主要体现在2个方面。一是医务人员的职责是多维度的,由于其首要职责是提供临床诊疗服务,故科研工作必须围绕医疗相关活动所开展,因而医院的科研绩效评估不能简单的等同于专职科研机构的绩效评估。二是医学是一类复杂、高精度、高难度的学科,医学科研是以基于临床数据和其他基础研究数据为基础的,科研活动既要关注科研结果的准确性、对临床实践的指导性,又要关注科研过程和科研态度对于科研发展创新的推动。因此科研人员绩效考核应结合科研工作自身特点,选择的考核标准和方法应能反映出科研人员的基本工作情况和所做出的业绩。

2 科研绩效评估体系指标探索的研究情况

2.1 我国科研绩效评估的历史及方法

我国的科研绩效评估工作起步于20世纪90年代。早期对于科研绩效的评价以定性评价为主,主要通过专家评定的方法对科研人员的绩效进行评估。之后,我国的科研绩效评估方法逐渐进入定量评价的探索阶段。最早开展科研绩效评价的定量研究可追溯至1986年,学者徐荣成在海军医学研究所开展的科研绩效评估。其将科研绩效分解为科研能力、科研工作数量和科研工作质量3个维度共10个指标,并赋以不同权重,对研究所近5年的整体科研绩效进行评估,开启了我国科研绩效评估体系的探索。随着研究不断深入,研究人员基于情报学(如引文分析)、经济学(如投入-产出模型)、管理学(如标杆管理)等开展科研绩效评估的研究。

2.2 不同研究角度的评价指标选取及评价

2.2.1 基于情报学“文献计量”的评价指标探索

引文分析法是一种定量的研究方法,利用各种数学、统计学以及逻辑方法中的方法,对科学期刊、论文、著者等分析对象之间的各种关联和关系进行分析研究,以揭示其数量特征和对象间内在的规律的一种文献计量分析方法。其理论假设是:文献的引用者使用过该文献,而且这种引用行为表现出被引用文献的价值和影响力。通过引文分析,可以了解科学发展变化和前沿领域,评价学科领域并了解其发展现状并预测发展趋势,因此,引文分析在近些年来越来越多的应用于个人、机构的科研成果和水平的评价。

文献发表数量和质量是最直观的科研绩效评价指标。基于引文分析,学者利用论文发表数量、总被引频次、篇均被引频次等指标对科研水平的量和质进行评价。然而这些“传统”且单一的指标评价科研绩效不可避免存在一些缺陷。例如,论文数量指标不能评价论文发表的价值和影响力,总被引频次的评价会受到少数重要的合作论文的夸大,篇均被引频次的数据基数难以获得等。因此,学者针对以上传统指标的不足探索各类综合指标,旨在通过对简单且有代表性的科研产出进行转换,评价科研能力和绩效。

2005年,美国学者乔治·赫希以量化科研人员的研究成果为目标,提出H指数,并将其定义为:当一个科学家发表的Np篇论文中,有h篇论文每一篇至少被引用了h次,其余的每篇(Np-h)论文的被引次数都≤h,此h值就是该科学家的H指数。H指数的意义体现在两方面,一是评价对象论文发表质量高,二是高质量的论文数量也多。这弥补传统文献计量学指标只能体现数量或只能体现质量的缺憾,因而广泛被应用于个人和科研机构的绩效评价中。例如,孟笑梅等基于中国医院知识仓库(CHKD)期刊全文数据库,利用H指数对河北省24家医院的科研绩效进行评价,通过比较十二五期间各机构的H指数评价其科研水平,并了解科研机构间的水平差异。

但H指数评价科研人员绩效亦存在局限,一方面H指数较适合于评价长期从事科研工作的科研人员业绩,另一方面它不太适合评价部分论文数量很少但被引次数却很高的科学家。因此,很多学者基于H指数的理论基础,探索出包括W指数、Z指数等评价指标。W指数是由我国学者吴强提出的,它继承H指数的简便性、易计算性和可理解性,且相对于H指数而言更加突出论文质量的影响。Z指数是在H指数的基础上,纳入引文分布因素,将体现数量因素的被引频次、体现质量因素的篇均被引频次以及反映被引用集中程度的指标有机地融合在一个指数中,是能够同时反应数量-质量-效率的效能型评价指数。学者花芳基于学科基准化的科研绩效定量评价方法,对发文量、被引频次、被引率3个绝对指标进行归一化处理,消除规模效应以及学科引用差异的影响,探索学科产出指数、学科影响指数以及学科被引指数3个绩效指标。

指标的不断修正和改良为探索出更加科学、具有更高可比性的绩效评价手段提供了方向,但以上指标研究大多处于理论水平,并且应用定位于学科和个人科研影响力评价,极少应用于医院科研绩效评价。

2.2.2 基于经济学“投入-产出分析”的评价指标探索

由于“绩效”一词是最早隶属经济学的范畴,因而很多学者从经济学角度分析科研绩效的评价方法。投入产出分析的研究对象是经济系统中各个部分之间的相互依存的关系,是一种研究经济系统中各个部分之间表现为投入与产出关系的经济数量方法。基于投入-产出分析方法研究科研绩效的假设包括:第一,科研的投入和产出可以被量化;第二,个人、部门、组织科研的投入-产出比即可作为其绩效的体现;第三,通过比较不同个人、部门、组织的科研的投入-产出,可以评价其科研绩效水平。因此,科研的投入与产出的界定是影响此类评价是否科学准确的核心因素。

基于传统的投入-产出分析方法,许多学者结合医院科研工作的特点,利用同行评议法法等探索不同的投入、产出指标组合,并通过层次分析法、Delphi法等进行赋权探索科研绩效评价指标体系。张明等学者基于投入-产出模型,选取科研人员总数、职称和学历3项人力指标作为投入,将科研成果和论文2项作为产出指标进行分析。郭嫱等学者以科研经费、研究人员、课题、学术交流和学科实验室建设作为投入指标,以论文、著作、成果获奖、技术推广、人才建设和新技术作为产出指标,利用Delphi法建立指标体系,并对其信度和效度进行评价,建立医院科研绩效评价指标体系。魏巍等学者在考虑投入指标(科研经费、设施和人员)和产出指标(论文、著作、专利、成果鉴定、成果获奖和技术推广)的基础上,纳入科研管理和活动指标(管理平台、课题立项、学科及实验室建设和人才培养),从3个维度探索医院科研绩效评价指标体系。

随着研究的深入,学者发现科研绩效的投入和产出并非线性,同时科研产出因其相对滞后性并不能直接与投入进行对应分析。因此,学者开始利用一种能够分析多投入、多产出的分析方法即数据包络分析(Data Envelopment Analysis,DEA)对医院科研绩效进行研究。DEA是一种利用数学、运筹学、经济学和管理科学的相关理论和方法,使用数学规划模型,通过测算出投入产出效率,对具有多个输入和多个输出的相对有效性进行分析和评价。吴涛等以科研经费和科研人员作为投入指标,以科技论文、专利和科研成果奖励作为产出指标,通过传统BC2-DEA分析模型,根据医院科研规划定位对不同类别科室的科研绩效进行比较。李媛等以投入经费和人员作为投入指标,以论文、授权专利和国际交流作为产出指标,通过VRS模型对省级医院重点实验室的年度科研绩效进行评价。除此之外,有学者通过比较年度的投入和产出数据,利用Malmquist指数对不同医院科研绩效发展趋势进行评价并提出科研资源配置优化建议。

综上可以看出,对于科研投入和产出的界定存在比较统一的认知,即从人、财、物的角度定义投入指标,从科研论文、成果、科技奖项等方面定义产出指标。但也应该看到,科研的投入和产出不是绝对化的,有时存在比较模糊的界限。例如,科研经费在传统意义上属于科研的投入指标,但科研经费的获批本身就是科研能力的体现,所以亦可以看作是科研成果的一部分,进而导致投入-产出比率计算的失真。

2.2.3 基于管理学“平衡计分卡”等的评价指标探索

绩效评估是绩效管理的一部分,绩效管理源于企业管理,因此,很多学者从管理学的角度出发,引入平衡计分卡、胜任力模型、关键绩效指标(KPI)等方法和工具对科研指标体系进行研究。

平衡计分卡是由哈佛商学院的Robert S Kaplan教授和David P Norton教授共同开发提出,它打破了传统的单一使用财务指标衡量过去的业绩的方法,在财务指标的基础上加入了客户指标、内部流程指标和员工的学习与成长指标作为未来驱动因素,形成了4个维度的综合考核模式。张文念亦基于平衡计分卡原理,通过标杆管理的方法确定医院科研发展的战略并制定绩效目标,从财务、客户、内部流程和学习成长4个维度出发选取指标制定医院科室的绩效评估体系。财务维度包括年度纵向科研经费收入、经费使用率、经费使用的合理性、预算编制的合理性、预算执行的针对性。客户维度指标包括科研项目与临床问题契合度、科研成果转化数、新立项目数、临床病人知情同意率。内部流程维度包括职能构成比例、PI例会召开频率、科室间合作项目数、科研平台仪器设备使用率、任务计划执完成率。学习与成长维度包括专职科研人员数、引进人才数、硕博导人数、海外进修培训人次、国际合作科研项目数。从指标的选择可以看出,基于平衡计分卡的科研绩效指标评价体系属于一种内部评价,是以围绕科研战略与目标为基础,从科研管理角度出发的评价。

胜任力是人力资源管理领域的重要概念,它是指在某一工作卓越成就者与一般人也区分开来的特征,包括知识、技能、自我形象、社会动机、思维模式等方面。干文韬基于胜任力模型,选择个人素质、科研项目和经费、科研成果和学术影响力4个维度的指标建立评价体系对医院卫生技术人员的科研绩效评价体系进行探索。

关键绩效指标(Key Performance Index,KPI)是一种目标式量化管理的重要工具,它是将组织战略目标分解为可操作的工作目标,是绩效管理的基础。房佳蓉等基于KPI的概念,聚焦于高质量的科研产出指标,探索将评价重点从研究成果数量转向研究质量,选取科研项目立项、科研项目经费和学术论文3个KPI对医院科研绩效进行评价。

此外,一些学者发现医院科研绩效的评价需要根据评价对象在学科发展、科研成果的差异性进行分层分析,进而探索分层式的科研绩效评价体系。李丹等学者利用分层分析法,从研究层级和产出层级出发,分别探索以基础指标(课题、经费、成果、论文、专利)和扩展指标(科技人才和学术活动)为主要维度的科研绩效评价体系,对于精细化科研绩效管理提供一定的借鉴依据。王忠等学者以创新质量和贡献为导向,以人力、物力和财力作为共同投入指标,分别探索基础研究和应用基础研究类、技术与产品研发类及应用示范类科研项目的产出指标,从宏观(社会效益)-微观(科研效益)视角设计科研项目绩效评价体系的概念模型。

3 讨论

3.1 医院科研绩效评价指标选择存在的问题

通过对已有研究的分析不难发现,研究者对于组织和部门科研绩效研究的内容逐步全面化,在很大程度上优化了科研绩效管理工作,但仍然存在一些问题。第一,科研绩效评价指标与组织的科研发展战略和目标制定存在脱节。从绩效评价的定义理解不难发现,其针对的是科研目标完成情况的评价,因此推进医院科研绩效管理工具需要与医院大政方针相结合,根据不同时期不同医院的科研目标来制定相应的科研绩效评级内容。在已有的大部分研究中,学者基于内部评价的角度所做出的科研绩效评价很少将医院的战略和目标融入评价中,这与医院战略和目标难以进行准确描述、量化密切相关。这直接导致了在开展绩效评价的过程中,只注重评价如科研成果、经费获批等工作结果指标,而忽略如人才培养、制度建设等工作过程和工作态度的评价。

评价内容的系统性和科学性不够。原则上,与医院科研工作相关的绩效内容都应被纳入评价工作,这样才能保证科研绩效评价的完整性。而在已有的研究中,研究者选定的评价指标均以客观且易获取的指标来进行评价,对于指标的目标值设置都处于比较模糊的程度。在已有的研究中,基于不同的评价范围,研究者会选择相应的绩效指标,但这极有可能会遗漏部分较为重要的科研绩效内容,发生各种绩效指标权重系数设置不科学的问题。同时,为了实践操作的便利性,那些便于量化的科研工作内容往往很容易被纳入绩效评价指标体系中,而部分难以科学量化的内容则很难列入指标体系。

3.2 科学有效的科研绩效评估体系指标选择建议

医院科研绩效研究不仅需要确保绩效考核内容的完整性和指标设置及权重系数的科学化,也要精准解剖医院科研绩效管理创新指标,帮助医院结合自身特点进行针对性的应用或规避,确保科研绩效管理的客观公正性。因此,科研绩效评估指标体系的探索应从绩效评价目标、评价对象和评价内容等方面进行考量。

3.2.1 应明确科研绩效评价目标

明确评价目标是很多科研绩效研究人员所忽略的问题,因此很多学者在未明确为什么进行科研绩效评价的问题之前,即选取一些“常用”的指标对科研绩效进行评价,这类评价往往是不全面审视会得到错误的结论。明确科研绩效评价目标是绩效评价的第一个环节,对于评价的选取具有极大的影响。例如,将评价目标确定为评价医院学科发展状况,那么可以选择成果为导向的评价方式,选取计量学的指标进行评价。又如,将评价目标定义为激励科研人员,那么可以选择以投入-产出为导向的评价方式,选取经济学分析模型进行评价。再如,将评价目标确定为促进医院科研管理,那么可以选择平衡计分卡工具、关键绩效指标等方法选择科研绩效的评价指标。因此,应根据医院科研绩效评价的目标进行具体分析。

3.2.2 定位科研绩效评价对象

医院科研绩效评价的对象包括人员、科室、学科、项目以及医院整体。不同的评价对象应选取不同的指标。例如,在评价人员科研绩效时,可能重点在于评价科研人员的成果产出的量与质,可选择一些相应的计量学指标;但在评价科室、团队、医院的科研绩效时,还应将科研的投入(如人、财、物的投入)、管理(如制度建设、人才培养)等方面纳入考虑,还要融入创新发展发面的动态指标。此外,还应注意的是应将评价对象与评价目标统筹进行考虑。

3.2.3 平衡各类评价内容的关系

第一,应平衡评价的量和质的关系。坚持以质量为导向的原则,在保证质量的基础上才考虑数量,应当明确学术科研的最大价值是质的深入,而不是量的产出。因此,在科研指标体系的建设中,可以尝试参考纳入文献计量学的综合性指标。第二,应平衡指标全面性与可行性的关系。全面的评价是准确评价的基础,但有时因为评价指标的获取困难,以及指标之间的兼容性问题,指标的选取不能面面俱到。因此,应该对具有代表性、更加综合性的指标进行考量。第三,平衡结果类指标与过程性指标的关系。科研成果的产出是科研活动的重要体现,但科研过程的规范、高效也是科研活动的重要组成部分。因此,在注重论文、专利、著作等有形科研成果的基础上,加强对科研项目执行过程中产生的无形成果的关注,尤其是项目执行过程中改进的科研活动的方法以及手段和条件,如科研制度设计、人才培养等指标的选择。

猜你喜欢

科研人员绩效评价评估
科技部等五部门联合发文开展减轻青年科研人员负担专项行动
科研人员破译黑猪肉特征风味物质
治疗艾滋病,中国科研人员有了新发现
广东公安科研人员风采
基于BSC的KPI绩效评价体系探析
非营利组织绩效评价体系的构建
评估依据
气象部门财政支出绩效评价初探
立法后评估:且行且尽善
最终评估