基于结构-过程-结果理论的项目负责人科研信用评价体系研究

叶小刚

（广东省科技创新监测研究中心，广东广州 510033）

0 引言

近年来，随着社交媒体的发展，科研工作者的诚信问题已从学术界内部问题转化为社会焦点问题，引发了全社会的广泛讨论与思考。2017年4月20日，世界上最大学术出版社之一的施普林格自然出版集团发表撤稿声明，撤稿涉及来自中国的524名医生和在读医学生[1]。这一事件点爆舆论。虽然该出版社声明，并不会因此在今后的论文审查中加大对中国学者的论文审查力度，但是此次的集中撤稿事件已在国际上给中国学者带来了恶劣的影响。

为加强科技信用管理，我国政府颁布一系列文件。2018年， 中共中央办公厅、国务院办公厅印发了《关于进一步加强科研诚信建设的若干意见》，提出完善科研诚信管理工作机制和责任体系，加强科研活动全流程诚信管理，进一步推进科研诚信制度化建设，严肃查处严重违背科研诚信要求的行为。2019年，中共中央办公厅、国务院办公厅印发了《关于进一步弘扬科学家精神加强作风和学风建设的意见》，提出坚守诚信底线，严查违背科研诚信要求的行为。但是因缺乏有效的科技信用评价体系，科技信用评价工作在科技部门管理中并没有全面开展。

本文以科研活动中最重要主体之一的项目负责人为评价对象，基于国内各地的科研信用评价实践，借助结构-过程-结果（SPO）理论从科研能力、科研过程与科研结果三方面构建项目负责人信用评价指标，利用德尔菲法确立评价权重，提出AAA级、AA级、A级、B级以及C级五级标准，为科技管理部门加强科研诚信管理提供参考。

1 国内科研信用评价探索

1.1 乌鲁木齐

新疆乌鲁木齐对科技信用的建设探索可追溯到2004年。2004年，我国颁布《关于在国家科技计划管理中建立信用管理制度的决定》（国科发计字〔2004〕225 号），乌鲁木齐紧跟国家政策，于同年10月7日制定颁布了《市科技局关于推进科技信用体系建设的实施方案》，开启了地方建设科技信用的先河。2006年，乌鲁木齐科技局颁布《关于进一步推动乌鲁木齐市科技信用体系建设工作的通知》，明确将科技信用导入科技计划项目管理的各个环节，企事业单位的科技信用等级作为计划项目初审、复审、专家评估、立项管理等环节的重要条件，要求申请单位一般需要具备C级以上信用等级。2007年，乌鲁木齐对科技信用评价指标体系、评价流程和评价方法等进行了二次研究，并开发科技信用评价管理系统，形成了现有的科技信用评价模式。乌鲁木齐市科技信用评价对象主要是项目承担单位,从科技实力、信用表现、管理能力、财务能力以及关联信用等方面对项目承担单位进行信用评价。截至2016年年末，乌木鲁齐参与科技信用征信企事业单位达到1 100家，科技计划项目到期验收率从2004年的30%提升到2016年的70%，并得到科技部的高度认可，成为国内科技信用体系建设工作的标杆。

1.2 重庆

2014年，重庆颁布《重庆市科学技术委员会科技计划信用管理办法（试行）》。2015年1月1日，重庆正式启动科技信用管理机制，启用科技信用管理系统。重庆市科技信用建设主要有以下特点：一是评价对象全面，评价标准清晰。重庆市科技信用评价对象涵盖了科技活动中所有相关人员，包括项目专业管理机构、项目承担单位、项目负责人、评估评审专家四大主体，对于每一主体，都从道德规范与行为规范两方面提出了科技信用评价指标体系，并明确了行为等级与扣分制。二是实行周期管理，动态调整信用记录。重庆市科技信用管理实行记分制。科技计划信用记分初始分值为10分，当相关责任主体在道德规范和行为规范上出现科研不端和失信行为时，根据科技计划信用记录扣减相应分值。其中，相关责任主体为项目承担单位、评审评估机构或专家的，评分周期为3年；相关责任主体为项目负责人的，评分周期为5年。三是划分四级信用等级，结果应用广泛。重庆市科技信用记分的默认分值为10分，根据相关对象的失信行为，扣以1分至10分不等的分值。对于信用等级为“良好”的，在市级科技计划项目立项支持、评审评估委托、高新技术企业认定、科技奖励评定以及组织推荐国家科技计划项目等方面，在同等条件下予以优先考虑；对信用等级为“严重失信”且信用分值为0分的，将其列入“黑名单”，取消其在市级科技计划项目立项支持、评审评估委托、高新技术企业认定、科技奖励评定以及组织推荐国家科技计划项目等方面的资格。

1.3 广东

广东对科技信用的建设探索较早。2006年，为加强对专家库的管理，清理不遵守评审规则的专家，广东省科技厅引入了“黑名单”。在科技咨询过程中，对于发生严重不良行为的专家，将其列入“黑名单”，间断性或永久性禁止其参与有关的科技咨询活动。2014年，广东省科技厅颁布《广东省科学技术厅关于省科技计划信用的管理办法（试行）》，明确了省科技计划信用管理对象包括省科技计划项目承担单位、项目负责人、评估评审专家以及项目专业管理机构等，科技信用信息包括良好信用记录和不良信用记录，对于不同等级科技信用评价结果的运用，管理办法给出了明确的规定，为广东省科技信用评价实践奠定政策基础。2017年广东出台《广东省科学技术厅关于省级科技计划(专项、基金等)严重失信行为记录与惩戒暂行规定》，对存在严重失信行为的项目负责人、承担单位及专业机构等提出处理措施及意见。在政策指导下，广东省大力推动科研诚信平台建设，并于2018年4月启用，截至2020年4月24日，平台累计记录173位项目负责人、117家承担单位不良信用。

2 项目负责人科研信用评价指标体系构建

2.1 维度来源

SPO理论是Donabedian提出的分析护养院服务质量的经典理论模型[2-3]。其中，结构（structure）描述了提供照料的原始特征，包括服务时使用的硬件设施、人力资源以及配备资金等；过程（process）描述照料者为被照料对象所做的事，包括精神和身体上的各种照料、关心活动等；结果（outcome）描述了被照料者最后希望或者不希望达到的状态，如被照料者健康状态改善、情绪变好等[4]。SPO理论认为，良好的结构会促进良好的过程，良好的过程会促进良好的结果。因结构简单、适用性强、便于操作等诸多特点，SPO理论模型在服务质量领域获得了广泛的应用[5-7]。

本文借鉴SPO理论，从结构、过程以及结果三方面构造科技信用的3个维度。科技信用是科研人员及相关机构从事科技活动时的有关能力和表现[8]，因此，科技信用衡量的核心概念应该是科研能力与表现：结构维度衡量的是科技相关主体固有的科研能力；过程描述的是科技工作者在科技活动中履行约定义务、遵守正式承诺、遵守科技界公认的行为准则的表现，重点关注的是不良表现；结果维度衡量的是科技相关主体在科技活动中取得的表现，重点关注的是突出表现和不良表现。

2.2 指标构建

2.2.1 结构

结构主要衡量项目负责人的科研能力。白景永[9]在研究高校老师科研能力评价体系时，将高校老师的写作能力、综合分析能力、信息采集能力、计算机应用能力以及科研成果作为评价维度。谭雷等[10]在研究高校人才科研能力评价时提出，人事信息、科研写作能力、项目开发能力、学术组织参与度以及学术活动参与度五大指标基本囊括了科研能力的全部指标。吴小妹等[11]通过专家访谈与问卷调查的方法，将科研能力评价指标体系分为能力表现、能力层次以及能力资源3个角度，其中，能力表现分为发表论文、发表专著、获取专利、获得奖项、研究报告以及项目资助6项。

综合以上研究，本文将从写作能力、项目开发能力以及学术影响能力等方面来衡量研究人员的科研能力。具体而言，写作能力分为项目负责人论文发表情况以及著作出版情况；项目开发能力可以分为项目负责人主持或者参与的各类课题情况；学术影响能力分为研究成果获各级奖项以及学术兼职情况。

2.2.2 过程与结果

目前科技信用的研究和实践都尚处探索阶段，但是中央政府和各省份已经出台有关意见，为科技信用评价的研究和探索奠定了政策方向。2016年《国家科技计划（专项、基金等）严重失信行为记录暂行规定》印发，对国家科技计划申报、立项、实施、管理、验收和咨询评审评估等全过程的严重失信行为进行了规定，并提出了处理措施，根据这一文件并结合各省份相关实践，本文提出项目负责人信用评价指标（见表1）。

表1 科技项目负责人信用评价指标体系

3 权重与评价标准构建

3.1 权重确立方法

德尔菲法又名专家意见法，于20世纪40年代由兰德公司开发，是专家调查法的重要形式。该方法依据系统的程序，采用匿名发表意见的方式，即专家之间不得互相讨论、不发生横向联系，只能与调查人员发生关系，通过多轮次调查专家对问卷所提问题的看法，经过反复征询、归纳、修改，最后汇总成专家基本一致的看法，作为预测的结果[12]。德尔菲法的特点是匿名性、反馈性和统计性。

德尔菲法与其他评价方法相比，得到的结果更加可靠、科学、统一。首先，该方法充分利用了各专家的资源、经验、学识，得到的结果更可靠；其次，该方法使用匿名的方式防止了专家的从众思想，能够得到专家独立的判研，使得结果更加科学；该方法最后在几轮的收集反馈中专家意见逐渐趋于一致，避免了争执而久久没有结果的情况，结果趋于统一。

3.2 确立权重

3.2.1 基本原理

考虑到直接用算术平均值计算各项指标权重会忽略了不同专家的权威程度，因此，在计算科技信用指标权重时，应考虑专家的权威程度。具体而言，权威程度越高的专家，对科技信用指标的判断应该更可靠；另一方面，受德尔菲法问卷本身结构影响，专家在考虑该项指标的重要程度时，仅从指标本身是否重要进行考虑，而缺少从所在维度以及整个指标体系来考虑该项指标应该处于什么样的地位。因此，本研究引入所在维度权重以及满分率计算具体评价指标权重的方法。

3.2.2 模型构建

3.2.3 计算结果

根据公式（4）计算得到表2。为了更直观分辨每个指标的相对大小，以每组指标的最大值为对照，计算出每个指标的相对大小。

表2 科技信用评价指标绝对权重与相对权重

3.3 评价标准确立

3.3.1 评价等级及内涵

根据《广东省科学技术厅关于省科技计划信用的管理办法（试行）》以及重庆、新疆等地区的实践，本文将科技信用评分及等级划分为以下五类：

（1）AAA级：90分及以上，信用优秀，无任何不良科技信用记录，科研能力、机构管理能力突出；

（2）AA级：80至90分，信用良好，无任何不良科技信用记录，科研能力较好、机构组织能力良好；

（3）A级：70至80分，信用一般，无严重不良科技信用记录；

（4）B级：60至70分，信用较差，存在较严重的不良科技信用记录；

（5）C级：60分以下，严重失信，存在非常严重的失信行为。

考虑到与既有政策的承接性以及政策实施的可行性，本研究设定科技信用评价初始默认等级为A级80分，科研能力指标主要作为正向指标，科研过程与科研结果主要作为负面指标，科技主管部门根据各类信用主体遵守信用情况以及能力状况，动态调整信用。

3.3.2 指标得分标准

根据表3，以20分为每一指标的最高得分，计算各指标的相对得分。为了方便指标的实际应用，本文对指标分数进行了取整处理。

表3 科技项目负责人科技信用评价指标得分标准

4 结语

项目负责人科研信用建设是营造良好学术环境的重要一环。本文基于新疆、重庆以及广东等地区科技信用管理的实践，构建了科技项目负责人科研信用评价指标体系，为科技管理部门科研诚信体系建设提供参考。但是指标体系建设只是科研诚信建设的基础，各级科技管理部门应进一步完善相关配套政策，对不同信用进行分级管理，加强结果应用，逐步将科技信用评价结果应用到相关科技业务中；同时，加强科技信用信息互通互享，建立联合惩戒机制，共同打击失信行为。