科技报告质量管理评价体系研究

陈 洁

（陕西省科学技术情报研究院，陕西西安 710054）

0 引言

目前，国家科技报告服务系统已向社会公众公开共享各类科技报告12 万余份[1]，已有28 个省（自治区、直辖市）建立了科技报告制度，22个省（自治区、直辖市）建成了科技报告共享服务系统并正式运行，实现了与国家科技报告服务系统的统一认证。在推进科技报告制度建设的过程中，如何有效地确保科技报告的质量，需要建立一套切实可行的科技报告质量评价的方法与规范。

有关科技报告质量的研究主要有以下3 个方面：一是通过研究美国科技报告质量法规制度建设，分析我国科技报告资源建设中存在的主要质量问题，提出对策建议，如宋立荣等的研究[2-3]；二是对国家科技报告质量评价指标体系的相关研究，如裴雷等[4]、任惠超等[5]和朱丽波等[6]提出的有关科技报告质量评价指标体系的设计、结构和评价方法；三是地方科技报告质量控制与评价研究，如乔振等[7]对山东省科技报告质量控制与评价工作中的做法进行了梳理。从目前已有研究来看，大多数文献主要集中在宏观及理论方面开展，较少涉及地方科技报告工作实践中如何开展质量评价的细化研究。本研究拟对科技报告工作质量管理评价体系进行探讨，并以陕西科技报告质量管理的评价为例，进行研究验证。

1 评价的理论基础

美国著名质量管理专家菲根堡姆于1961年提出了“全面质量管理（TQM）”的概念，即在全面社会的推动下，企业中所有部门、所有组织、所有人员都以产品质量为核心，把专业技术、管理技术、数理统计技术结合在一起，建立一套科学严密高效的质量保证体系，控制产品质量形成过程中影响质量的因素，以优质的工作、最经济的办法提供满足用户需要的产品的全部活动[8]。“三全”管理是全面质量管理的主要内容。“三全”分别指：（1）内容与方法的全面性。不但着眼产品实体质量，还要注重形成产品的工作质量和服务质量。（2）全过程管理。戴明等认为，任何产品质量的萌生、形成、发展至实现都表现为一个完整过程，又称“质量环”，只有将产品质量形成的全过程、各个环节及相关因素均有效地控制起来，才能有效地形成一个综合的质量保障体系。（3）全员参与。全面质量管理强调所有人都参与质量管理活动，对产品质量各负其责。由此可见，全面质量管理具有全局性、系统性、预防性。

本研究从全面质量管理的“三全”管理角度出发，建立指标体系对报告内容及格式进行全面评价，并对科技报告产出的全过程和涉及的全要素进行质量管理。科技报告产出过程包括审核前、审核中和共享后，如图1所示。审核前：开展有针对性的宣传培训，提高科技报告撰写意识，组建专业化的人员队伍。审核中：制定科技报告撰写模板，开发格式化软件系统，及时沟通审改意见，按照已发布的4 个国家标准及地方撰写规范要求实现标准化作业。共享后：开展科技报告质量评价，进行科技报告共享反馈，完善质量控制流程，制定奖励激励机制。

图1 科技报告产出全过程质量管理

对科技报告产出过程中的全要素进行质量管理。包括报告作者、项目承担单位、科技报告管理机构、同行专家、科研人员及社会公众，如图2所示。对每个要素设置清晰合理的质量管理规则，如报告作者严格按照科技报告标准规范，按时保质完成科技报告，并对内容和数据的真实性负责；承担单位对本单位提交的科技报告的格式和内容进行审核，并及时向科技报告管理机构呈交；科技报告管理机构对所有呈交的科技报告进行格式审核，并开展科技报告的具体管理工作；同行专家对科技报告的技术内容进行审核并作出评价；科研人员及社会公众对公开共享的科技报告进行监督评价。

2 质量评价的目的、原则与流程

对科技报告进行质量评价的目的：一是将科技报告质量的评价结果作为项目结题验收的评价标准之一，促进科技计划项目的精细化管理；二是对科技报告进行质量评价，有针对性地制定相关完善措施，提高后续科技报告的呈交质量；三是通过科技报告质量评价，提高科技报告的撰写意识，深化科研诚信管理。

裴雷等[4]提出了科技报告质量评价指标体系的设计原则，包括：最低质量标准与自由裁量原则，一致性原则，成本效益原则，多元评价原则，评价激励原则。本研究认为，科技报告质量评价还应遵循可操作性原则和动态性原则。指标体系的设置应具有操作性，某些指标过于宏观或模糊不清，在具体使用中无法进行有效评价，降低了评价的准确性。指标的动态性体现在不同计划项目、不同评价阶段、不同评价主体，应设置有相应不同的动态调整指标。

开展科技报告质量评价工作主要包括以下5个流程（图3）：（1）制定实施计划。根据科技报告的特点和要求，通过调查研究，制定实施计划。（2）建立质量评价体系。根据质量评价的目的和原则，建立质量评价指标体系，包括技术内容和文本格式两方面的质量评价，对报告进行标准化管理与控制。（3）开展过程试点。选择部分计划类别的项目作为试点，开展预评价，并对预评价结果进行分析。（4）修正指标体系。根据预评价结果，对指标体系进行修正和完善，形成最终的质量评价指标体系。（5）全面推广运行。对各类计划呈交的科技报告开展质量评价工作，评价等级分为优秀、良好、合格和不合格4 个类别，合格及以上等级的报告直接审核通过，不合格的报告退回重新修改。

3 指标体系

图2 科技报告产出全要素质量管理

图3 科技报告质量评价工作流程

科技报告是技术报告，主要体现项目的技术完成过程。对科技报告质量的评价应包括技术内容和文本格式两方面的评价，这两方面也是相辅相成、不可分割的整体。如果一份科技报告在格式上不符合要求，比如按照结题验收报告的形式撰写的，那么其内容必然是侧重项目管理过程的介绍，缺少详细技术细节的描述，不符合科技报告的要求。从指标体系的构建来看，由于各类计划项目的研究性质、资助强度不同，因此很难用篇幅的长短进行统一的衡量。在选取评价指标时，要从全局把握指标的合理性和可用性，选择共性的通用的评价指标对科技报告质量给出有效评价。在国内外相关研究成果的基础上，根据科技报告的特点及要求，结合科技报告撰写、呈交、审核、共享等过程，采用专家访谈、问卷调研等方法，最终确立了科技报告质量评价的指标体系，包括一级指标2 项，二级指标10 项，如图4所示，具体指标说明见表1和表2。

图4 科技报告质量评价体系

4 权重系数

技术专家对报告技术内容给出评价，权重为70%。通过专家咨询法，技术难度、技术复杂性、技术创新性、方法合理性、效益可行性5 个方面的二级指标，除效益可行性的权重为10%外，其他4 项指标权重均为15%（表1）。

科技报告管理机构对报告格式给出评价，权重为30%。通过专家咨询法，在二级指标中，除正文格式的规范性权重为10%外，其他4 项指标权重均为5%（表2）。

5 案例分析

依据文本格式评价的5 个二级指标，对陕西省2017年度提交的1267 份科技报告的文本格式进行了评价。从评价结果来看，报告质量参差不齐，其中质量较好的有768 份，高校的报告质量普遍比较高，这和高校承担国家和地方各类科技计划项目比较多、对科技报告的格式规范比较熟悉有关，而企业对科技报告的认识较模糊，将科技报告与项目可行性研究、项目汇报、项目结题报告等混淆，在正文格式及正文文本的规范性方面较差，返工率较高。

表1 科技报告技术内容评价指标

表2 科技报告文本格式评价指标

6 几点建议

6.1 把控质量评价的全流程、全要素

从科技报告工作全流程控制科技报告产出质量，包括签订合同、报告撰写、报告呈交、报告审改、报告共享等阶段。要控制及提高科技报告的质量，就要从每一阶段的流程和细节着手，把控好各个阶段的质量要素。在签订项目任务书时，明确科技报告的呈交要求；在科技报告撰写阶段，制定适合本省科技计划项目特点的科技报告撰写规范及模板，进一步细化及明确科技报告的撰写要求，为科研人员撰写合格的科技报告提供参考，尽量减少科研人员的重复劳动；在科技报告呈交及审核阶段，严格按照科技报告标准规范要求，对于不符合规范的科技报告，要写明意见，退回修改；在科技报告共享后，通过同行科研人员的监督评价进一步强化对科技报告质量的评价管理。

从科技报告工作全要素控制科技报告产出质量，包括项目负责人、项目单位、科技报告管理机构、技术评审专家、科技行政机构等。针对科技报告完成过程中的不同角色主体开展有针对性的培训，对项目负责人开展科技报告撰写培训、科技报告呈交系统使用培训；对单位管理员和主管机构进行报告审核培训及系统使用培训，对于需要审核的内容进行说明；科技报告管理机构对科技报告改写及审核人员进行培训，组建专业化的人员队伍，统一标准，确保质量。

6.2 建立健全各项管理机制

将科技报告质量评价结果纳入科技计划项目管理过程，建立健全科技报告质量评价关联机制、科技报告评价反馈机制、科技报告奖励激励机制等。

（1）科技报告质量评价的关联机制。将科技报告质量评价结果与科技计划项目管理过程相结合[9]，探索科技报告质量评价与科技计划项目管理的动态关联机制，将科技报告质量评价与项目结题验收、科研信用体系、专家评审等进行关联，实现科研活动全方位的管理和控制，提高项目申报、项目评审等科研活动效率。一要将科技报告质量评价作为科研项目结题验收的重要考核指标之一，对于科技报告不合格的项目不能通过验收，并将科技报告质量评价结果作为再次申请科技计划项目的考核指标之一。对于科技报告质量评价较高的项目承担者再次申请项目时可优先支持。二要将科技报告质量评价结果纳入项目承担者、项目承担单位的信用评价体系。将科技报告质量评价结果作为信用评价体系的重要考核指标之一，对于科技报告质量评价不合格的项目在信用评价中直接扣减项目承担者、项目承担单位相关分值，而对于科技报告质量评价较高的项目则给予加分。

（2）形成科技报告的评价反馈机制。对科技报告质量进行评价是为了不断提高科技报告的撰写质量，推动科技报告资源的共享使用。开展科技报告质量评价的同时，形成科技报告质量评价的反馈机制。通过对科技报告撰写中出现的问题进行总结归纳，开展评价反馈，将科技报告内容及格式两方面的最终评价结果反馈给报告作者，形成“撰写—呈交—审核—反馈”到下一个“撰写—呈交—审核—反馈”的闭环，对于出现较多的共性问题开展有针对性的培训，不断提高科技报告的呈交质量。科技报告公开共享后，还可通过社会公众及同行专业技术人员对科技报告质量进行监督评价并反馈。科技报告共享服务系统可作为专业技术人员互相交流学习的平台，在提高科技报告撰写质量的同时，也提升了科技信息资源的使用效率。

（3）建立科技报告奖励激励机制。科技报告作为科技计划项目完成过程中的一项重要成果产出，其内容详尽专深，具有极大的参考价值。目前，专利、科研论文等项目产出成果都有明确的认定及奖励机制，而科技报告作为一项新生事物，仅作为项目结题前强制呈交的一项成果，还没有被纳入科研评价体系，没有明确的激励机制，所以广大科研人员更多地把撰写科技报告作为一项工作任务完成，没有充分调动起科研人员撰写科技报告的热情和积极性，科技报告的学术价值因此而无法得到充分体现和发挥。因此，应尽快建立科技报告工作的激励机制，在科研人员报奖、评定职称、申报项目等科研活动中将科技报告作为一项考核指标，促进科技报告质量的不断提升、科技报告资源的有序积累及使用，提高研究起点，避免重复研究。

6.3 探索多层次、多角度的质量评价方法

探索构建多层次、多角度的科技报告质量评价方法，不断提升质量评价效果。进一步细化科技报告的评价指标，并调整各指标权重，确保评价结果的准确性和合理性。如成果转化及应用类项目应偏重示范、推广、应用的考核评价。软科学研究类项目偏重于相关研究方法及实证调研方面的评价。产品研发类项目偏重于产品的试验、试制、生产等的评价。平台类项目偏重于平台建设与发展情况的评价。人才类项目偏重于人才培养与队伍建设情况的评价[10]。除了管理机构给出的格式评价和技术专家给出的内容评价外，还可让同行技术人员、社会公众等不同角色从不同角度对科技报告质量进行评价，全方位、多角度的评价能够有效避免专家评价的片面性，确保评价结果的客观、公正、有效。

7 结语

本文以全面质量管理理论为基础，从技术内容和文本格式两方面初步构建了科技报告质量评价指标体系，并以陕西省为例对报告文本格式的评价指标进行检验，从质量评价的全流程、全要素出发，提出控制好每个环节，建立健全科技报告质量评价的关联机制、反馈机制、激励机制等管理机制，探索多层次、多角度的质量评价方法等建议。本文尚未对报告技术内容的评价指标进行实践检验，下一步将结合科技报告工作实践，邀请有关专家开展技术内容评价指标的检验及修正，进一步完善各项指标及权重，提升质量评价的合理有效性。