基于AHP 的科技报告质量评价

吴赫君WU He-jun；陈晨CHEN Chen；李贵萍LI Gui-ping；陈翰CHEN Han

（①国网浙江省电力有限公司经济技术研究院，杭州 310000；②同济大学经济与管理学院，上海 200092）

1 科技报告质量评价的目的及意义

科技报告是科研（专业）人员为了描述其从事的科研、设计、工程、试验和鉴定等活动的过程、进展和结果，按照规定的标准格式编写而成的特殊文献，也是国家基础性科技创新资源[1]。我国的科技报告起源于1984 年的国防科技报告体系建设工作。2014 年国家号召部门、地方单位大力开展科技报告撰写和发表工作，除国防科技项目之外，科技部、国家自然基金委、交通运输部和各省市主管的科技项目都开始积极地提交科技报告。尽管近年来国家、地方的科技报告制度建设取得了显著成效，但是科技报告的质量管理体系并不完善。随着科技报告数量的激增，各个部门所提交的科技报告的质量并没有受到严格控制，国家科技报告的整体质量水平提升缓慢，降低了科技报告的科技含量和应用价值。

科技报告质量评价在管理程序制定和实施管理方面尚有瓶颈。国内虽然已有科技报告的质量评价体系，但这些体系仍存在一些问题，比如：集中于宏观层面，主要关注评价体系整体框架的构建和原则的设计，提出的指标概念抽象，难以对权重进行定量计算。实际中，一些企业会与高校、研究院等开展项目合作，科技报告往往是项目的一项重要成果。然而，企业内部的科技报告评价体系通常较为粗糙，对报告评价的角度单一，评价指标也不够完备，难以准确区分报告之间质量的高低，影响企业对于项目成果的质量把控。

在这一背景下，本研究旨在建立科学的科技报告质量评价指标体系，针对科技报告质量管理中编制、校核、审核、批准这四个流程，构建适合于科技报告的评价指标体系和模型，更加客观和准确地对科技报告的质量进行评价，并从本质上提升业内科技报告供应商产出的质量水平，促进我国的科技报告产业高质量发展。

2 文献综述

目前，一些学者针对科技报告的质量评价体系和方法进行了初步的探索。裴雷和孙建军[2]通过梳理国内外科技报告质量评价指标体系建设的理论和实践，结合中国科技报告工作进展和实践，提出了科技报告质量评价指标体系设计的原则、方法、描述框架和参考体系，并为我国科技报告质量评价的未来发展方向指明了重点。朱丽波等[3]通过运用头脑风暴法、专家调查法、层次分析法与Yaahp 软件，分析科技报告的质量影响因素，选取相应的评价指标，并通过构建科技报告的评价指标递阶层次结构，计算各评价指标相对权重和加权权重。苗军[4]分析了科技报告共享前和共享后两个主要阶段的质量评价特点，构建基于自评的科技报告质量评价指标体系，其中一级指标有文献编制质量和专业技术质量，文献编制质量对应的二级指标有结构完整、格式规范和写作水平，专业技术质量对应的二级指标有技术创新性、内容完备程度、技术重现度和应用价值。综上可知，国内现有的有关科技报告质量体系研究的文献相对较少。本文基于现有文献给出的指标体系，结合专家意见，识别科技报告质量评价的指标，并运用统计学、运筹学等多学科知识建立科技报告质量评价模型。

3 科技报告质量评价体系的建立

层次分析法是一种经典的多指标综合评价方法，由美国运筹学家萨蒂于1982 年提出，它综合了人们的主观判断，将评价目标分为若干层次和若干指标，确定各个指标权重进而对目标进行综合评价，是一种简明、实用的定性与定量相结合的、系统化的、层次化的分析方法。

科技报告的质量评价体系所包含的评价指标众多，且这些指标对于目标的重要性不同，评价的角度也不同。要达到完备、有序地评价科技报告的目的，需按照文件的不同属性将这些评价指标归类为几个大类指标，并在这些大类下进一步细分得到下一层的指标，如此对每一层的各个指标进行分解，直到评价指标难以继续细分下去，以便在后续确定每一指标对目标影响的权重。层次分析法符合科技报告质量评价指标体系的特点，因此，本研究通过建立科技报告质量评价指标并基于AHP 计算指标权重得到科技报告质量评价体系。

3.1 评价指标体系设计

为保证科技报告落实质量管理以及高质量产出，科技报告一般需经过编制、校核、审核、批准四个环节进行质量评价。在编制环节中，编写人员对科技报告进行根据关注指标进行自查并修订；在校核环节中，专业负责人或专业技术人员对科技报告质量进行校核，在编写人自查基础上对科技报告做全面检查、并根据差错严重程度和出错次数进行评分且向编写人员提出修改意见与建议；在审核环节中，审核负责人负责根据校核分数对修改后科技报告进行进一步评估；在批准环节，负责人需对科技报告中的关键信息进行把关并批准通过。由于科技报告质量评价各阶段利益主体和质量评价主体各不相同，他们在科技报告质量管理过程中的评价目的和考察内容有所差异，因此如何将评价需求差异体现在科技报告质量评价指标体系的构建中，如何体现科技报告评价的阶段性特点是本研究的难点。

在评价过程中，各评价主体主要对科技报告的文件规范性、内容合理性以及技术严谨性进行评价和反馈，编写人员根据反馈结果修改和完善科技报告。目前缺少可量化的质量评价体系对科技报告进行打分。本研究针对科技报告的编制、校核、审核、批准这四个环节构建评价指标体系，确定校核、审核两个主要评价过程的评价指标权重，以此为依据进行科技报告质量评分。本研究主要从文献编制质量和专业技术质量两个维度进行考察并将其作为科技报告质量评价指标体系的一级指标。为保证评价体系完备合理，本研究依据科技报告特性[5]，如结构完整性、内容准确性、格式规范性、大环境适应性、方案可行性等建立科技报告评价体系中的二级和三级指标。

3.1.1 编制过程评价指标体系

在科技报告编写过程中和呈送前，编写人需要分别从文件编制质量和专业技术质量两个维度对编写的科技报告进行自我评估，并针对不同的指标及其评价标准改进科技报告。参考现有研究[4]，本节设计了编制环节的评价指标体系。经过多轮综合专家意见，针对该过程设计了包括2 个一级指标、5 个二级指标、16 个三级指标及评价标准的技术报告质量自查指标体系。具体指标体系如表1 所示。

表1 编制过程科技报告自评指标及评价标准

3.1.2 校核过程评价指标体系

校核环节是科技报告质量管理流程中第二个流程，由专业负责人或专业技术人员担任校核工作。校核人在编写人自查基础上对科技报告做全面检查，重点考察科技报告推理过程准确性、研究逻辑合理性、结论创新性、研究可实践性和需求满足程度。若科技报告不符合指标要求，校核人应根据差错严重程度和出错次数进行评分并向编写人员提出修改意见与建议。该过程设计了包括2 个一级指标、5 个二级指标、16 个三级指标及评价标准的技术报告质量评价指标体系。

3.1.3 审核过程评价指标体系

通过校核评价后，科技报告进入审核环节进行进一步评价。与校核环节不同的是，审核环节更重视科技报告中提出的结论和建议与科技报告编写人对行业思想和方针的把握程度，因此在建立评价指标时，重点考察核心结论与关键数据的内容准确性、技术方案是否符合原则统一性（即方案提出是否适应国家政策方针、法律法规、行业规范和企业战略）以及方案实际可操作性。审核过程在校核评估基础上对上述关键指标进行评价，以保证只有高质量、高标准的科技报告进入批准环节。该过程设计了包括1 个一级指标、3 个二级指标、7 个三级指标及评价标准的技术报告质量评价指标体系。

3.1.4 批准过程评价指标体系

批准环节是科技报告质量管理流程中的最后一个环节。在批准过程中，负责人需对科技报告的专业技术质量进行把关，关注核心结论和关键数据准确性以及技术方案是否与大环境相适应，并着重考虑技术能否在企业内实施并带来实际效益。该环节评价负责人需综合校核和审核评价得到的打分结果对科技报告最终的质量等级进行评定。该过程设计了包括1 个一级指标：专业技术质量；3 个二级指标：内容准确性、大环境适应性和实际可操作性；4 个三级指标：核心结论准确性、关键数据准确性、与国家政策、法律法规、行业规范、企业战略的适应程度和技术路线可行性。

3.2 确定指标权重

本研究应用软件Yaahp 实现层次分析法并确定评价指标权重。在评价指标体系确定基础上，统一采用Satty 提出的9 分位比例标度[6，7]度量两指标间的相对重要性，将研究问题从定性分析转为定量分析，使用问卷调查法收集13 位专家对同级指标间相对重要性评分并根据得到的多份重要性打分进行投票制，即少数服从多数的综合处理，最终得到综合打分判断矩阵。

综合判断矩阵建立后还需进行一致性检验以保证各元素重要度间的协调性。使用Yaahp 软件对每个综合矩阵进行一致性检验，若计算结果一致性比率CR 值<0.1 时，该矩阵符合一致性，否则一致性检验不通过，需要对该矩阵中的重要性打分进行修正。最后经过反复检验和调整，所有指标相对重要性打分通过一致性检验，得到最终综合判断矩阵。然后，根据综合判断矩阵计算得到不同等级指标的权重。最后将Yaahp 软件分析得到的三级指标权重乘以对应二级指标和一级指标权重，即得到各指标在该过程评价指标体系中的实际权重。经过上述计算分析，最终得到校核和审核过程评价体系的综合指标权重分别如表2、3 所示。

表2 校核过程评价指标权重排序

表3 审核过程评价指标权重排序

本节为提升科技报告撰写质量并严格落实科技报告质量管理提供数学工具。基于构建的科技报告评价指标及其权重，科技报告供应商可进一步依据指标评价要求对科技报告进行打分，最终得到综合评分以对科技报告撰写内容及质量进行把关。

4 结论

科技报告是科研项目和过程的总结性文献，它在科研项目管理的过程中产生，由于科研过程往往周期比较长，跨越众多阶段，因此项目管理的流程也会较为复杂和漫长，科技报告的科学管理显得尤为重要。质量管理是科技报告管理的生命，对科技报告的质量开展评价，能够筛选出优质的科技报告，对科技报告的质量发展起到积极的引导作用。对于科技报告供应商来说，推进科技报告质量体系的构建，能够有效督促科研人员提高文件质量，保证未来一段时期行业内科技报告管理水平和能力的稳步发展。

本文回顾了国内科技报告质量评价的研究现状，针对当前科技报告质量评价存在的问题，运用层次分析法，构建了基于实际需求，实操性较强的分阶段分层的文件质量评价指标体系，能够辅助专家和科研人员有效地对文件质量做出评价，为科技报告资源体系的理论研究与实践建设提供借鉴，促进业界科技报告质量水平的提升。对于科技报告供应商来说，科技报告质量体系的构建能够有效督促科研人员提高文件质量，保证未来一段时期行业内科技报告管理水平和能力的稳步发展。