广西科技报告专业质量评价指标体系构建研究

陈怡玲,徐 燕,李 荣,黄 辉

(1.广西壮族自治区科学技术情报研究所,广西 南宁 530022;2.广西警察学院,广西 南宁 530028)

0 引言

科技报告是科技人员为了描述其从事的科研、设计、工程、试验和鉴定等活动的过程、进展及结果,按照规定的标准格式编写而成的特种文献[1]。科技报告是科研工作者记录项目研究工作全过程的特种文献,是科技创新成果的一种表现形式,是科技人员交流其研究活动及成果的重要手段。优质的科技报告还能够从侧面反映一个国家或地区整体的科研状况以及发展的趋势。因此,提高科技报告质量对整个科技报告制度建设,对实现社会主义现代化的伟大事业有着极其重要的意义。

自从2014年国家全面推进民口科技报告制度建设以来,我国科技报告数量直线上升。截至2022年11月,国家科技报告服务系统官网显示,已收录科技报告38.5万份。广西科技报告制度建设起步相对较晚,从2018年1月开始在部分自治区科技计划项目中收集科技报告,截至2022年12月,广西科技报告服务系统收藏科技报告数量为5 000余份。由于广西科技报告制度建设尚处于初级阶段,该阶段主要以收集报告、数据积累为主,并没有强调科技报告的质量。随着试点工作的推进,科技报告数量不断增加,科技报告质量参差不齐的问题日益显现。比如,有些科技报告篇幅较短,文章结构不合理,写作逻辑不科学,布局谋篇不规范,对技术内容描述不够深入,对研究过程描述过于简单等。而且目前的审核主要是格式上的审核和评价,专业技术内容评价尚未开展。这些问题不单是广西科技报告质量审核中存在的问题,也是国家和地方科技报告审核中普遍存在的问题。针对这些问题,国内相关学者开展了有关科技报告质量评价的理论研究,但在实践中只有国防科技报告部分开展了科技报告质量评价,民口科技报告领域尚未开展科技报告质量评价的实践活动。因此,在科技报告审核流程中引入科技报告质量评价是有现实意义的。

国内科技报告研究学者普遍认为,科技报告的质量可分为文献质量(撰写水平、编制质量)、专业质量(技术内容、科学价值)和效益质量(应用价值、使用价值)3个层次[2]。其中,专业质量从根本上决定一篇科技报告的实际质量。科技报告的专业质量是反映科技报告实质质量的最重要指标,评价内容主要是技术研究内容的完整性、技术内容的创新性、技术成果的可重复性等。在科技报告3个质量层次中,专业质量为最根本的层次,最能反映报告的科学价值和创新性,是整个科技报告质量的核心和灵魂,文献质量和效益质量均需以专业质量为基础。因此,在科技报告质量评价中强调专业质量评价,由相关领域专家进行专业质量评价是开展科技报告质量评价的重中之重,对从根本上提高科技报告的质量水平具有决定性意义。

1 我国科技报告专业质量评价研究现状

在国内,刘冠伟[3]运用层次分析法构建国防科技报告评价指标体系,包含撰写水平、应用价值和技术内容3个二级指标及9个三级指标,并确定权重;裴雷等[2]第一次比较全面地设计了民口科技报告质量评价体系,包括文献质量、专业质量和效益质量3个一级指标,并分别针对3个质量层次设计了二级指标和三级指标,其中,专业质量评价参考指标包括3个二级指标和15个三级指标;朱丽波等[4]构建的科技报告质量指标体系以报告编撰水平、实用价值、技术属性为二级指标,下设9个三级指标构成,同样是有关专业质量评价指标设置的范围太广,操作性不强,准确度不高;任惠超等[5]参考国防科技报告质量评价体系,构建了以科学价值、编制质量2个层次为一级指标,下设7个二级指标的验收阶段评价指标模型,还构建了以报告科学价值和使用价值2个层次为一级指标,下设6个二级指标的验收后评价指标模型;廖奇梅等[6]按照科技报告类型分类编制福建省科技报告质量评价指标体系,包括3个一级指标和8个二级指标,其中,专业技术质量指标包含技术创新性、内容完备程度、技术重现度3个二级指标;王辉等[7]针对科技报告3个质量层次中的文献质量构建了评价体系,以文献质量为一级指标,下设3个二级指标和14个三级指标。

综上所述,我国已有不少学者进行了科技报告专业质量评价指标的相关研究,但还存在着一些不足,表现在:只是在全体系指标构建时宏观提及专业质量评价,没有专门针对专业质量指标进行微观设计和具体赋值,评价指标均比较上位,模糊性大,在实际操作中难以进行定量评价,操作性不强,准确度不高,需加强科技报告专业质量微观层面研究,才能进一步应用于未来的专业质量评价工作。

本文借鉴国内已有的科技报告专业质量评价研究成果,结合广西实际,采用层次分析法,构建了一套可操作性强的广西科技报告专业质量评价指标体系,弥补当前相关研究的不足。

2 广西科技报告专业质量评价体系构建

本文采用1971年美国运筹学家Saaty提出的层次分析法(AHP)对广西科技报告专业质量评价体系进行构建与权重的计算。层次分析法是一个多指标综合评价算法,其主要原理是在分析一个现象或问题之前,首先将现象或问题根据它们的性质分解为有关因素,并根据它们之间的关系分类而形成一个多层次的结构模型,然后通过经验或专家,来判断和衡量低层因素对高层因素的相对重要性,并根据重要性的程度得出权重排序,进而可以量化分析比较。层次分析法的核心是将影响因素层次化和数据化,它把一个抽象的现象或问题由难到易地予以分解,易于对复杂问题进行直观判断,并作出决策。层次分析法的步骤主要分为5步。第1步是确定关键因素;第2步是根据因素之间的关系来构建结构模型;第3步是构造判断矩阵;第4步是层次单排序及其一致性检验,即对指标定权;第5步为层次总排序及其一致性检验。以下将按照上述步骤来构建广西科技报告专业质量评价体系。

2.1 广西科技报告专业质量评价指标的筛选

按照层次分析法的步骤,首先要对影响科技报告专业质量的要素进行分解、整理、抽取,并对其进行层次化和数据化处理。影响科技报告专业质量的要素有多个,其中,最核心的要素是数据质量、创新质量及内容质量。对科技报告专业质量的构成因素进行全面梳理分析,并基于此建立客观、全面的评价体系,可以有效地对科技报告专业质量进行定量的评判,帮助该领域或接近该领域的专家对科技报告专业质量进行科学的同行评议,更有效地评定科技报告的学术水平或重要性。

本文基于已有文献研究和咨询从事相关工作的专家,梳理分析得到多个与科技报告专业质量评价相关的原始指标,然后根据广西科技报告撰写提交的实际情况,再结合行业专家意见,对指标进行合理选择和科学归纳,最终形成能够客观、全面评价广西科技报告专业质量的3个二级指标和15个三级指标,如表1所示。

表1 广西科技报告专业质量评价指标体系及说明

2.2 构建层次评价模型

研究组按照AHP方法的基本要求,围绕“广西科技报告专业质量评价”这个决策事件,确定其目标层、准则层、指标层,运用Yaahp软件(层次分析法软件)建立广西科技报告专业质量评价指标模型,如图1所示。

2.3 构造判断矩阵

构造判断矩阵就是通过各要素之间相互两两比较,并确定各准则层对目标层的权重。简言之,就是把准则层的指标进行两两判断,具体来说,就是对准则层数据质量(B1)、创新质量(B2)、内容质量(B3)3个元素,相互之间使用1～9标度法[8](见表2)进行重要性比较。其中,两个元素两两比较哪个重要,重要的程度是多少,按1～9进行赋值,然后对构造的判断矩阵不一致的地方进行调整,重新比较其重要性,直至结果通过一致性检验。

表2 1-9标度法

通过Yaahp软件,构建的判断矩阵具体内容如表3—6所示。

表3 准则层判断矩阵

表4 数据质量指标层判断矩阵

表5 创新质量指标层判断矩阵

表6 内容质量指标层判断矩阵

其中,对角线为各个指标自己的判断,数值均为1。例如“数据质量”对于“数据质量”而言,其重要性为1,因为指标自身与自身对比肯定是1∶1。对于第一行第二列,也就是“数据质量”与“创新质量”对比,研究组认为“数据质量”比“创新质量”稍不重要,那么就可以标值为1/3,相应的,对角线左边的值是对角线右边值的倒数,以此类推,直到构建完成一个判断矩阵。

由此得出:

2.4 计算评价指标相对权重和矩阵一致性检验

层次分析法中的各个指标对目标层所占的权重通过先求出各个指标所在的判断矩阵最大特征根λmax,然后由对应的归一化特征向量W得到[7]。如采用Yaahp软件,求得准则层判断矩阵A最大特征根λmax为3.018 3,其归一化后的特征向量是WA=(0.122 6,0.320 2,0.557 1)T,从而得出准则层数据质量、创新质量、内容质量3个指标的相对权重分别为 0.122 6,0.320 2,0.557 1。以此类推,计算得到指标层各判断矩阵B1(数据质量)、B2(创新质量)、B3(内容质量)的最大特征根λmax和归一化特征向量W结果如下:

λB1=5.445 9 ,λB2=7.791 8 ,λB3=3.024 7

WB1=(0.154 8,0.502 4,0.103 2,0.057 0, 0.182 5)

WB2=(0.204 5,0.286 5,0.156 3,0.048 2, 0.183 9, 0.090 3, 0.030 4)

WB3=(0.567 9,0.098 2,0.333 9)

在层次分析法中,需要对矩阵一致性进行检验。一致性检验的作用在于检验构建的判断矩阵是否存在逻辑问题,如果判断矩阵逻辑不合理,将造成指标权重值的不可靠。

当一致性比例>0.1时,判断矩阵不具有一致性,权重值可靠性低,则需要根据实际情况赋值判断矩阵。当一致性比例<0.1时,判断矩阵一致性良好,求解得到的权重值可接受。如当一致性比例=0时,则判断传递逻辑通顺,具有完全一致性。

通过Yaahp软件计算上述判断矩阵A,B1,B2,B3的一致性比例,得到的值分别为0.017 6,0.099 5,0.097 0,0.023 7,表明各判断矩阵的一致性均在合理范围内。

2.5 根据评价指标相对权重计算其综合权重

各评价指标对总目标的加权权重由各评价指标相对权重分别与对应的准则层相对权重相乘得到[7](见表7),广西科技报告专业质量评价指标体系各指标权重分布如图2所示。

图2 广西科技报告专业质量评价指标体系指标权重分布

表7 广西科技报告专业质量评价指标体系权重分布

内容质量占的比重较大,其中,类似查重指标又占比较大;另外,创新质量指标的权重是数据质量指标权重的两倍多,说明在科技报告质量评价中,原创创新性非常重要(见表8)。

表8 广西科技报告专业质量评分结果

3 实证分析

为了数据的真实性和可代表性,从广西科技报告服务系统(http://gxkjbg.gxinfo.org.cn:90/)随机选取20份科技报告作为实证分析数据样本,邀请5名长期从事科技报告审核的专家进行打分评价。考虑到可操作性,约定表1中每个三级指标满分为100分,科技报告审核专家根据每个科技报告的实际情况打相应的分数。为了减少科技报告审核专家主观因素的干扰,每个三级指标的得分取5名科技报告审核专家打分的平均值。由于每个三级指标都采用百分制,打分结果无须进行再归一化处理。然后根据打分的平均值再乘以表7中每个三级指标的综合权重,整理得到最终评分结果如表8所示。

根据评价总分值的大小,把广西科技报告专业质量划分为差(总分<60)、一般(60≤总分<80)、良好(80≤总分<90)、较高(总分≥90)4个层次。从表8可以看出,广西科技报告专业质量基本位于一般和良好层次,属于中上水平,这在一定程度上反映了广西科技报告的专业质量水平。广西实施科技报告制度时间还不长,对科技报告质量的奖惩制度还没有形成,大部分科技报告作者还没有提交高质量科技报告的动力,但是随着科技报告管理机构不断推进科技报告宣讲和培训等工作,广西科技报告的专业质量还是取得了一定的成绩。

4 结语

科技报告内容记录了整个科技项目的研究过程,是重要的无形资产,如何提升其质量是重要的研究课题。科技报告质量包括文献质量、专业质量和效益质量3个方面,其中,专业质量对整体质量起到根本的决定性作用,科技报告专业质量的好坏可以在一定程度上体现科研人员的科研水平、创新水平,是科技报告质量至关重要的构成部分。

本文基于科技报告实践工作和研究成果构建的这套广西科技报告专业质量评价体系,可为广西将来开展科技报告专业质量评价提供决策模型和评分依据,帮助专家对科技报告质量进行专业评估,为科技报告评优打分等提供参考工具。