构建科学的同行评议专家综合评价体系研究

张 莹

（昆明理工大学科学技术院，云南 昆明 650500）

0 引言

科学技术对社会经济发展的影响日益增强，科学基金制度在推动社会发展和科学技术进步的过程中发挥着巨大的作用。当前，科学基金评审普遍采用同行评议方法，该方法按照“充分依靠专家队伍，发扬民主，引入竞争机制，坚持择优支持、公正合理”的指导方针[1]，从而实现对科技资源的优化配置。同行评议方法在项目评审、中期检查、成果评奖、人才及团队推选等众多领域获得了广泛应用，它是一种有效且可行的民主决策评价方法，尤其在基金评审工作中发挥着重要作用，是科研项目评审的生命线[2]。

然而，同行评议方法本身具有一定的局限性，在实际运用过程中尚存在一些问题，曾一度受到国内外学术界一些专家的批评和责难，争议的核心主要是针对同行评议专家。评议专家在项目评审过程中会出现无人监管，评审专家的权利无限放大，并且不需要付出相应责任等有失科学公正的行为，甚至有一小部分专家出现人情照顾，瞎评，乱评，故意恶评的行为。同行评议要求同行评议专家客观、公正、科学地进行评审，遴选同行评议专家是同行评议的重要内容，也是同行评议过程中的重要环节，如果没有科学、合理的评价体系对评审行为进行约束，将很难保证评审结果的公正性。因此，构建合理的同行评议专家综合评价体系，对评审专家自身科研水平及其以往评审情况进行有效分析和评估显得尤为重要，这也是进一步提升同行评议专家评审水平及动态调整专家库亟待解决的问题。

关于同行评议专家综合评价体系的构建问题已有很多学者进行了研究。赵黎明（1994）从同行评议专家个人基本情况、个人修养、评审业绩等方面进行了定性评价，但未给出评价的具体量化数学模型[3]。随后，他们又从评审项目的累计数、离散率、命中率、成功率等几个方面对同行评议专家进行了评价，但并未对这些指标进行综合分析评价[2]。李淑芬等人（1995）利用层次分析法从专家的资历、科研成就、对学科的熟悉程度、公正性等5个方面建立了量化模型并给出每个指标所占的权重，但未对每个指标进行定量化分析[4]。郑称德（2002）主要从项目评审总量、偏离程度、命中率、有效性等几个指标对专家进行评价，给出了各指标的量化模型并对各指标进行了归一化处理，最终给出了综合评价指标，但关于综合评价指标的权重未做定性评价，没有构建量化评价模型[5]。马晓光等人（2003）从评审专家的社会属性、学术水平、评议水平、评审态度等方面进行了定性的描述，同样没有给出具体的定量分析[6]。

文章结合了大量学者的研究成果，从同行评议专家的个人资历、科研能力、评审离散率、评审有效率和评审态度等五个方面构建了专家综合评价指标，通过建立数学模型进一步实现了评价指标的定量化处理，然后利用层次分析法确定了各评价指标的权重，最终可以获得评审专家的综合评价得分。通过对评审专家的评审行为进行定性和定量评估，可以为专家的合理遴选和统筹分配提供决策依据，使更多专业基础扎实、视野开阔、评审态度认真的专家参与到评议工作中来，从而使评审结果更加客观公正，评审质量得到进一步提升。

1 同行评议专家综合评价体系的构建

科研项目通常来自各领域最前沿的研究方向，它具有多学科交叉融合和创新性强等特点。科研项目的这种特性对于评审专家的基础理论知识、专业素养和认真负责、公平公正的评审态度提出了较高的要求[7]。因此，专家评价指标应针对性地从上述几个方面进行综合考量，评价指标应尽量可测度，有定量化的评价标准。通过制定科学合理的评价指标并进行定量化处理，可以有效降低评价主体受个人倾向和主观偏见的影响程度。

专家综合能力评价指标主要从专家的个人资历、科研能力、评审离散率、评审有效率及评审态度5个方面来构建。

1）个人资历反映了一个专家知识的深度和广度，可对专家专业素质评价起到初步筛选的作用。个人资历主要包括学位和职称2个要素。学位是指通过学习获取学识及相应学习能力程度的标志，反映了专家接受教育的层次，主要包括学士、硕士、博士3种。职称代表了专业技术水平和能力，分为中级、副高级和正高级3种。学位和职称可以通过如下所示的评价等级进行定量化处理。

表1 学位评分表

表2 职称评分表

2）随着科技的飞速发展和多学科交叉融合程度的不断增强，科研合作程度逐步增强，跨学科、跨专业的合作日益增多。同级别的科研成果排位第一的作者贡献率大于排位靠后的作者，合著成果的署名一般也是按照贡献的大小依次排序，所以利用合著者加权处理可以定量化作者的贡献大小。

表3 合著者贡献权重表

科研成果主要包括论文及专利、科研项目和获奖情况3个要素。科研成果的等级在一定程度上反映了成果的学术质量和受关注程度。论文及专利依据认定类别划分为A、B、C类，科研项目、奖励依据认定机构分为国家级、省部级和地厅级。科研级别不同对应不同的权重。

表4 科研成果权重表

科研成果定量化公式如下所示：

3）对于同一个科研项目往往需要不同的同行评议专家从不同角度给出评审意见，同行评议专家的共识度可以为管理者进行科学决策提供全方位的信息。离散率指标用于表示一位评审专家的评审结果相较于其他专家评审结果的偏差程度，它能较好地反映出一个专家的评审水平及评审的公正性[2]。离散率可分为横向离散率和纵向离散率。

其中，横向离散率表明一位评审专家相较于其他专家在所评审项目认识上的差异性。不同专家对同一组项目的评议值可构成评议值矩阵，如式（4）所示，式中表示第个专家对第个项目的评议值。

纵向离散率反映了评审专家在以往项目评审中对所评项目在认识上的波动性大小，该评价指标能够在一定程度上反映出评审专家的认真和公正程度[2]。评审专家历年评审项目的评分值可构成如下矩阵：

则由式（8）可确定第个项目的纵向离散率：

由式（9）得到的专家所评项目的纵向离散率，可由二维坐标轴绘制出其分布情况。具体的分布曲线可以分为四类：波浪形曲线、直线形曲线、平行形曲线、跳跃形曲线。对于出现的波浪形曲线和直线型曲线的情况，一般是同行评议专家所评审项目质量水平参差不齐的原因，属于项目评审过程中的正常现象。平行形曲线说明了专家对于不同项目的打分差别很小。通常，所评项目样品量较大时，项目质量会有优劣之别，相应的评审分数也必有高低之分。因此，平行形曲线反映了专家评审时的态度不够认真，评分也不够客观严谨。跳跃形曲线表明专家在个别项目上的打分和其他项目出入较大，此种现象应引起科研管理者的重视，需要进一步核实是人为主观因素造成的不公还是由于项目存在重大创新性所造成的[6]。

4）命中率指同行专家评议结果与最终结果一致性的百分比，命中率的高低体现了专家的自身科研素质及精准的判断力[2]。专家所评议的项目如果达到一定的数量，则该评价指标可以一定程度上反映出专家的评审能力及公正性[7]。

将各评审专家命中率构成命中率矩阵：

成功率是指获资助的项目经实践证明获得成功的项目数与获资助项目总数的百分比。成功率反映了同行评议专家评审结果的正确性及总体评议水平的高低[2]。

将各同行评议专家的成功率构建为成功率矩阵：

则可得到专家 的成功率的具体得分 ：

5）评审专家具有较强的责任心和积极的评审态度，才能够高效、有效地完成同行评议工作，因而评审态度也应作为专家综合评价体系中的构成要素。评审专家应按照相关项目评审要求进行评审，评审与自己专业知识相符合的申请书，评审意见不得“张冠李戴”，敷衍笼统。评审态度可以通过反馈意见的明确性、精准性和及时性来衡量[2]。

同行评议专家评审意见的明确性是指评审意见应具体、明确、鲜明且具有针对性，明确阐明项目的创新性及存在的优势和劣势。评审意见详细而明确对于下一步的资助决策具有重要的参考价值，同时可对申请人完善研究设想和研究方案提供帮助，论点明晰、论据充分且具有启发性和建设性的评审意见可使项目申报者认识到项目上存在的不足之处，从而根据评议专家的建议对项目申报材料进行修改完善，促进申报质量的不断提升[4]。通常科研项目申报量大，评审环节多，及时反馈评审意见是项目下一轮评审工作顺利开展的有利保障，对于不按时反馈意见的专家，科研管理者应酌情给予减分。

专家的各评价指标是紧密关联的，单独进行评价势必具有一定的局限性，因此应将各评价指标进行综合分析并依据其重要性给出相应的权重。利用层次分析法可以确定专家各评价指标的权重，从而最终得出专家的评价值[3]。

2 利用层次分析法确定同行评议专家指标权重

层次分析法将人员的思维过程系统化、数学化和模型化，是一种定性与定量相结合的多目标决策综合评价方法。它将总目标分解为相互关联的若干层次和组成要素，这些要素按支配关系分组形成一个多层次的分析结构模型，各要素之间通过重要性的两两比较和计算，可确定出不同方案所占的权重，从而为最佳方案的决策提供依据，适用于缺少定量数据进行判断的多目标决策情况[8]。

层次分析法首先根据问题，建立相应的层次结构，通过两两比较构建判断矩阵，再通过计算层次单排序，进而得到层次综合排序结果。

层次分析法的步骤包括：构建层次结构、构建判断矩阵、层次排序及一致性检验等步骤[9]。

判断矩阵的构建是通过上一层某要素，本层次与其他有关要素之间重要程度的相对比较得出的，将重要程度进行定量化描述可形成如下表所示的重要性标度[9]。

表5 1-9的重要性标度

根据层次分析法的步骤，首先应将同行评议专家综合评价体系中涉及的各要素进行分层。其中，第一层为总目标层，即同行评议专家综合评价体系C；第二层为准则层，通过专家的个人资历，科研能力，评审离散率，评审有效率，评审态度等五个方面来实现对专家的综合评价。总目标层包含第二准则层的5个要素，即C={C1C2C3C4C5}；第三层准则层包含学位、职称、论文专利、项目、获奖、横向离散率、纵向离散率、命中率、成功率、意见明确性、反馈及时性等11个要素，可归纳到第二准则层的5个要素中，即C1={C11C12C13C14C15}，C2={C21C22C23}，C3={C31C32}，C4={C41C42}，C5={C51C52}。因此，每位专家评审质量的综合得分可由图1所示的层次结构图进行量化评估。

图1 专家综合能力评价层次结构图

利用调查收集法确定同行专家各评价指标的重要性，构建判断矩阵。

表6 判断矩阵

随机一致性比率小于0.1，表明判断矩阵具有可以接受的一致性。

表7 判断矩阵

表8 判断矩阵

表9 判断矩阵

表10 判断矩阵

表11 判断矩阵

根据判断矩阵确定的权重，可以最终确定各评价指标的权重。指标权重可以从多个方面综合考量，同时需要根据实际情况进行不断地修正优化。

表12 专家评价指标权重

评审机构利用定性和定量相结合的办法对每位专家的各评价指标给出具体的分数，通过各评价指标分数与权重相乘后累加可最终得出同行专家的综合评价得分。科学的定量综合评价得分可以避免定性指标不能排序带来的决策困扰，设置科学、合理的量化评价体系，可以助力管理者科学决策。

3 结论

同行专家评价指标体系非常复杂和烦琐，有些指标的科学性有待进一步探索，这些指标体系参考价值随着专家评议项目数的增多而得到提升。另外，同行评议专家综合评价体系的构建非常复杂，有些指标的数学化模型难于构建，科学性也有待于在实践中进一步验证[10]。因此，对专家评审行为进行的评估是一种统计分析而非定性分析，因此在实际的运用过程中可以为科研管理者提供参考作用，而不应作为不可更改的定论[2]。

文章查阅了大量的文献，在充分调研的基础上结合科研管理工作者积累的资料和认真细致的记录总结进行了相关的数据分析，并进行了小范围的实验，对构建合理的同行专家综合评价体系提出了一些意见和建议，以期对科研管理者对同行专家的评价和遴选起到一定程度的推动作用。