国内同行评议专家库研究综述

刘 丹

(南京大学信息管理学院，江苏南京 210000)

国内同行评议专家库研究综述

刘 丹

(南京大学信息管理学院，江苏南京 210000)

基于同行评议专家库在同行评议中的重要地位，文章采用文献调研法从同行评议专家的指标体系、同行评议专家的产生方式、同行评议专家库的构建技术以及如何从同行评议专家库中选择专家四个方面对国内关于同行评议专家库的研究现状进行了详细的调研，并在对研究现状进行总结的基础上提出将来需要继续深入研究的领域。

同行评议;同行专家;专家库;指标体系;专家遴选

一、同行评议的起源与发展

同行评议是一种以提高某一领域工作或事物质量为目的，由相同或相近领域的人们对该项工作或事物进行评价的过程［1］。“同行”一词本身是指具有相同地位和相同能力的人，但是在“同行评议”中，同行一词则是指在某领域中具有较强能力或较高层次的人们。关于同行评议的定义，国内学者从不同的角度进行了阐述。郭碧坚和韩宇指出，同行评议是指某一领域或者若干领域的专家采用一种评价标准，共同对涉及上述领域的一项事物进行评价的活动。在科学系统，评价对象则为一项知识产品——人们进行知识生产活动所得产品［2］。吴述尧则将同行评议定义为“由该领域的科学家或邻近领域的科学家以提问的方式评价本领域研究工作的科学价值的代名词，进行同行评议的前提是在科学工作的某一方面体现专家决策的能力，而参与决策的专家必须对该领域的发展状况、研究活动程序及研究人员有足够的了解”［3］。

同行评议最早出现在英国皇家学会期刊《哲学会刊》的论文评审中。1620年Francis Bacon阐述了一种用于评估科学新问题的方法，这种方法就是同行评议的前身。一些英国研究者受到这种方法的启发并于1662年成立了一个正式的学术团体，即英国皇家学会，1665年学会期刊《哲学会刊》创刊，由Henry Oldenburg主编，学会将提交的论文材料按照主题交由具有该主题领域知识的专家审查，这种评审方式通常被视为早期的同行评议。20世纪30年代，美国率先将同行评议引入到科研项目经费申请的评审中，同行评议开始跳出编辑同行评审的范畴，并被普遍用于科学基金分配，逐渐成为一种学术评价方法。

中国最早出现同行评议是在1979年上海光学精密机械研究所举办的第二届科学报告会中，会议邀请了同行专家进行评议，用以筛选出较好的研究报告。随后，国内一些研究者开始逐渐关注和研究同行评议，如1980年杨安仙的《谈美国的同行评议》［4］、1983年张渊义的《同行评议是科研计划管理的重要手段》［5］、1988年赵红洲的《引文计量与同行评议》［6］和周正的《必须重视同行评议中的行为规范》［7］等。根据李芬、朱紫阳和丁枝秀在2009年基于CNKI核心期刊对中国同行评议研究状况的调查数据显示，1979－2007年间CNKI核心期刊共刊载同行评议相关文献443篇，进入21世纪的文献量有明显增加［8］。从调研数据可以看出，有关国内同行评议的研究越来越受学术界的重视。

二、同行评议专家库在同行评议中的重要地位

随着科学发展和人们对知识领域的不断探索研究，同行评议作为一种不可或缺的学术评价方式发挥着重要的作用。一个完整合理的同行评议评价体系由评价主体、评价客体、评价目的、评价方法、评价标准及指标和评价制度六大要素组成［9］。任何事物都不是完美无缺的，同行评议也不例外，它所存在的一些缺陷如人情关系网、欠公正性、偏保守性以及一些知识剽窃行为等，都需要通过对同行评议实施过程中所涉及的各个要素进行研究从而逐渐完善这种评价方式，在评价客体、评价目的、评价方法、评价标准和评价制度已经确定的前提下，评价主体即同行评议专家的选择对评价结果起着至关重要甚至决定性的影响，而同行评议专家通常选自于已经构建完成的同行评议专家库，因此，作为提供评议专家的来源系统，进行同行评议专家库的相关研究是非常必要的。

三、同行评议专家库的研究内容

构建同行评议专家库主要包括四个方面的问题:首先，同行评议专家的指标体系问题，即满足什么样条件的人才可以称之为同行评议专家。其次，同行评议专家库中专家的产生方式问题，即同行评议专家库中的专家相关信息是通过何种方式产生的。第三，同行评议专家库的组织方式和技术平台，即采取什么方法和基于何种技术平台构建同行评议专家库。第四，同行评议专家的选择问题，即如何在已经构建完成的同行评议专家库中选取到合适的同行评议专家进行同行评议活动。

(一)同行评议专家的指标体系

专家识别是专家选择的前提，同行评议专家指标体系的构建是同行评议专家库的基础。1992年，郭碧坚在对改善我国同行评议制的一些设想中提到要根据要求选择专家，他认为在描述专家信息时不仅需要专家的个人特征和科研能力指标，还应有专家参加评议活动的指标和对专家参加具体评议后的反馈信息［10］。赵黎明、徐孝涵和张卫东在利用抽样调查法和访谈法的基础上，经过深入的理论研究将同行评议专家的指标体系归纳为基本情况指标、修养指标和评议工作业绩指标三个方面。其中，基本情况指标包括专家所发表的文献、所从事的科研课题以及所获得的科研奖励和学位;修养指标主要包括品德修养、认知素质、意志品质、智能修养以及知识素养;工作业绩指标主要通过参加评议项目的累计数、命中率、离散率和成功率进行综合评价［11］。2001年李延瑾在其硕士学位论文《科技项目立项评审的同行评议方法研究》中将同行评议专家指标体系划分为科研课题、文献、人才培养和获奖情况四个部分，其中科研课题包括国家级项目和省部级项目;文献包括论文量、著作量和引证量;人才培养包括作为博士生导师和硕士生导师所培养的博士生和硕士生人数以及任职年限;获奖情况主要指所获国家级奖和省部级奖［12］。2003年，马晓光、连燕华和沈全锋等人初步建立了一套专家识别标准与指标体系。在该指标体系中专家的社会属性、学术水平、评议水平和专家参加评估活动所反映出的态度构成了一级指标，社会属性包括学科、技术职称、专业研究时间、所在单位性质、行政级别和年龄;学术水平包括学位和研究成果;评议水平包括评估总量、评估质量以及评估阅历;态度则包括学术态度和合作态度［13］。同年，柏涌海、鲍洪涛和陈琳等人针对军队医学科研管理中同行评议专家遴选工作的不足，拟定了军队同行评议专家指标体系，包括一级指标四个:基本情况指标、科研能力指标、评议业绩指标、道德修养指标。其中基本情况指标包括年龄、职称、学历、学术任职以及研究领域;科研能力指标包括论文发表、科研项目、获得奖项、获得专利;评议业绩指标包括累计数、命中率、成功率和离散率;道德修养指标包括科学道德、科学态度以及工作作风［14］。2009年，陈媛、樊治平和谢美萍建立了一套包括科研活跃程度、评审业绩和工作态度三个方面的同行评议专家指标体系，其中科研活跃程度通过论文科研能力和项目科研能力予以体现;评审业绩主要通过评审准确性以及评审共识性进行衡量;工作态度则通过专家反馈评审结果的准时性以及他所拟定的评语所体现的态度进行衡量［15］。

(二)同行评议专家的产生方式

在入库专家的指标体系确定之后，涉及到的就是同行评议专家的产生方式。2000年，张守著在对国家自然科学基金领域专家管理进行研究时提出可以参考意大利国际理论物理中心(ICTP)在发展中国家聘请专家的管理模式，将同行评议专家初步划分为五个等级，即初评议专家、协联评议专家、资深评议专家、评审专家和顾问评议专家，这五个级别的同行评议专家主要通过四种方式产生:接受个人的直接申请;接受专家和单位的推荐;每年科学基金新资助项目的主持人;通过国家科技情报中心查询等［16］。2002年，王志强在对于完善同行评议制度的思考中认为，同行评议的专家应该由学部与科学处推荐，也可以由各个科研部门的学术委员会推荐，还可以考虑由项目申请者提出可供参考的同行评议专家［17］。2003年，陈越、陈领和宋延龄等人在研究用于网络评议的同行评议专家库时，提出首先采取拉网式填充专家库，通过与相关大专院校及科研院所联系，收集专家信息扩充专家库，然后再利用国内外大型学术资源网络数据库，如Web of Science、CABI Abstracts、AGRICOLA、《中国期刊全文数据库(CJFD)》、《中文科技期刊数据库》等检索专家有关信息，进一步完善专家库［18］。2008年，齐丽丽和司晓悦提出借鉴德意志研究联合会(DFG)选择同行专家的方式，即先经过拉网式选举和推荐建立预选专家数据库，然后再经过同行专家互选和选举委员会的层层筛选，最终确定同行评议准专家库［19］。

(三)同行评议专家库的组织方法和技术

作为支撑平台，组织方法和技术是专家库构建的一个关键所在。2000年，郭军杰以Vf6.0中文专业版为系统数据库开发工具，设计开发了基金项目学科管理系统［20］。在该系统中，专家库作为基本数据库之一，可以实现根据优选模型随机自动优选与评议项目学科相同的专家，并具有跟踪式的专家信息维护功能。2007年，高正源对于数据库技术、元数据管理、联机分析处理和数据挖掘在专家库系统中的应用进行了详细讨论，他所建立的系统以Windows2003为平台，利用SQL Server2000数据库，采用B/S模式，实现了基于Web和数据挖掘技术的科技咨询专家库管理系统，能够担负专家数据的整理和分析任务，并从中抽取适合评审的专家［21］。陈燕、胡小春和蒙辉等人设计了一个基于ASP.NET的专家人才库管理系统，该系统采用B/S结构，以Windows 2003 Server为服务器操作系统，IIS5.0及以上版本为Web服务器，Microsoft Visual Studio.NET 2003为开发工具，拥有专家查询、新用户注册、用户登陆、管理员登陆、专家信息管理、用户信息管理、管理员信息管理七个功能模块，具有较好的可扩展性和可定制性［22］。2008年，程慧俐、颜海龙和邱健明采用PowerBuilder技术设计实现了基于C/S模式的项目评审专家库管理系统，该系统具有专家信息录入、查询统计、专家抽取和专家管理四个模块，其中专家抽取模块是核心，包括随机抽取和专家补抽两个子模块［23］。同年，康雯瑛、陈辉和周子平等人将模型－视图－控制器(Model－View－Controller，MVC)软件设计模式引入到气象科技专家库的设计中，采用JSP+Servlet+JavaBean实现MVC的体系结构，该系统包括专家信息录入、专家信息编辑、专家查询和专家筛选四个模块，具有较高的可靠性与稳定性，不仅能有效地管理专家信息资源，同时能够快速全面地提供准确的专家信息［24］。廖开际和李哲基于建立一个方便行政管理部门和社会公众查询专家详细信息的目的，以B/S模式为基本架构，选用SQL Server 2005为数据库，采用JSP技术设计开发了面向知识管理的专家库管理系统。在系统中一方面用户可以方便地检索到专家信息，另一方面专家也可以与用户分享知识［25］。

除了从软件技术平台角度对同行评议专家库的构建进行研究外，还有一部分研究者对其他领域的新技术在专家库构建中的应用也进行了探索性的研究，如陆伟和韩曙光借鉴文本检索国际会议(Text Retrieval Conference，TREC)专家检索的基本方法，设计实现了从数据资源采集、规整、索引、检索到可视化的组织专家检索系统模型［26］。该框架模型可以定义组织内外表征专家信息的资源列表，设定资源动态更新周期，实现信息的动态采集，并结合组织内部专家列表，智能识别与检索组织专家。杨小晓在其硕士毕业论文《基于社会网络的科技咨询专家库及其构建方法研究》中提出将社会网络分析应用到科技咨询专家库的构建中，对构建基于社会网络的科技咨询专家库方法进行了详细研究，在对专家社会网络的要素分析、属性数据和关系数据的界定和存储、网络结点和关系的确定以及关系加权模型分析的基础上构建了专家社会网络模型，并从构建原则、模式、总体框架和构建方法等方面对基于社会网络的科技咨询专家库的构建方案进行了探讨［27］。

(四)同行评议专家库的专家遴选

关于同行评议专家库中专家遴选的研究主要划分为两个方向，首先是专家遴选的定性分析研究，其次是新的技术与方法在专家遴选中的应用研究。关于专家遴选的定性分析，陈式慧和毕利民于1993年对水利学科基金项目同行评议专家系统进行研究时指出，在选择评审专家时需要考虑回避政策、集中与分散相结合、大同行和小同行、权威性、知名度与中青年学者以及不同学术观点的专家等问题［28］。1997年，王平、宋子良和刘爱玲通过问卷法和访谈法对省级同行评议专家选择的现实状况进行了调研。调查结果显示，省级同行评议专家选择的现实情况与理论要求具有一定的差距，主要表现在两个方面:首先是参加同行评议的专家并非完全的同行;其次，多数评审专家的科研能力偏低，没有站在学术的前沿［29］。1999年，王锋、杨云香和傅瑛在对国家社科基金项目评审制度进行研究时提出，在选择同行评议专家时，首先需要考虑从哪个范围中遴选专家，他们认为在哲学社会科学研究领域应该按照学科选择专家;其次，需要考虑专家的年龄和科研经历，老中青结合是一种相对理想的模式;第三，所选择的专家应该具有较高的学术造诣、优良的学风、严谨求实的工作态度［30］。2002年，王志强提出要注意挑选不同观点的评审专家，注意学科平衡，并适当增加学科覆盖面，同时还应该考虑评审专家的单位和地区分布。对于一些学科如电子、信息、材料等还可以到高新技术企业寻找评审专家［17］。2004年，陈敬全在其博士学位论文《科研评价方法与实证研究》中指出，同行评议专家的选择应该考虑以下五点:同行性原则，一般的同行评议尽量请“小同行”;代表性原则，不同区域、不同机构和不同的学术观点应该兼顾;回避性原则，与被评议对象有利益关系的专家应该回避;效用性原则，同行评议专家的数量一般不少于五人，且为奇数;轮换原则，即同行评议专家应该定期轮换［31］。

关于新技术与方法在专家遴选中的应用研究，2007年李杏姣以农业专家信息为研究对象，对农业科技咨询专家库智能管理系统中的模糊查询、查询优化和自动分类等技术进行了研究，实现了专家的动态优化管理，并运用KNN算法对专家信息进行自动分类，为专家的定向遴选提供便利［32］。2008年，王俭、景衍斌和陈锐等人提出将线性概率模型(Linear probability model，LPM)应用于同行评议专家的选择中，他所提出的线性概率模型能够比较真实地反应评价专家的个体属性与评价结果之间的因果定量关系，为专家的遴选提供一定的依据［33］。2010年，贺颖在其博士学位毕业论文《基于科学计量视角的同行评议专家遴选问题研究》中从科学计量学的角度对同行评议专家遴选的五个基本问题进行了详细的系统研究［34］。针对评议专家的不同学术背景和学术范式问题，提出利用可视化著者同被引技术(Author Co－citation Analysis，ACA)选择具有相同学术范式的专家;针对小同行专家的遴选，运用共词分析判断科学语境的差异，选择真正的同行专家;针对交叉领域同行评议专家的遴选，运用科学知识图谱选择评议专家;针对同行评议结果的权威性问题，运用h指数选择科学贡献程度较大的专家，凸显同行评议的学术权威性;针对同行评议专家遴选系统的设计问题，设置了专家系统指标体系和筛选原则，构建了基于科学计量学视角的同行评议专家自动遴选系统的概念模型。同年，王雪芬在其硕士毕业论文《基于社会网络的科技咨询专家库构建及其可视化研究》中对专家库的专家检索技术进行了专门研究，设计了基于社会网络的专家库原型系统，实现了专家分类检索、专家主题检索、专家关系检索和专家信息检索服务并以可视化的形式展现检索结果［35］。蔡嘉诚对潜在语义索引技术(Latent Semantic Index，LSI)应用于知识产权专家库系统中进行了探索性的研究，对潜在语义索引技术适应于专家信息库进行了相关改进，运用基于层次化特征的快速聚类方法实现了基于LSI的专家信息快速检索，在一定程度上实现了基于语义的检索，能够有效帮助选择到合适的专家［36］。

四、总结

通过对国内有关同行评议专家库的相关研究文献的调研可以看出，在构建同行评议专家库时所涉及到的四个问题中，关于同行专家指标体系的构建，基本都包含三个主要部分，即个人基本情况指标(通常指其学术研究水平和科研能力)、修养指标(个人品质、对待学术的态度)以及评议水平，指标内容大体相同，只是表达方式和划分标准稍有不同。关于同行评议专家的产生方式，通常包括个人申请、单位推荐、拉网式搜集专家信息等渠道。关于同行评议专家库的组织方法与技术，主要采用B/S模式或C/S 模式、利用 SQL Server数据库、Java、PowerBuilder、JSP等技术。关于如何从同行评议专家库中遴选专家的研究主要集中在两个方面，一是从定性角度分析遴选专家时要注意的问题，二是采用一些新的技术和方法帮助选择合适的专家进行同行评议，如线性概率模型、KNN算法、可视化著者同被引技术、社会网络分析、语义索引技术等。

虽然研究者对同行评议专家库构建所涉及的四个方面问题进行了一系列的研究，但是随着科学技术的发展，学术评价活动的开展，今后还可以从以下几个方面进行更加深入广泛的研究:首先，在建立一套通用同行专家指标体系的基础上分别构建适合不同学术评价活动的专家指标体系;其次，借鉴和利用一些新技术和方法如主题地图、社会网络分析、语义网的优势提高专家遴选的合适性;最后，在对新建立的同行评议专家库实验模型进行充分的实证研究之后将其逐渐推向实践层面。

［1］Peer Review Definition［EB/OL］.［2011 －11 －18］.http://www.linfo.org/peer_review.html.

［2］郭碧坚，韩宇.同行评议制——方法、理论、功能、指标［J］.科学学研究，1994(8):63 －73.

［3］吴述尧.再论同行评议的功能［J］.中国科学基金，1998(3):215－218.

［4］杨安仙.谈美国的同行评议［J］.科研管理，1980(1):75－78.

［5］张渊义.同行评议是科研计划管理的重要手段［J］.科技管理研究，1983(6):31－34.

［6］赵红洲，蒋国华，符志良.引文计量与同行评议［J］.科研管理，1988(2):25－27.

［7］周正.必须重视同行评议中的行为规范［J］.科技管理研究，1988(3):7 －10.

［8］李芬，朱紫阳，丁枝秀.关于中国同行评议研究状况的分析报告——基于CNKI核心期刊的文献研究［J］.中国科学基金，2009(3):177－182.

［9］叶继元.人文社会科学评价体系探讨［J］.南京大学学报，2010(1):1－14:97－110.

［10］郭碧坚.加约束条件的同行评议制——科学系统的一种激活机制［J］.科技导报，1992(12):51－53.

［11］赵黎明，徐孝涵，张卫东.选择同行评议专家的指标体系［J］.科研管理，1994(6):17 －21.

［12］李延瑾.科技项目立项评审的同行评议方法研究［D］.武汉:武汉理工大学，2002.

［13］马晓光，连燕华，沈全锋，于浩.同行评议中专家识别研究［J］.研究与发展管理，2003(3):68－72.

［14］鲍洪涛，柏涌海，陈琳，等.军队科研评审专家遴选指标体系初探［J］.解放军医院管理杂志，2003(4):387－389.

［15］陈媛，樊治平，谢美萍.科研项目同行评议专家水平的评价研究［J］.科学学与科学技术管理，2009(10):38－42.

［16］张守.建立合理的专家动态管理体系［J］.中国科学基金，2000(6):364－366.

［17］王志强.关于完善同行评议制度的若干问题和思考——同行评议调研综述［J］.中国科学基金，2002(5):309－313.

［18］陈越，陈领，宋延龄，等.对基金项目开展网络同行评议的几点思考［J］.生命科学，2003(4):255－258.

［19］齐丽丽，司晓悦.对我国同行评议专家遴选制度的建议［J］.科技成果纵横，2008(5):26 －28.

［20］郭军杰.国家基金学科管理系统在同行评议过程中的应用［J］.科技·人才·市场，2000(4):43－46.

［21］高正源.XX市科技咨询专家管理信息系统的研发［D］.重庆:重庆大学，2008.

［22］陈燕，胡小春，蒙辉，李陶深.基于ASP.NET的专家人才库管理系统的设计与实现［J］.广西科学院学报，2007(4):337－339.

［23］程慧俐，颜海龙，丘健明.基于C/S的项目评审专家库管理系统设计与实现［J］.中国工程咨询，2008(11):28－30.

［24］康雯瑛，陈辉，周子平，赵洪升，张艳春.基于MVC模式的气象科技专家库设计与实现［J］.光盘技术，2008(5):21－23.

［25］廖开际，李哲.面向知识管理的专家库系统分析与设计［J］.中国管理信息化，2008(14):78 －80.

［26］陆伟，韩曙光.组织专家的检索系统设计与实现［J］.情报学报，2008(5):657－662.

［27］杨小晓.基于社会网络的科技咨询专家库及其构建方法研究［D］.南京:南京理工大学，2010.

［28］陈式慧，毕利民.水利学科基金项目同行评议专家系统研究［J］.中国科学基金，1993(1):61－63.

［29］王平，宋子良，刘爱玲.省级同行评议专家选择:理论与实现［J］.科技管理研究，1997(4):38－40.

［30］王锋，杨云香，傅瑛.关于完善国家社科基金项目评审制度的若干思考［J］.信阳师范学院学报:哲学社会科学版，1999(4):122－124.

［31］陈敬全.科研评价方法与实证研究［D］.武汉:武汉大学，2009.

［32］李杏姣.农业科技咨询专家库智能管理系统的研究［D］.广州: 暨南大学，2008.

［33］王俭，景衍斌，陈锐，等.微观计量LPM模型在同行评议专家选择中的运用［J］.科学学研究，2008(6):1243－1247.

［34］贺颖.基于科学计量视角的同行评议专家遴选问题研究［D］.天津: 天津大学，2009.

［35］王雪芬.基于社会网络的科技咨询专家库构建及其可视化研究［D］.南京:南京理工大学，2010.

［36］蔡嘉诚.潜在语义索引技术在知识产权专家库中的研究与应用［D］.苏州:苏州大学，2011.

Review of Domestic Research on the Experts Database of Peer Review

LIU Dan
(School of Information Management，Nanjing University，Nanjing 210010，P.R.China)

Experts database is an important part of peer review.This article has analyzed the researches on experts database of peer review in China using the method of literature investigation from four areas，which are the indicator system of experts， the generation of experts， the technologies using in the experts database and how to select experts from the database.Finally， we have summarized the research situation of experts database and the future fields we can research deeply.

peer viewer;experts database;index system;selection of experts

C915

A

1008-5831(2012)05-0087-05

2012－03－27

国家社会科学基金重大课题“建立和完善哲学社会科学评价体系研究”(04＆ZD031)

刘丹(1985－)，女，安徽省池州人，南京大学信息管理学院图书馆学博士研究生，主要从事人文社会科学评价研究。

(责任编辑 彭建国)