人文社科学术专著同行评议与文献计量评价的实证比较

2020-12-15袁曦临沈宸

图书与情报 2020年5期

袁曦临沈宸

摘要：人文社科领域学术专著质量评价的既有方法主要为基于同行评议的定性评价与基于文献计量的定量评价，但是两种性质不同的评价方法所产生的评价结果是否存在差异值得关注和探讨。文章以人文社科领域最具代表性的历史学科为对象，对五届郭沫若中国历史学奖的获奖图书进行引文分析，并将获奖图书被引情况与同期同研究领域图书进行比较，探讨定性评价结果与文献定量评价的相关性;研究表明，同行评议结果与文献计量分析结果具有显著相关性，同行评议评选出的人文学科专著的学术影响力明显高于同期同学科领域专著，且这一差距随着时间发展日益扩大。研究结果为确立合理和有效的人文学科学术专著质量评价体系提供了参考。

关键词：学术专著;质量评价;文献计量;同行评议

中图分类号：G252 文献标识码：A DOI：10.11968/tsyqb.1003-6938.2020078

Abstract Peer review and bibliometric analysis are two main methods used for evaluation of academic monographs in the field of Humanities and social sciences， but the differences of the evaluation results using two different evaluation methods should be concerned and discussed. Focus on the Chinese History monographs， the author analyzes the citations of prize-winning works of Guo Moruo Prize in Chinese History and compares the citations of the winning books with the other works in the same subject field in the same period to explore the correlation between the two evaluation methods of academic monographs and found that the results of peer review is significantly correlated with the result of bibliometric analysis. And the academic influence of academic monographs selected by peer review is significantly higher than other monographs in the same period.

Key words academic monograph; quality evaluation; bibliometric analysis; peer review

1 問题提出

2018年中共中央办公厅和国务院办公厅印发《关于深化项目评审、人才评价、机构评估改革的若干意见》，要求“克服唯论文、唯职称、唯学历、唯奖项倾向，注重标志性成果的质量、贡献、影响”;随后国务院又印发了《关于优化科研管理提升科研绩效若干措施的通知》，提出要“建立以创新质量和贡献为导向的绩效评价体系”。然而，“破四唯”之后，要采用何种方法来评价学术，并不是一件容易的事，尤其是在人文社会科学研究成果的判断上。众所周知，以人类精神世界和人类社会作为研究对象的人文社会科学，存在着价值判断的间接性与语境性、研究内容的民族性和本土性，以及研究结果的不可重复性等不同于“科学”的特质;这些特质造成了人文社会科学研究成果质量评价的困难。目前应用于人文社会科学学术专著评价的两种基本评价方法——同行评议和文献计量方法，分别对应于内容评价和形式评价，但都存在一定的局限性。原因在于，人文社会科学领域的专家主观评价无法全然排除受到学术门派、学术偏好、人情关系以及当下社会语境和意识形态的影响;而计量方法虽貌似客观公允，但毕竟是一种从研究成果的外在形式进行分析判断的方法。人文社会科学评价涉及价值判断、历史判断和道德判断问题，仅凭文献计量指标，能否对这些研究成果特别是人文社会科学研究领域最为重视的学术专著的内容质量给出实质性评价存疑。

如何找到相对公正、合理、有效的学术专著评价方法，是人文社会科学成果评价，特别是学术专著评价的突出问题，而要解决这一问题，首先需要厘清同行评议和计量分析这两种方法之间的内在联系，了解这两种方法在评价同一对象的过程是否存在差异，如果存在差异，这个差异又表现在哪些方面？有鉴于此，本研究拟从人文社科领域最具代表性的历史学科的专著入手，从同行评议和文献计量分析两个角度对专著质量评价的异同进行比较。

2 文献回顾

学术专著是对某一学科、领域、专题进行较为集中、系统、全面、深入论述的著作[1]。由于人文社科学术专著所论述的内容相比自然科学来说，具有内在的广泛性、复杂性和社会性[2]，因此在人文社科领域中，学术专著是一种比期刊论文更具优势的文献类型[3]。相较于已经相对成熟的期刊评价体系，目前学界尚未形成完善的学术专著质量评价标准，对于人文社会科学图书评价的研究仍处于摸索阶段。现有的人文学科学术专著评价方式主要包括书评、同行评议、图书被引等，其中同行评议是较为主流的评价方法。

同行评议是学术同行专家借助长期以来积累形成的专业知识和认知结构，完成观念性建构并评价的过程，显示了在评价活动中评价主体的能动性和创造性[4]。自20世纪80年代以来，国内人文社会科学类研究成果评价经历了从较为单一的同行评议到同行评议与文献计量分析相互补充的综合评价演化过程，文献计量方法可以提供组织性、结构性较强的描述数据，通过对图书的被引量化分析体现著者的研究成果被他人认可、利用的程度及效度，反映该书籍的学术价值及著者的学术影响力[5]。

关于人文学科学术专著的评价标准应当如何建立，如何平衡定量评价和定性评价之间关系的讨论一直存在。2009年借助CSSCI，苏新宁[6]对我国人文社会科学图书学术影响力进行了引用分析，制定了最有学术影响力图书的入选标准，并在2011年的《中国人文社会科学图书学术影响力报告》中公布出人文社会科学21个学科的具有较大学术影响的3140种图书。2010年任全娥[7]设计了人文社会科学成果中论文成果、研究报告成果与著作成果的评价指标体系。同年，叶继元[8]建立了形式评价、内容评价和效用评价的“三位一体”全评价体系框架，指出了当下人文社会科学学术图书评价的主要瓶颈问题是工作量大、内容评价费时费力、学术图书的非定量化、非公式化特征以及非共识性特征。2016年张艳丽[5]以社会科学文献出版社应用性研究成果皮书的内容评价为案例，对皮书的评价指标、评价方法进行分析。2018年张艳丽[2]又从核心性指标、基础性指标、结果性指标三个角度构建了人文社会科学类学术图书评价指标。2019年王伟和杨建林[9]从学术影响力和社会影响力的10个维度出发，构建了外译图书评价体系。近年来国际上对于学术专著评价的研究热度仍在增长。国外图书评价的主要形式是书评，替代计量学作为新兴的计量指标，也逐步被应用到学术专著学术影响力的评价中，BookMetrix等基于替代计量学的学术图书评价工具被开发出来。

综上所述，目前关于人文学科学术专著质量评价的研究集中于评价体系的建立和评价指标的设计，而对以文献计量为代表的定量评价和以同行评议为代表的定性评价之间的关系则讨论不深。然而，在无法明确专家主观评价结果和文献计量客观评价结果是否存在一致性的情况下，其实很难作出如何在人文社科领域的学术专著评价中，将专家评价和计量评价这两者进行整合或取舍，进而讨论人文社科学术专著质量评价标准的问题。

3 研究设计

3.1 研究对象

为验证在人文学科中通过文献计量分析得出的学术专著评价结果与同行专家评价结果之间是否存在一致性，本文选取历史学学术专著展开调查。史学是人类知识体系最古老的分支之一。伊曼纽尔·沃勒斯坦[10]在《开放社会科学》一书中详细阐述了现代社会科学完成制度化的过程，最终形成了一个三分格局：一端是数学和各门实验自然科学;另一端则是人文科学尤其是哲学、文学、艺术;介于这两者之间的是社会科学。用沃勒斯坦的话说，“历史学、经济学、社会学和政治学合演了一首四重奏，它们从19世纪中叶直到1945年逐渐成为大学里的一些正式学科”，并共同构筑了一个可以“社会科学”命名的制度化的知识领域。现代史学之所以被看作社会科学范畴，原因在于其主要研究方法遵循了经验科学的原則，即从历史事件或现象中概括、总结并归纳出历史过程的规律性，进而做出预测和验证，因此现代史学属于经验科学。而中国传统学术不分科，于两汉时期逐渐形成的经、史、子、集四部分类，至清代编撰《四库全书》时已成为中国传统学术之定式。传统史学以历史叙事为主要话语形态，史部主要以纪传、编年、纪事这三种形式记录我国古代漫长浩瀚的历史，尤其重视治国治世之理念以及朝代更迭之教训。

历史学到底属于社会科学还是人文学科，学界向有争议。历史学在美国的学科设置中多放在社会科学的门下，在中国则列入人文学科领域。尽管中西方在思维方式上存在较大的区别，但有一点是共识，即实证主义已成为史学的主流，历史学的宗旨不仅在于记录过去，更在乎探究人类社会发展的内在规律，历史学是建立在探究基础上的近代知识形态[11]。事实上《国家社会科学基金项目申报数据代码表》对于学科的分类中就包含了中国历史、世界历史、考古学类，说明我国学界对于历史学的学科定位是介于社会科学与人文学科之间的。结合中国的传统与现实，可以认为历史学是一门兼具社会科学与人文学科两者特征，是人文社科领域中最具有标识意义的学科[12]，以此为研究对象来讨论人文社会科学的成果评价问题，更具普遍性意义。

1998年在中国社会科学院的支持下，设立郭沫若中国历史学奖，该奖具有较高的学术认可地位。其获奖作品主要是通过同行专家对中国历史学研究优秀学术专著进行内容审读后评选出的，能够比较充分的呈现同行评议这一评价方法在学术专著评价方面的结果。郭沫若中国历史学奖的评奖范围是中国历史研究领域的学术专著。迄今为止共举办了五届，出版年限分别为1988-1992年、1993-2000年、2001-2005年、2006-2010年和2011-2017年，获奖图书共计为147部，其颁奖年份分别为2000年、2002年、2007年、2012年和2018年，颁奖年份要稍晚于出版年份。

本文以五届郭沫若中国历史学奖的获奖图书作为研究对象，调查获奖图书被引情况，以及其与同时期出版图书在被引情况上的异同，分析获奖图书是否比同时期历史学专著更具有学术影响力，以此判断同行专家主观评价和文献计量客观评价结果之间是否具有一致性。其中，对于多个版本的获奖图书，本文选取获奖名单上指定出版社出版的最早版本来进行调查;对于同时期中国历史学领域的专著，以在每届郭沫若中国历史学奖规定出版期限内中图分类号为“K2 中国史”检索到的学术图书为准。

3.2 研究方法

学术图书评价之所以成为困扰学界与出版界的难题，原因之一是缺乏广泛收录学术图书评价信息的数据库。由于学术图书的引用往往时间周期较长，从出版到被引用，再到引用图书出版及数据被最终统计需要经历一段较长的时间，且作者在撰写学术图书过程中“用而不引”现象较多，数据获取不易。2017年南京大学发布了“中文学术图书引文索引”（Chinese Book Citation Index，CBKCITM），收录了1992年以来中国大陆出版的中文人文社会科学原创学术专著21个学科5000余种，但从目前的使用来看，收入专著数据较少，以人文社科领域中学术出版数量较多的历史学科来说，仅有345部，尚不具有学术评价功能。相比之下，超星的读秀技术有限公司2011年即发布了“读秀图书引用情况报告”;目前超星电子图书是国内最大的以图书为主的数字图书馆，超星中文发现系统可以整合超星电子图书及CNKI、万方和维普数据库检索，提供图书和期刊上的全部引用文献。

因此，本研究选用超星中文发现系统作为数据采集工具，获取郭沫若中国历史学奖获奖作品的相关引文信息，为了实现获奖图书与同时期出版的历史学专著的比较，将分析指标分为2个维度：

（1）获奖专著的被引及引用情况分布：包括获奖图书的被引总量、引证期刊总量、引证图书总量、年被引频次、年引证期刊量、年引证图书量、被引峰值年。

（2）获奖专著与同期出版专著被引情况比较：评奖期间中国历史学研究领域获奖图书的平均被引频次，与评奖期间所有中国历史学研究领域专著的平均被引频次。

4 结果分析

4.1 获奖专著的被引情况分布

4.1.1 被引频次分析

根据调查结果，得出郭沫若中国历史学奖五届获奖图书年被引频次总量的变化情况（见图1）。由图可知，五届获奖图书的总被引频次自1988年奖项成立开始至2009年基本呈线性上升趋势，2004年开始上升幅度变大，2009年总被引频次达到第一次峰值。2009年后获奖图书的总被引频次在短暂下降之后又迅速回升，并在2012年达到第二次峰值，2014年之后呈急速下降的趋势。依据历时法观察，从被引总频次看学界对于获奖图书的关注度是逐届下降的，第一届的影响远甚于之后的四届。且就数据的表现来看，历史学著作的被引周期比较长，以1988年的第一届为例，其被引频次总量的高峰出现在2008年，时间跨度达到20年。

进一步将引证文献类型分为图书和期刊等不同类型，由此得出郭沫若中国历史学奖五届获奖图书的引证图书与引证期刊总量所占比重情况（见图2）。

可以发现，除第一届获奖图书以外，其他四届获奖图书的引证期刊总量所占比重都超过引证图书总量，且距今越近两者相差越大。这一现象一方面反映了学术环境的变化，学术期刊在人文社会科学领域的影响正越来越大;另一方面也揭示出一个现象，从长时段上看，学术著作仍可能赢回其影响力，这一点比较清楚的体现在第一届获奖图书的引用情况中，其引证图书总量的比重要远远超过引证期刊。

如果将获奖图书的引证期刊量和引证图书量以时间序列排列可以得出其变化趋势（见图3）。

从变化趋势可以看出，获奖图书的年引证期刊总量在2005年以前呈缓慢上升趋势，上升幅度至2005年开始加大，直至2011年达到峰值，2011年之后获奖图书的引证期刊总量呈大幅波动的下降趋势。获奖图书的引证期刊总量与引证图书总量以2007年为界，在2007年之前，引证图书总量较引证期刊总量高，而在2007年之后引證期刊总量超过了引证图书总量。

4.1.2 被引峰值分析

被引峰值年指将文献出版年视为0年，在一定期限之内被引频次最大的年份。论著被引的次数可能会在某些年份达到最大值，即之前与之后年份的被引量都明显低于这一年，称之为“被引峰值”。一本论著在其被引曲线中可能会出现两种高峰值，一种是“被引峰值”，即“全局顶峰”，是论著出版以来达到年度最高被引数量的时刻，标志着论著扩散的速度达到最大值，之后每年的被引数量开始衰退;另一种是“局部高峰”，即年度引文数量仅在某一时间段内表现出峰值，而其他时段内可能存在另外的峰值。

鉴于郭沫若中国历史学奖前四届获奖图书已基本完成了一个被引周期，故本文以第一种高峰值作为分析要素。一般认为科技论文的被引峰值年通常为1-2年[13]，张磊[14]认为，中国史研究在我国历史学中占主导地位，从文献半衰期的测量来看，我国历史学研究（2003-2012）的老化速度慢，平均被引半衰期接近10年。本研究的调查结果与张磊的研究基本一致。对历史学科五届获奖图书在1988-2019年期间的平均被引峰值年进行研究，得到其分布情况（见图4）。

其中，第五届获奖图书（2011-2017年）由于出版时间较近，尚未达到历史学的文献半衰期，因此其被引峰值尚不能确定。第四届获奖图书的被引峰值平均出现在4年后，第三届获奖图书的被引峰值平均出现在6年后，第二届获奖图书的被引峰值平均出现在9年后，第一届获奖图书的被引峰值甚至平均出现在19年后。方红玲[15]认为，引用半衰期越长，被引峰值来得越晚，总体而言人文学科的引用半衰期较自然学科长，其被引峰值也出现的更晚。但从史学领域这五届郭沫若奖获奖图书的被引总体趋势上看，中国史领域的研究进程似乎正在加快，其半衰期也在缩短。

4.2 获奖作品与同期历史学专著的被引情况比较

比较获奖图书与同时期中国史学领域图书被引情况，对比这五届郭沫若奖获奖图书平均被引频次及同期图书平均被引频次（见表1），其中获奖图书平均被引频次以（均值±标准差）的形式表示：

学术专著的被引频次反映该文献被其他文献引用的情况，在一定程度上反映该专著在该领域内的学术影响力，从表1中可知，前三届郭沫若中国历史学奖获奖图书的平均被引频次都明显高于同时期中国史领域出版图书，两者之间差距随着年代靠近逐渐缩小，并在第四届同期图书被引频次以极小差距反超了获奖图书平均被引频次。第五届获奖图书由于出版年代较近，其被引频次较低，但获奖图书的被引频次仍较同期图书高。由此可见，根据同行评议评选出的获奖图书的学术影响力对比同期其他图书来说确实位于一个较高水平，且随着时间发展这一优势逐渐凸显出来。

根据调查结果，将五届获奖图书平均被引频次及同期图书平均被引频次绘图比较（见图5）。

从图5可知，人文社科学术专著内容的学术价值需要时间才能被发现，历史学研究理论和观点的影响力周期相对较长，需要相当长时间之后才能在研究领域内发挥出本身的学术影响力。在中国历史学研究领域，年代越远，学术专著之间学术影响力的差距越大。年代越远的获奖图书在同期图书中的影响力越大，而年代越近的获奖图书由于其学术价值尚未完全凸显，在相关领域发挥影响力的水平与同期其他图书相比并没有体现出压倒性的优势。

在郭沫若中国历史学奖获奖图书与同期中国历史学专著被引情况的对比中可以发现：同行评议评选出的学术专著的学术影响明显高于同期的同学科的其他专著。五届郭沫若中国历史学奖的颁奖年代分别为2000年、2002年、2007年、2012年和2018年，而在这一时间评选出的获奖图书被引频次仍未达到峰值，根据统计结果，颁奖年份平均早于获奖图书的被引峰值出现年份之前5年，由此可见，同行专家基于对某一学科领域内学术专著的内容评价，在一定程度上揭示了该专著的學术潜力，具有一定的前瞻性，预测到了其在今后的学科中可能发挥的学术影响力。另一方面，也验证了文献计量的定量评价结果与同行评议定性评价结果是相符的。

5 结论

根据郭沫若中国历史学奖五届获奖图书的被引情况分析，可以得出以下结论：

（1）对于历史学科学术专著的评价而言，文献计量指标仍然是适用的，它不仅仅是一个定量指标，也是一种包涵定性含义的指标，引文同样反映了学术同行的主观判断：“有用”或“有帮助”。引文能够“把全部科学论文编织成一个统一的网系”，在大多数情况下，“引文是学者付给同行的硬币工资”[16]。尽管人文社会科学有其异于自然科学的特殊性，但从长时段来看，文献计量评价被证明与同行评议的结论是一致的。

（2）中国历史学领域学术专著的引证期刊量略高于引证图书量，期刊引用在一定程度上可能与社会轰动效应和即时性等时代语境特征有关。对于人文社会科学而言，历史评价和社会评价才是学术研究成果的终极评价，需要在更广阔的时间与空间范畴内对其进行深度审视。因此，一本学术专著如果被图书引用，其重要性要高于期刊引用。

（3）同行评议具有一定的前瞻性，在中国史领域同行专家基于学术专著内容的主观评价要早于被引峰值的出现时间。从文献计量分析结果来看，优秀学术专著的学术影响力明显超越同期同领域其他专著。人文社会科学是以人、人化的自然和社会为研究对象的，其研究成果无法通过实验重复验证，从某种意义上说只能通过时间和历史的检验。因此其学术价值常常不是即时性显现，有时甚至是相当滞后的。

6 结语

人文学科学术专著是学者长期研究结果的集成，凝聚了该研究领域知识理论的结晶。本研究对人文学科学术专著质量评价中的定性评价和定量评价之间的关系进行了探讨，选取以同行评议为主要评选方式的郭沫若中国历史学奖的获奖图书作为研究对象，对这五届获奖图书进行引文分析，将获奖图书与同期同一研究领域图书的被引情况进行对比。研究结果表明同行评议评选出的学术专著的学术影响力明显高于同期同学科其他专著，且这一结论与基于文献计量的定量评价结果具有一致性。

叶继元教授[8]在2010年创立的全评价体系中对于人文学科评价方法中的三个概念组合，即形式评价、内容评价和效用评价做出了定义。其中形式评价是“评价主体对评价客体内含知识的外部特征的评价”，内容评价则是对“本身特征的评价”，而效用评价是对“实际作用、价值的验证或最终评价”。基于同行评议的定性评价是根据学术专著内容，即内含知识的本质特征对其进行评价，属于内容评价。而基于文献计量的定量评价方法主要是针对学术专著被引情况等内含知识的外部特征等的评价，虽然属于形式评价，但从长时段来看，基于文献计量的定量评价不仅是内容评价的基础，也可以作为效用评价的有效参照，可以对同行评议评价结果进行验证。

故本研究认为基于长时段的文献计量评价对于人文社会科学研究而言是可行的，可以作为内容评价及效用评价的基础和参照予以使用。本研究为确立人文学科学术专著质量评价体系提供了参考，为解决在人文学科学术专著评价体系中平衡定量评价和定性评价之间的关系提供了有意义的观察视角。

参考文献：

[1] 叶继元.学术图书、学术著作、学术专著概念辨析[J].中国图书馆学报，2016，42（1）：21-29.

[2] 张艳丽.人文社会科学类学术图书评价指标构建研究[J].出版发行研究，2018（11）：70-73.

[3] 姜春林.国外人文社会科学学术图书评价研究进展[J].西南民族大学学报（人文社科版），2019，40（2）：228-235.

[4] 王兰敬，叶继元.中文人文社会科学学术图书评价的瓶颈因素及对策研究[J].图书与情报，2014（6）：82-87.

[5] 张艳丽，蔡继辉.学术图书评价实证研究——以应用性研究成果皮书内容评价为例[J].出版广角，2016（14）：36-38.

[6] 苏新宁等.中国人文社会科学图书学术影响力报告[M].北京：中国社会科学出版社，2011.

[7] 任全娥.人文社会科学成果评价研究[M].北京：中国社会科学出版社，2010：1.

[8] 叶继元.人文社会科学评价体系探讨[J].南京大学学报（哲学.人文科学.社会科学版），2010，47（1）：97-110，160.

[9] 王伟，杨建林.人文社会科学外译图书评价指标体系研究[J].图书情报工作，2019，63（4）：61-69.

[10] （美）沃勒斯坦等.刘峰，译.开放社会科学[M].北京：三联书店，1997：3-97.