人文社科学术著作评价指标体系构建及实证研究*

姜春林 郭琪琴 张光耀

(大连理工大学科学学与科技管理研究所暨WISE实验室 大连 116085)

0 引 言

学术著作作为学术成果的重要形式之一，具有信息量大、专业性强、学术影响力持久等特点，凝聚了著者多年的学术积淀。相比论文评价，关于学术著作评价，无论在评价理论，还是评价方法研究方面均较为薄弱，难以适应和满足包括代表作评价在内的各类学术评价的现实需求。以往学术著作的评价均以同行评议为主，甚至将同行评价作为唯一的评价方法。但同行评议具有难以克服的专家主观性、专家知识的局限性、评价时间的制约性等缺陷。随着网络和信息技术的发展，学术文献撰写、编审、出版、存储、传播整个流程的数字化成为发展趋势。由于技术手段的进步，图书综合评价的部分指标(如下载量、阅读量、引用率、评价数等)更易于获取，使得在网络条件下基于定量评价的基础更为可靠。与此同时，各类定量评价模型的逐步成熟，也为学术著作的科学评价带来了契机。电子图书馆、网上书店的发展及评价系统的建立也为学术著作评价研究提供了新的思路。因此，导入符合学术著作特点的基于多源多维数据的评价指标，科学合理地将其与同行评议相结合已经成为著作评价的方法论基础和主要方向。

1 文献回顾

现阶段国内外关于著作评价的研究主要集中在评价数据、基础数据库、评价指标、评价体系、评价模型等几个方面。著作评价的基础数据库研究方面，国外学者从Google Book Search、Springer图书引用角度进行的评价研究较多，汤森路透集团也推出了图书引文索引(BKCI)；国内的读秀学术搜索网站从2011年开始发布“图书被引用情况报告”，并按高被引图书的类别、作者、出版社等进行分类；苏新宁教授团队基于CSSCI引文数据，开发并完成了《中国人文社会科学图书学术影响力报告》；中国图书评论学会和南京大学合作建设的“中文学术图书引文索引”(CBKCI)项目也取得了阶段性成果；中国科学文献计量评价研究中心研制的《中国高被引图书年报》(2016版)已发布；百度学术亦能实现对学术专著引用数据的获取[1-4]。

国外在著作评价的指标与模型研究方面，White Howard D等[5]提出了librication指标，即某本书被纳为馆藏的图书馆的数量，又验证了该指标在学术著作评价中的适用性[6]。Juan Gorraiz等[7]提出在线书评可以作为图书评价的指标之一，Zuccala A等[8]、Zhou Qingqing等[9]先后使用不同评论平台的读者书评进行了图书影响力评价研究。Kousha K、Thelwall M等[10-12]提出并证实了许多评价期刊论文的Altmetric指标可用于评价图书，如：Google book citations(谷歌图书引文)、Libcitations(馆藏)、Online reviews(在线书评)、Publisher prestige(出版者声望)等。Torres-Salinas D等使用文献计量学软件证实了涵盖图书馆馆藏、浏览量、下载量及引用量等18个补充计量指标与传统计量指标的互补性[13]。

国内在著作评价的指标与模型研究方面，叶继元[14]提出“形式评价、内容评价、效用评价”三维全评价法。李雁翎[15]提出作者、出版社、图书馆、销售和网络舆情五维图书综合评价体系。张玉[16]利用层次分析法构建了包括引用、网络书评、图书利用，基金、获奖等指标的科技图书学术影响力评价体系。姜春林[17]以资源形式指标、影响形式指标、引用价值指标、图书馆馆藏指标、网络利用指标构建了人文社科著作影响力评价指标体系；利用SSCI和A&HCI数据对近30年全球人文社科书评的特征和趋势进行了分析[18]；王伟[19]以图书馆藏、图书引用、图书获奖、著者学术成就等指标构建了人文社会科学外译图书评价指标体系，并利用熵权法进行了实证分析。

从已有文献来看，国内外对学术著作的定性评价多采用书评和专家评价法；书评作为同行评议的依据在国外得到了一定认可。国内以客观数据为依据的定量评价得到较多关注，其中应用最广的是引文分析法。目前对于著作评价主要集中于书评分析、书目分析和引文分析，较多依赖单个指标和单维度评价，基于多维度的著作综合评价研究相对较少。

2 指标体系构建

2.1构建原则随着人文社会科学研究范围日益扩大，影响研究成果的因素愈加复杂，给学术专著评价工作带来更大挑战。科学、客观、公正地对人文社会科学研究成果进行评价是当前的紧要之需。为保证学术专著评价的结果更具科学性、合理性与公正性，所构建的评价指标体系需遵循科学性原则，数据透明原则，可比、可操作、可量化原则等。

2.2指标选取通过阅读统计大量文献，总结现有著作评价方法及指标，发现现有的著作评价方法大致分为形式层面评价方法和内容层面评价方法，形式层面评价方法主要为文献计量学和补充计量学(Altmetrics)两大类，文献计量学的主要评价指标大致包括获奖情况、基金资助情况、引用情况、传统使用情况(如馆藏量、销量、再版次数等)等。补充计量学的主要评价指标大致包括社交媒体的提及次数、评论数、电子文库的下载量、浏览量等；内容层面评价方法主要为引用内容分析法和著作内容综合评价法，引用内容分析法的主要评价指标大致包括引用位置、引用篇幅等，著作内容综合评价法的主要评价指标大致包括书评、媒体宣传、阅读推广、销售平台导读等。总体来讲，形式层面评价虽具有易于操作、可量化、效率高等优势，但同时也存在忽视著作内容、核心价值、知识贡献评价的缺陷；相反，内容层面评价方法虽然从著作内容出发，一定程度上能揭示著作的核心价值和知识贡献，但存在主观性强、可操作性不强、费时费力等缺陷，两类评价方法各有优缺点且呈互补关系。在对人文社科著作进行评价时，既要注重利用领域专家的专业知识对著作内容质量和学术价值进行评判，也要力求用客观数据来刻画著作影响力。基于对上述形式及内容指标的理论可靠性、可量化性、可获得性、时效性等多方面考量，综合选取了包含形式评价与内容评价指标在内的著作外部资源、著作被引、基金与奖励、书评、著作利用五个一级指标。每个一级指标下设不同的二级指标，二级指标下设三级指标，最终构建的人文社科学术著作评价指标体系、指标内涵及数据来源如表1所示，其中学科属性作为属性指标，不加入综合评分计算。

表1 中文人文社科学术著作评价指标体系及内涵

2.3指标赋权本文对人文社科学术著作进行了学科分类。根据不同指标的学科差异，结合专家调查法和层次分析法，确定不同学科分类评价指标的主观权重。利用熵权法确定各学科分类评价指标的客观权重，最后综合主客观权重值得到最终组合权重。

2.3.1 学科分类 任何一本著作都有其特定的研究内容及所属学科，不同学科类别的著作在研究内容及特性上存在巨大差异，难以用统一标准进行衡量与评估，但是同一类别内的不同学科由于其具有相似的知识属性和研究范式往往呈现相似的学科特征。以高校人文社科奖第三届至第七届获著作奖的27个学科的2175本著作为获奖著作指标特征分析的实验样本数据。本文综合考虑国家标准学科分类、人才培养学科目录、人文社科奖获奖著作的中图分类，将高校人文社科奖受理范围设置的28个学科分为人文类，社科类、综合类三大类进行分类分析，具体分类如表2所示。

表2 高校人文社科奖受理学科分类表

2.3.2 主观赋权 在评价指标确定后，邀请对该研究领域有一定研究和认识的专家和从业人员开展调查，对指标因素的相对重要性进行评估。按照著作学科类型不同，分类型开展评价，并用T.L.Saaty l-9标度值表示出来，收集10位评价专家的打分表计算平均值并取整，然后使用层次分析法对打分结果进行权重计算，最终得出的主观权重如表3所示。

表3 不同学科类别著作评价指标体系主观权重表

2.3.3 客观赋权 本文采用熵权法进行客观权重的计算，主要根据指标数值的离散程度对各项指标进行赋权。首先使用离差标准化法对2 175个样本的28个指标的样本数据进行归一化处理，然后计算信息熵、信息冗余度等，最终使用熵权法计算得出的客观权重，如表4所示。

表4 不同学科类别著作评价指标体系客观权重

2.3.4 组合赋权 主观赋权虽然可以集思广益，但是存在受人为因素影响较大的缺陷，客观赋权可以规避人为因素影响带来的偏差，但是存在过于依赖样本、无法体现评价主体对不同指标重视程度的缺陷，故本文采用乘积法计算组合权重以弥补单一赋权带来的不足，具体计算方式见公式(1)，最终构建的不同学科分类的人文社科学术著作评价指标体系如表5所示。

表5 人文社科学术著作评价指标体系

续表5 人文社科学术著作评价指标体系

(1)

其中，rj为主观赋权权重，w'j为客观赋权权重，m为指标数。

3 实证验证

3.1数据来源与数据处理第八届高等学校科学研究优秀成果奖(人文社会科学)于2019年1月开始申报，受理范围为2014-2017年，受理学科为27个。根据其审核结果公示，共计有9 405项申报成果符合申报要求。本文以哲学(206项)、社会学(88项)、管理学(324项)，去除英文著作16项，多卷本25项，剩余哲学(179项)、社会学(83项)、管理学(315项)共577项申报成果为本文实证对象。以申报著作的名称、著者、出版年份及出版社作为源数据，从中国国家数字图书馆及中央宣传部出版物数据中心上获取该著作的ISBN号，从CSSCI上获取该著作的被引次数；使用ISBN号为源数据从读秀数据库上获取该著作的馆藏数量、总被引次数、被图书引用次数，并获取该著作的豆瓣评论、当当图书评论以及畅想之星电子图书馆的阅读、荐购、下载、收藏次数。并以前期对期刊书评、报纸书评的数据集为数据库，获取该著作的报纸书评和期刊书评数据。

3.2实证验证以哲学、社会学、管理学作为人文类学科、社会类学科和综合类学科的代表，根据构建好的指标体系和标准化后的样本数据计算综合评分并排序，预测可能获奖的著作。本研究将利用本指标体系计算出的各学科申报成果综合得分排名前20% 左右的申报成果记为拟定获奖成果，前2% 记为一等奖，将排名前3%～12% 记为二等奖，将排名前13%～17% 记为三等奖，其后将根据本体系得出的获奖名单与实际获奖名单对照分析，以证实本体系的有效性与可行性。

3.2.1 人文类著作评价指标体系验证结果 第八届高校人文社科奖的申报项目中哲学类中文单行本著作成果共计179项，根据本指标体系预测获奖著作30本，其中一等奖4本，二等奖17本，三等奖9本，评奖办根据其评审办法评审获奖30本，其中一等奖3本，二等奖18本，三等奖9本，预测获奖著作与实际获奖著作对照如表6所示。其中是否获奖预测与实际一致的共计14本，获奖等级预测与实际一致的共计9本，预测获奖著作的综合评价结果与著作实际获奖结果具有较高的相关性，个别著作的预测评价结果与实际获奖结果差异较大，这与人文社科学术成果奖评审过程中可能出现的主观倾向与人为平衡现象有关。

表6 哲学预测获奖著作VS实际获奖著作

续表6 哲学预测获奖著作VS实际获奖著作

从综合评价结果来看，根据本评价指标体系获得的人文类著作排名结果及预测获奖结果与实际获奖结果之间相关度较高，具有合理性。获得一等奖的《仁学本体论》其综合评分也稳居第一位，其它两本获得一等奖的论著其综合排名分别处于第37、54位，也处于较高排名，获得二等奖的论著其综合排名大部分处于70位之前，只有个别处于100位以上，这与论著的研究主题及著作类型均有一定的关系。获得三等奖的论著其排序也均在80位之前，无异常数值。

3.2.2 社科类著作评价指标体系验证结果 第八届高校人文社科奖的申报项目中社会学类中文单行本著作成果共计83项，根据本指标体系预测获奖著作14本，其中一等奖2本，二等奖8本，三等奖4本；评奖办根据其评审办法评审获奖14本，其中一等奖3本，二等奖9本，三等奖2本，预测获奖著作与实际获奖著作对照如表7所示。其中是否获奖预测与实际一致的共计7本，获奖等级预测与实际一致的共计5本，预测获奖著作的综合评价结果与著作实际获奖结果具有较高的相关性。虽然个别著作的预测评价结果与实际获奖结果差异较大，也恰恰说明学术著作评价的复杂性和一定程度的不确定性。

表7 社会学预测获奖著作VS实际获奖著作

续表7 社会学预测获奖著作VS实际获奖著作

从综合评价结果来看，根据本评价指标体系得出的社科类著作排名结果及预测获奖结果与实际获奖结果之间相关度较高，具有合理性。获得一等奖的《当代中国的阶层结构分析》其综合评分也稳居第一位，其它两本获得一等奖的论著其综合排名分别处于第34、40位，也处于较高排名，获得二等奖的论著其综合排名大部分处于40位之前，只有个别处于50位以上，这与论著的研究主题及著作类型均有一定的关系。获得三等奖的论著其排序分别为14、46位，也处于较高排名。

3.2.3 综合类著作评价指标体系验证结果 第八届高校人文社科奖的申报项目中管理学类中文单行本著作成果共计315项，根据本指标体系预测获奖著作54本，其中一等奖6本，二等奖32本，三等奖16本；评奖办根据其评审办法评审获奖56本，其中一等奖7本，二等奖38本，三等奖11本，预测获奖著作与实际获奖著作对照如表8所示(由于篇幅限制，本文只列出了综合得分排名TOP30的著作)。其中是否获奖预测与实际一致的共计12本，获奖等级预测与实际一致的共计3本，预测获奖著作的综合评价结果与著作实际获奖结果的相关性并不高，这其中存在多方面的原因。因为管理学等综合类学术著作多偏向于应用型学术著作，对于此类著作评审时，是否有决策被采纳这一指标应该占有重要比重，但是在本指标体系中这一指标数据难以采集，故在构建指标体系中并未添加这一指标。在实际评审过程中应当由申报人提交是否有意见被采纳、采纳部门及佐证材料等辅助评审，其次也可能存在学术成果奖项评审过程中主观判断与人为平衡现象。

表8 管理学预测获奖著作(TOP30)VS实际获奖著作

续表8 管理学预测获奖著作(TOP30)VS实际获奖著作

从综合评价结果来看，根据本指标体系得到的综合类著作排名结果及预测获奖结果与实际获奖结果之间并无显著相关性，此类著作获奖评审更加着重于其应用价值。获得一等奖的《中国土地和矿产资源有效供给与高效配置机制研究》《土地整治规划设计研究》《扶贫开发与区域发展——我国特困地区的贫困与扶贫策略研究》等其研究主题都与现下社会热点问题息息相关，且对于国家相关部门解决具体问题具有一定的参考借鉴作用；获得二等奖的《中国农村养老保险体系框架与适度水平》《中国社会保障税税收设计研究》《基于博弈论和CGE模型的碳税政策研究》《企业创新生态系统论》等学术著作，其研究问题多为社会或是企业管理长期关注问题，且为这些问题的解决提供了适当的参考建议。

4 结论与讨论

总体来看，人文类与社科类学术著作综合排序及预测获奖结果与实际获奖结果一致性较高。当然也有些不一致的地方，其原因是多方面的。首先，由于著作的类型不同，部分著作由于被指定为教材或教辅读物，其图书利用率可能会受此影响；其次，由于著作的研究主题不同，被引或被利用的频率与其研究主题是否为热门主题有很大关系，但不可否认非热点研究话题的学术价值与社会价值；再次，由于不同著作的出版时间不同，部分指标可能会受时间因素的影响。例如出版较早的著作在参评时比出版较晚的著作更具优势。不过体系中添加年均被引来平衡这一差异，且著作评审时间一般都过了著作被引高峰。如第八届申报时间为2019年，参评成果范围为2014-2017年出版的著作，而被引高峰一般发生在其出版的第二年；此外，由于指标体系中的多数指标数据是来自搜索引擎的搜索结果，偶然出现的错检、漏检现象可能会对评价结果有一定的影响。由于学者的工作单位不是一成不变，本研究中虽然在智能采集后进行了人工辨别，但是难免会有纰漏；最后，学术著作获奖与否一定程度上受到人为因素的干扰，如不同科研机构之间获奖数额的平衡以及著者学术地位的影响等。总体来说，本研究所构建的评价指标体系对人文类和社科类学术著作评审具有一定的合理性与可操作性，可以作为著作类学术成果奖项评审时的参考依据，可经过不断的实践检验而逐步完善，以降低仅依赖专家评审的时间成本及经济成本，提高评奖过程的客观性。

综合类学术著作综合排序及预测获奖结果与实际获奖结果相关性不高，其主要原因在于综合类学术著作偏向于应用型的学术著作更多，在此类著作评审时，可将决策建议被采纳作为主要评审指标，本文由于数据采集难度大并未添加这一指标。在综合类学术著作评审时可由申报者提供是否有决策建议被采纳的相关佐证材料。本指标体系的评审结果可为此类著作评审提供参考作用，帮助评判著作的学术影响力及部分社会影响力。

学术评价是一项高度复杂和极具挑战性的工作，任何评价方法都不可能十全十美。学术著作评价的关键除了构建科学合理的评价方法体系，还需要构建与评价方法相适应的评价治理体系。在著作类成果评价治理体系中直接或间接存在多种显在和潜在的委托代理关系。如高校人事部门与评聘委员会、文献数据提供者、学会协会、出版社就是委托代理关系。委托代理关系的存在与运行或者需要建立一套正式制度，通过制度契约来保障双方责任的履行，如著作评价的正式文件；或者通过潜在的非正式的心理契约来履约，如专家声誉和第三方机构独立性。为降低评价“交易成本”，避免“合谋”，有必要建立信息公开和监督机制；为了实现评价的公信力，有必要建立结果公示机制、反馈机制、争议投诉机制。在评价治理体系的建构中，要注意发挥专家同行评议和科学计量评价方法各自优势。

专门的书评书目数据库对于著作评价体系完善有着积极的推动作用。我国需要尽快推动专业机构或者数字企业建立包括报纸书评、期刊书评、社交媒体书评、著作序跋在内的专业书评索引库，以更好地支撑学术研究、服务学术评价和科研管理。国内可借鉴美国 Book Review Digest 和 Technical Book Review Index 综合类和专业类书评索引建设经验，依托有影响力的数据公司及学术评价机构建立我国的专业书评数据库和索引库。

当前国内外部分学者正致力于基于全文本分析的引文指标的研究，试图使用技术手段使学术评价中关于内容的评价更加可视化，即通过施引文献全文数据的获取、引用信息识别、引用语境识别、引文指标计算等方式，分析被引文献在施引文献中的引用次数、引用位置及引用语境等，从而分析被引文献在施引文献中的作用，但是这一方法多用于论文评价，由于著作体量大及技术手段限制，较少被用于著作评价。随着技术手段的跟进，此类指标的加入将使学术著作评价指标体系得以进一步完善。