代表作视角下的期刊评价指标研究

周春雷 杨前 汪巧红 丁倩文 杨昭

关键词：C10指数；代表作；评价理念；期刊评价；代表性论文；引文；精品率；诊断

1 引言

期刊影响因子一经问世就产生了深远的影响，但也饱受非议。其笼统的计算方式存在“吃大锅饭”式利益均沾色彩，也容易以精确、客观的“第一印象”误导不明就里者，影响因子“牛刊”甚至可以引领时髦研究。期刊影响因子虽与期刊论文的质量有一定的关系，但并不能表征所有个体论文的质量。《关于科研评价的旧金山宣言》[1]明确指出影响因子并不是衡量论文质量的指标，应大幅减少将影响因子作为期刊宣传手段的行为。随着“破四唯”“破五唯”指导意见的提出，内在质量重新成为衡量论文价值的重要标准，国内学术界也开始高度重视“代表作”评价问题。[2]学术代表作评价制度最早由个别高校尝试性使用，之后被广泛应用到职称晋升[3-4]、人才评价[5]、项目评审[6]等各类学术评价活动中。国外虽没有与国内应用场景相对应的专业术语，但也有类似要求，如：英国RAE和RAF体系要求高校教师提交“高质量出版物”[7]；荷兰大学协会在科研评价过程中除需科研人员提供出版物列表外，还需提供5份代表性出版成果及其质量和声誉等数据。[8]这些实践活动为“代表作”这一术语塑造了职称评审专用的狭窄内涵，容易让人产生“代表作”需由评价者、评价对象双方共同认定方才有效的刻板印象。事实上，即使是历史上的知名学者，不同时代的后人对其代表作也可能有不同的见解。笔者认为，“代表作”是一个内涵丰富、富有学术号召力的术语，不宜用狭隘、静态的认知框定其演变潜力。

本文对目前尚无定论的“代表作评价理念”采取开放、宽泛的理解，认为学术共同体的公开评议信息和学术授信结果[9]可以在动态建构“代表作”认知、认定代表作方面发挥积极作用。基于对期刊学术传播功能的认知，本文将那些得到学术界广泛关注、能够代表期刊学术水平的论文视为期刊的代表作，尝试利用大规模引文数据研究期刊的学术引领力、号召力具体体现在哪些方面。

2 期刊评价指标设计

笔者认为，优秀期刊与优秀论文之间存在相互成就关系。虽然期刊作为成果传播平台在识别、完善、推广论文的过程中发挥着非常重要的作用，但依然需要厘清一个根本性问题：学术繁荣的原动力在于创新性知识的不断产出，优秀期刊只是优秀论文的临时性集体符号，其本身并不生产优秀论文，反而是优秀论文的动态汇聚塑造了个体期刊千差万别的学术地位。学者们通常因关注自己感兴趣的论文而进一步留意其发表载体，期刊级别只能在受众初次接触论文时传递某种意义上的声望或质量信号，发挥一定的品质保证作用，吸引读者阅读、思考。在学术成果影响力数据匮乏、采集成本较高的情况下，“影响因子”可以作为指示信号大体表征论文平均质量，为各种量化管理提供便利，也为高影响因子期刊招徕了大量读者。但这种曾经盛行的评价理念将学术成果质量评价话语权赋予成果发表平台并不妥当，容易出现影响因子滥用现象，引发重期刊轻论文的思想，甚至出现“核心期刊崇拜”或“影响因子崇拜”等问题。

近年来，关于影响因子的反思、批评甚至连累了其他基于引文数据的量化指标，不少人认为“评选代表作”比使用引文指标更科学，更能体现同行评议思想。事实上，基于高质量引文数据的量化评价与同行评议并不矛盾。引文数据原本就是学者们在正式学术交流系统中留下的印记，是同行学者长期相互评议、引用的结果，利用高质量引文数据进行分析历来是低成本获取同行评议意见的有效手段。用引文数据筛选能够代表期刊水平且引发关注的论文完全行得通，也是大范围获取同行评议意见的现实选择。例如，笔者团队[10]在研究图情领域人大复印报刊资料转载论文的影响力时发现，学科专家们甄选出的论文与根据引文数据筛选出的高影响力论文集合大体相符。

在学术交流过程中，学者们会对有价值的成果做出引用、评论、推荐等行为，这些或显性、或隐性的学术授信标记会对后续研究者产生一定的影响，那些能够得到学界同行关注与认可的成果将率先成为高被引论文。随着时间的积累，关于特定期刊的学术授信信息会在学术交流系统中演化为清晰的学术声望信号，而那些成功吸引众多优秀论文入驻的期刊将成为知名学术传播平台并在特定议题上拥有话语权，从而吸引更多关注。虽然高被引未必意味着学术价值非常突出，但我们根据常识也很难相信学术价值很大的成果会长期无人关注、引用，而且这种现象还会普遍存在。

基于上述思考，本文尝试通过为引文数据设置一定的门槛来发现那些给期刊带来关注和声望的代表性论文，进而考察特定期刊的学术引领力和学术号召力。

2 . 1 C 1 0指数。笔者基于代表作评价理念构建了一种能够表征评价对象长期学术声望的评价指标：C1 0指数（Classic Articles in 10 Years，十年经典论文数），其含义为评价对象在10年内发表的被引次数不低于10次的论文数量，这些论文可称为C10论文，即评价对象的代表性论文。C10指数含义简单、计算简便，适合对发表较多成果的评价对象进行测度和比较，如期刊、知名学者、科研机构、国家或地区等。

在默认情况下，C10指数测度的是评价对象近十年来推出代表性论文的数量。若指明时段，C10指数也可用于测度评价对象在不同时段的学术影响。

C10指数的背后是一篇篇可供任何人核验的高被引论文，与反映期刊平均水平的影响因子指标形成了鲜明对照。对于期刊来说，C10指数可直观地反映期刊吸引优秀论文的能力。为保障评价的科学性，计算所需的引文数据应来自学术公信力较高的数据库，如CSSCI等。对于国内社科成果来说，要求某篇论文获得不少于10次来自CSSCI数据库的引用其实是一个相当高的门槛，这意味着它吸引了至少10篇CSSCI论文的关注，称其获得一定规模的同行评议应不为过。

2.2 期刊精品率指标。C10指数测度的是评价对象10年内推出代表性论文的数量，能有效筛选出学术声望较高的期刊。为进一步探究期刊识别高水平论文的能力与效果，本文在C10指数的基础上设计了期刊精品率这一衍生指标，用于期刊自诊或对不同期刊进行横向比较。其计算方法见公式1。

2.3 基于C10指数及衍生指标的期刊评价流程。①获取目标期刊的发文与被引数据。选定目标期刊，确定测度的时间区间，获取目标期刊在相应区间的发文与被引数据。②对引文数据进行增强处理。对引文数据进行引用关联与字段扩充，建立增强型期刊引文数据库。③计算目标期刊C10指数与精品率。对增强后的期刊引文数据进行统计并筛选出评价视域内被引次数≧10次的论文，这类论文数即为期刊C10指数，再通过公式1计算期刊精品率，用于筛选优质期刊及其代表性论文。④揭示期刊学术声望。C10指数即期刊代表性论文的数量，精品率是期刊拥有代表性论文的占比情况，通过探测长时段内期刊代表性论文数量及占比情况，揭示期刊学术声望。⑤验证本文所提指数的有效性。将通过C10指数及其衍生指标筛选出的结果分别与国家社科基金资助期刊、高等学校科学研究优秀成果奖（人文社会科学）获奖论文所属期刊进行对比，以验证本文所提指数的有效性。详情见图1。

3 实证研究

本文以CSSCI来源期刊（2021—2022）为研究对象，利用C10指数来筛选期刊近十年（2012—2021）发表的高影响力论文，结合期刊获得国家社科基金资助情况、相关论文获得高等学校科学研究优秀成果奖（人文社会科学）情况，检验该指数在识别优质期刊及期刊代表作方面的有效性。

3 . 1 数据来源。①获取期刊发文和被引数据。笔者在CSSCI来源期刊目录的基础上剔除无法从CNKI获取发文数据的期刊、报纸，得到582种期刊，然后从CNKI、CSSCI分别采集其发文和被引数据。由于工作量较大，采集十年载文量数据时直接采信CNKI提供的年度分组结果并进行简单汇总，其中难免混有少量稿约、通知类记录，可能与期刊的有效论文数略有出入。据本文统计，2012年—2021年被引次数≧1次的CSSCI论文约44万篇，其中被引次数≧10次者有36 342篇。②获取国家社科基金资助期刊数据。笔者从全国哲学社会科学工作办公室网站“资助期刊”版块、《国家社会科学基金年度报告2021》等途径采集数据，并利用CNKI期刊导航数据库调查标记有“社科基金资助期刊”字样的期刊，然后进行汇总整理。截至2023年5月，共有214种期刊获得过国家社科基金资助，其中206种为CSSCI期刊。本文对这206种期刊不做区分，均视为国家社科基金资助期刊。③获取高校人文社科奖相关数据。由于只有第七、八届获奖论文的发表时间满足近十年这一条件，故仅采集这两届的相关数据。鉴于CSSCI适合研究中文成果影响力的实际情况，本文只研究中文获奖论文。

3.2 Top100期刊分析。本文统计了不同期刊的C10论文数量，Top100期刊榜单见表1。可以看出，Top100期刊的C10指数均值为254.89，最高值达1 000以上，最低为104，即至少拥有104篇被引次数≧10次的论文。由于CSSCI期刊上发表的论文通常都经过了严格筛选，质量较有保证，而C10指数筛选出的论文多次获得这些高水平论文的引用，可在某种程度上理解为大规模同行长期自然筛选、“评议”的结果，将筛选出的C10论文视为期刊的代表作有一定的合理性。

与期刊h指数相比，C10指数具有测度范围广、区分度大的优势，能更准确地对影响力相近的期刊进行区分。在Top100期刊中，仅有3种期刊的C10值相同，我们可以利用衍生指数将其区分开来。例如，在2012—2021年这一时段内，样本期刊的期刊h指数为1～108，有6种期刊近十年期刊h指数均为27，而这些期刊的C10数值无重复且差距明显，分布在161～378之间。以同属管理学科的《管理评论》《管理科学学报》《管理科学》来说，三者的期刊h指数相同，但《管理评论》的C10值比后两者分别高189、217。

另外，笔者发现Top100期刊中既有月刊，也有双月刊和季刊，刊期因素不会对C10指数产生太大影响。例如，《南开管理评论》《中国法学》《社会学研究》《法学研究》《经济学（季刊）》等双月刊或季刊的C10指数并不逊于月刊。可见，若采用C10指数评价期刊，期刊只需心无旁骛地聚焦主业——及时筛选并发表优秀论文即可，根本无需像迎合影响因子那般刻意减少发文量。

3.3 指标有效性分析

3.3.1 指标筛选结果与国家社会科学基金资助期刊对比。为建设一批具有较强学术引领力和社会影响力的权威期刊，国家社科基金2012年设立了学术期刊资助项目，[11 ]在促进我国哲学社会科学繁荣发展中发挥着非常重要的导向作用。得到国家社科基金的资助，说明相关期刊的学术质量比较高。

本节将利用C10指数、期刊精品率指标筛选出的期刊与受资助期刊进行比较，以检验本文所提指标的有效性。经统计，国家社科基金资助过的214种期刊中共包含206种CSSCI期刊。本文利用C10与精品率指标统计了各层次期刊的受资助情况（见表2）。

由表2可知，两个指标筛选出的期刊受资助情况均较为乐观，各层次占比均在40%～50%。由于国家社科基金禁止受资助期刊收取版面费，限制了部分优秀期刊获得该荣誉的可能性，若非如此，本文指标的筛选效果可能更显著。

3.3.2 指标筛选结果与高校人文社科奖对比。教育部高等学校科学研究优秀成果奖（人文社会科学）是我国哲学社会科学领域的最高奖项，其获奖成果完全符合我们对“代表作”的认知：它们由作者们主动提交且经过了严格的同行评议审查并获得认可，而期刊所刊论文获奖体现了期刊识别优秀论文的“眼力”，将这些获奖论文称为相关期刊的“代表作”合情合理。本节将C10指数的筛选结果与高校人文社科奖获奖成果进行比较，相关数据如表3、表4所示。经核验，CSSCI论文对获奖论文的覆盖率约为95%（见表3），可见将论文发表在高声望期刊上对获奖非常有利。通过C10指数筛选出的论文对获奖论文的覆盖率为60%～65%，而联合使用满足Top100期刊或C10论文这样的条件，得到的论文集合对获奖论文的覆盖率可达77%～79%。

由表3可以推测，“发表于高声望期刊或被引次数≧10次”这样的条件可以很好地解释获奖论文的某种特征。为进一步验证这一判断，笔者先后尝试了“Top100期刊+C10论文数”“Top200期刊+C10论文数”这样的组合来观察不同集合对获奖论文的覆盖率（见表4），发现覆盖率最高可达85.83%。这样的覆盖率虽略逊于CSSCI期刊，但考虑到本文所用的C10论文仅3.6万篇，而统计时段内被引的C刊论文多达44万篇，且不说那些没有被引用的论文，本文所提方法在节约评审成本方面的优势非常明显。

由上述分析可知，C10指数能够快速筛选广受关注的论文和高声望期刊，可以对不同期刊进行横向比较，考察不同期刊识别优秀论文的“眼力”。实证研究表明，即使是备受推崇、严格实施同行评议的社科大奖也非常重视发表在高声望期刊上的论文以及能在学术界引发广泛关注的论文。因此，利用C10指标识别高声望期刊、遴选代表作切实可行。

4 结语

本文基于代表作评价理念提出能够综合反映期刊长期学术声望的C10指数，该指数倡议关注期刊识别优秀论文的能力。在此基础上，提出期刊精品率，并通过实证研究验证了所提指数的可靠性与有效性，为研究期刊评价问题提供了新思路。该指数在本质上仍然是一种重视高被引论文的量化指标，难免带有量化评价固有的局限性，所筛选出的论文中混有综述论文，今后筛选期刊代表作时可设法降低其影响。尽管如此，本文的研究结果表明：C10指数可以在一定程度上达到同行评议的效果，且实现成本较低，利用其可以实现基于大规模高质量引文数据的深度挖掘，借助众多专家学者的学术授信信息识别优秀论文和高声望期刊，为期刊、科研管理机构等提供高价值信息。对筛选出期刊的代表性论文，可以利用增强型引文数据从发文及施引论文的作者、机构、主题、地域分布等角度进行诊断性评价，评估期刊的热点追踪、主题输出及学术引领能力以综合评价期刊影响力。[12]结合诊断性评价结果，可以评估期刊的议程设置能力，帮助期刊优化栏目设置，也可以通过监测主流学术群体的关注度变化预测期刊影响力及学术地位的升降趋势，[13]帮助期刊把握自身发展水平，及时调整发展策略。

合理的期刊评价不能仅关心如何对期刊分级、分层，激发其竞争潜力，更应通过分析数字背后的深层次原因，帮助期刊找准问题，练好内功，拒绝压缩发文量以调控影响因子等无趣“内卷”操作，更好地传播学术成果、繁荣学术。期刊拥有高被引论文数量的多寡仅昭示着其研究议程设置能力和学术号召力的强弱，这可能与多种因素有关，我们要辩证看待，不能将其与期刊的学术质量混为一谈。希望本文可以为相关研究提供些许启发。