大数据时代计量学在学科评价中的应用研究

何文静 邱均平

摘 要：计量学在学科评价中的应用历史已久，大数据的涌现和计算机网络技术的发展，给计量学研究模式带来了机遇和挑战。文章从研究方法、研究工具、计量对象、评价结果四个角度，探究了大数据时代对计量学应用于学科评价的影响。认为自动化计量平台将成为计量学应用于学科发展网络的下一步趋势，学科评价中的计量学将主要从理论方法研究和在学科发展脉络深层次粒度研究两个方面展开。

关键词：学科评价；计量学；大数据；评价指标

中图分类号： G25 文献标识码： A DOI：10.11968/tsyqb.1003-6938.2016080

Metrological Application in Discipline Evaluation in the Background of Big Data

Abstract Metrology has been effectively applied in discipline evaluation for a long time， and now it confronts with challenges due to big data and rapid development of computer network. The paper analyzed the influences of big data on metrology-based discipline evaluation from the perspective of research methods， research tools， metric objects and evaluation results. The paper also claimed that the automated metric platform were supposed to come to stage soon. Then the metric researches of discipline evaluation will mainly focus on two sides， one is about theory and method of metrology， and the other lies in in-depth analysis of discipline development.

Key words discipline evaluation； metrology； big data； evaluation index

学科评价，即利用相关学术信息对学科发展的阶段、现状、水平、前景和学科结构及学科之间的相关度等进行评价。大数据时代下，越来越多的事物都以数据的形式存在，造成数据的海量增长。数据量庞大和计算机技术的发展，给基于计量的学科评价研究带来了机遇和挑战，计量对象、计量方法得到了极大地扩充。因此，分析大数据对计量学应用于学科评价带来的影响，明晰基于计量的学科评价研究今后的研究方向，将具有重要的理论意义。

1 计量学在学科评价中的应用

计量学是揭示学科发展脉络的经典方法，主要用于揭示学科发展脉络的引用网络、研究主题、研究热点和学科前沿等内容特征以及期刊、研究机构、年度分布、作者分布等结构特征。随着时代的发展，计量学在学科发展脉络中的应用有着不同的体现。

20世纪40、50年代，随着科技的发展，图书、期刊、论文等学术文献膨胀式发展，为了揭示文献特征，逐渐形成文献计量学。此时的文献计量需要研究者手工收集整理庞大的文献信息，费时费力。这一时期，解决计量分析的数据量庞大问题是主要需求。同时，早期文献计量研究者克服困难，在对物理、化学等学科科技文献的计量分析实践中逐渐发现了布拉德福定律、齐普夫定律等定律，奠定了计量学的理论基础、方法基础。

20世纪70年代，索引数据库的建立形成了引文数据库，解决了计量分析的数据源问题，使研究者无需考虑计量数据源庞大的问题，极大地提高了计量的效率。众多学者也纷纷以索引数据库作为计量分析的数据源，采用计量方法揭示学科研究热点、研究趋势等研究脉络。随着信息技术的发展和各种计量软件的出现，研究者无需考虑计算方法复杂的问题，可以方便快捷地发现某学科的研究脉络并通过可视化手段直观呈现。计量学在学科发展脉络服务的效率得到进一步提升。

可以说，索引数据库、计量软件的出现，解决了计量数据源、计量方法的难题，方便了研究者使用计量学方法研究学科发展脉络，提升了科研效率。然而在大数据时代，索引数据库和各种索引软件无法完全解决数据量庞大、数据类型多样、数据处理速度慢这些大数据带来的问题。这是因为，索引数据库是对结构化数据的存储，对于更多的半结构化、非结构化数据无法直接处理，而大数据科学评价数据来源不仅局限于传统的结构化数据，数据的多样性和复杂性给信息计量带来了新的挑战，索引数据库只能作为大数据时代计量分析数据来源的一种；计量软件虽然进一步解决了计量方法的问题，但是处理的数据类型是固定的，不能对多类型数据进行整合处理；索引数据库和计量软件都无法实现数据自动化快速处理，都需要研究者的人工参与。

为了解决上述问题，就需要进一步推动计量学在学科发展脉络中的应用深度。对多种数据源、数据类型进行多维聚合，将多种计量方法集成为数据模式，实现计量自动化，学科发展脉络实时可视化展示的计量平台，则是计量学应用于学科发展网络的下一步趋势。

2 大数据时代对计量学应用于学科评价的影响

信息网站及其学术论坛、专家博客等Web新型学术资源的不断涌现，计算机技术、计量工具的不断发展，对传统的基于计量学的学科评价研究过程中的研究对象、研究方法、研究结果都产生了较大影响。

2.1 研究方法多元化

传统计量方法主要依据科学文献产出的数量和质量，从文献的内容特征和结构特征两个方面对学科的发展现状和水平做出客观评价，主要运用的研究方法是内容分析法。随着文献数据库的引入，基于引用行为、阅读行为和下载行为的计量研究越来越多，引文分析方法和社会网络分析方法被广泛使用。社交媒体的发展给计量学研究方法也带来了许多革新，随着越来越多的科研人员在各种学术社区和社交媒体中发布、推荐、转载学术信息，Altmetrics也应运而生，它作为一种Web2.0环境下新的计量方法，更多关注Web2.0环境下用户行为的计量，可以计算用户对于一篇文献的浏览、下载、注释、评分、推荐、引用等使用场景[1]，不再局限于依靠引文数据和信息系统上有限的用户日志数据。

早期文献计量学在学科评价中的应用方法，主要集中在文献增长、老化规律及文献作者分布规律方面。传统学科评价方法包括定量方法、定性方法，其中定量方法中的文献计量法使用最广泛，主要是引文分析法、内容分析法、聚类分析法等。单一的计量方法对于跨学科评价并不合适，对自然科学和社会科学评价要区别对待，对受关注程度小的新领域的识别能力较差。因此，研究方法的整合显得尤为重要，整合具体体现在定量方法与定性方法的结合，将不同分析方法组合起来揭示学科发展。越来越多的学者考虑将多种分析方法加以综合利用。如共引聚类分析与词频分析的结合、共词分析与引文网络的结合以及同被引分析和文献耦合分析的结合等[2]。随着计算机技术的发展，科研人员在进行计量研究时不再局限于简单的数理统计分析，可以借助某些工具自动抓取网络中可获取的学术信息，并使用机器学习算法实现去人工化计量。此外，可视化方法的发展弥补了传统只罗列数字和文字的简单统计图表的缺陷，合作网络图、关键词图、雷达图等可视化展示方法能更清晰直观地揭示学科结构和发展脉络[3]，使得评价指标生动易读。

2.2 计量工具平台化

计量工具的发展主要经历了手工书目统计分析处理阶段、系统支持的各种索引数据库阶段、各种计算机辅助数据处理分析工具阶段、网络化专用数据处理软件阶段、可视化和人工智能阶段。目前，学科评价研究中使用的计量工具主要有SCI、Scopus、CSSCI等引文数据库。由于不同数据库的资源内容以及内容的揭示程度存在一定的差异，导致传统使用单一计量工具对揭示学科结构与发展存在的局限性，增加了科研人员处理和规范来源数据的难度。同时，不同计量工具对于输入数据的格式不尽相同，对学科评价的侧重点也存在较大差异，不同计量工具之间存在较强的互补性和结果上的对比性，多种工具的综合和集成可以使得结果更全面准确。计量工具的平台化是大数据环境下学科评价的需要，平台的典型特征是整合，不仅贡献资源和服务，还形成网络，充分利用外部资源和服务，对自有资源、外部资源进行深度整合。计量平台是对跨领域跨系统资源的深度整合，需要一种满足不同来源、不同种类资源总体需求的抽象的框架化的数据模型，同时还要求数据在成熟的网络框架基础上与更多的外部数据相关联。

现有阶段的学科评价分析多是分项分析，或者是对分项的简单总结，缺乏对学科发展的全局性总结分析。大量数据的易获取性和评价方法的不断优化使得学科发展总结性描述与关键性突出同等重要，每个学科主题下的亮点分析、背景介绍及关键结论都可通过计量平台进行自动化展现。科研人员不再受限于计量工具和计量方法，平台可以自动整合不同资源，系统化输出宏观及微观层面的学科评价结果，实现对学科发展、结构及学科之间关系的精准化、自动化揭示。

2.3 计量对象全面化

数据库中科学论文作为计量的主要数据来源，为其提供了数量庞大且内容丰富的研究对象。然而在大数据时代背景下，数据生成速度加快，采集实现自动化，运输和存储成本降低，数据量膨胀，这些特点都对基于科学论文的传统计量提出了挑战。大数据和云存储的发展为学科评价研究提供了良好的机遇，计量对象不再局限于科学论文，学术社区中的学术信息以及网络中普遍存在的学术信息都可以作为计量研究对象。社会媒体工具打破了传统以专著和期刊作为主要科学交流媒介的思想，越来越多的学者倾向于将自己的学术观点发布在博客、社区论坛等非正式媒介上，将开放存取平台和社交网络媒体中的交流行为考虑在内，使得计量学的研究对象得到了极大地扩充。

科学计量的研究对象囊括了一切与科学发展相关的数据，随着开放存取平台的不断完善，科研数据共享发展迅速，学者不再受制于文献和信息载体，更多关注数据、学术记录和研究者个人。与仅仅反映文献参考文献的引用记录相比，数据层面的计量更全面、系统和科学。将科研生命周期中每个环节的科研数据视为计量对象，为超越文献计量提供了全新的视角和观念，扩充了评价的计量对象。从科研人员的角度而言，科研内容需要按学科、主题组织，只有一个研究内容是不行的，按主题组织的开放出版物是符合这些要求的学术内容集合，可以包括科研观点、学术博客、学术论文、科研数据等内容。随着数据库的不断优化和发展，传统统计资料和调查报告均实现了电子化，科学计量的对象不仅仅局限于文献数据库中的科学论文，还可以扩展使用其他数据来源，如国家统计资料、相关机构网站上的数据、调查报告等。此外，随着图书专著的电子化，图书作为传统全面的学术信息资源，在一定程度上补充了学科评价体系。

2.4 评价结果系统化

大数据时代的计量是对所有学术信息的全面计量，随着开放存取平台的发展、数据获取成本的降低，学科评价中的计量对象囊括了数据库层面的学术文献信息、学术社区中的学术信息以及网络中普遍存在的学术信息，计量的结果也更加全面化、系统化。选择不同的计量对象对于评价的结果往往会产生颠覆性的影响，在保证评价的合理性和客观性的基础上，尽可能选择可以全面地揭示学科发展和结构的对象，将极大地提高评价结果的科学性和可靠性。同时，对所有评价指标的系统综合计量也使得评价结果更加可靠。以阅读数、标签数为代表的新型Altmetrics指标与传统计量指标在评价上具有非对称性，能从不同维度对文献进行揭示，结合当前的学术信息环境，引入恰当的评价指标，可以补充完善传统的以被引数量为代表的计量评价指标体系。评价对象的全面扩充和评价指标的优化完善很大程度上提高了基于计量学的学科评价结果的科学性和系统性。

3 大数据时代计量学应用于学科评价的发展方向

3.1 计量学基础理论与方法研究

传统的学科评价研究是理论、技术方法、应用共同发展的。计量平台化后，应用都通过平台自动化展现，研究方向则主要侧重于对理论和方法的创新、完善和补充计量平台底层的数据模式。以往学科评价研究中的计量结果是研究者自己计量统计的，现在通过平台自动实现了，所以研究者只需查看结果即可。既然结果呈现的难题已经解决，值得科研人员关注的是理论方法的深入研究。

3.1.1 基于多维数据聚合的学科评价

在目前的学科评价研究中，多数学者基于大型分析性数据库对学科领域的科学论文进行计量分析，运用论文数、引文数、篇均被引数、高被引论文数等指标对科研产出进行评价。但现有的文献计量研究中，其数据来源仍不足以全面客观地对学科发展进行评价，之所以不全面，是因为学科的发展水平和前景不仅体现在科学论文上，还体现在专利成果、研究报告和专著中。而且，随着开放存取的不断发展，网络发表也成为了科研人员公开其科研成果的重要途径，使得传统的基于文献数据库中科研论文的计量方法缺乏全面性、系统性和科学性。

社交网络环境下，学者们更愿意使用学术社交在线社区与开放存取平台进行学术交流和评论。基于出版物的引用已经不是学术成果传播的主要渠道，科学思想并不总是通过科学论文的出版进行传播[4]。越来越多的学者选择在学术网络社区中进行评论和推荐。通过分析这些社会化数据，了解这些非结构化内容中所表达的学科发展趋势和科研人员的学术观点，使得学科评价研究能够迅速准确地捕捉学科领域研究前沿和热点，从而使科研人员能够更为主动地把握研究走向。这种通过正式文献引用被程序忽视的科学知识，在基于科学交流的过程评价中需要被足够重视。此外，国外已经展开了数据级别计量所面对的数据出版、引用、共享等问题的相关研究，实现科研数据知识库注册系统以及数据元数据的整合，同时参考文献服务就数字资源唯一标识符（DOI）开展合作。此外，科研人员还可以整合检索系统中的用户行为数据，作为一种读者的匿名开放数据，支持数据级别计量的发展，数据级别的计量可为学科评价提供更为细致的分析和服务[5]。通过引入基于数据级别的计量，激励科研人员共享科研数据，并为学科评价提供更为全面的计量对象。

由于期刊发表具有滞后性，增加学术开放平台、学术社区、社交学术信息是否更能反映最新的研究进展，都决定着评价结果的质量。如何从海量分散的信息源中获取准确有效的揭示学科发展动态的信息，如何组织和处理大量的非结构化数据，这些问题都需要科研人员解决。实现基于期刊文献库、学术博客、学术社区中的学术信息和网络中普遍存在的学术信息的多维数据聚合，是未来计量学的主要研究方向。

3.1.2 计量评价指标的拓展革新

传统的学术文献的计量评价指标主要包括被引频次和期刊影响因子等，但仅仅通过被引频次等信息无法全面评估学术文献的影响力[6]。JCR（Journal Citation Report）从期刊层面对学科的发展现状、水平和前景等做出评价，共有六个评价指标：总引文数、论文数、学科期刊数、学科集合影响因子、学科集合被引半衰期和学科集合即时指标。有学者基于社会科学和自然科学两个不同分类对学科进行评价，认为传统JCR的六个指标在学科评价中具有局限性，利用JCR或SCI的引文数据进行科研评价只适用于单一学科，并不适用于边缘学科或交叉学科[7]。

在新的学术交流模式下，传统的计量评价指标无法适应大众化参与的特点，如随着数字化的不断发展，科研成果的发布不再局限于期刊、图书等正式出版渠道，更多科研成果会发布在提供开放存取的数字交流平台中，科研人员也积极在各种学术社区中进行多样化学术交流，如评论、推荐、标注、下载、转发等。因此，新环境下必须引入多元化的指标来对文献影响力进行更全面、更广泛的测度。

Altmetrics是在社交网络工具和开放存取广泛应用于科学交流活动和科学成果出版的背景下产生的[8]。它将开放存取平台和学术社交网络视为引文网络，引入了知名度、热点和标签密度等评价指标。它是基于社会资源多样化组合的计量，能够提供更广泛、更丰富、更及时的学科评价结果。Finbar G等[9]检验了社会网络服务的计量应用结果，证实了它们在单篇论文实际影响力的评估能力。美国国家信息标准组织项目部Nettie Lagace[10]认为，引文分析无法对新的、普遍的文献所产生的影响进行衡量，如Twitter、Facebook、博客等社交网络工具所产生的文献。而且，新的学术成果形式，如数据集、软件工具、算法或分子结构等，已经很常见但是不容易，甚至无法通过传统的引用指标来衡量。考虑到将其他超越传统期刊影响因子的新指标纳入评价体系，不再局限于使用期刊论文的引用数据来衡量科研成果的影响力。刘晓娟等[11]将以被引频次为代表的传统计量指标与以阅读数、标签数为代表的新型Altmetrics指标互相结合，证实了以阅读数和标签数为代表的选择性计量指标可以在一定程度上评估文献的影响力，网络影响力也应当作为重要评价指标，二者的综合利用会成为学科评价的主流。随着Altmetrics评价内容的丰富，会出现按学科、主题组织的开放出版物，这样就形成了对开放出版物的评价。

评价内容要更加全面，不仅考虑论文数、引文数、篇均被引数、高被引论文数等发文和合作主题的指标，同时需要将资金投入产出、人员建设情况、人员流动及其影响考虑进来，细致分析科研人员、机构的合作水平，使得评价指标体系更加全面科学。选择合适的计量指标， 思考和评价计量指标在学科评价中的适用范围和评价功能， 对于合理使用计量方法进行学科评价显得十分必要。随着计量方法的改善和发展，学科评价会更加完善、合理和权威。其中，评价指标从期刊粒度有核心期刊、论文粒度有被引次数，是否可以加上阅读量、下载量、收藏、转发这样的指标，指标的权重如何设置，这些都是计量评价指标需要研究的问题。

3.2 计量学在学科发展脉络深层次粒度方面的研究

3.2.1 全文本计量

从手工计量到索引数据库再到全文本数据库、从计算机技术到大数据技术的发展带来了计量模式的巨大变化。现阶段学科发展脉络的计量研究中，科研人员在确定数据源后，主要通过学科类目、关键词和期刊三种途径进行检索，对于全文本的利用较少。而全文数据库为科研人员提供了丰富的内容资源，可以直接阅读文献全文，为学科发展脉络的研究提供了完备的文本数据。因此，基于全文本的计量是未来学科发展脉络研究的趋势。

不同于以往的题录或文摘等二次文献，科研人员可直接获取全文数据库中的文献原文，原文系统全面地展示了著者的研究思路及研究成果，囊括了研究方法、目的、数据来源等研究所涉及的各个方面。因此，不论是在文献揭示的深度还是广度方面，原文都优于文摘或关键词。由于数量限制，文摘或关键词只能选取有限的能够反映文献内容的信息，不能全面地揭示文献主题，在一定程度上削弱了基于关键词的计量研究的全面性和准确性。基于全文的检索可以提高检全率，从而改善计量效果。此外，依据关键词对文献内容的揭示程度，可利用全文本分析方法给关键词分配权重，关键词越能反映文献主题内容，其分配的权重就越高。通过关键词区分化，可以更准确直观地展示文献主题，从而提高计量精度。

引文分析法常常用来解释学科发展演化过程，传统的计量研究中，引文网络分析只是简单利用各种数学模型和统计指标，对文献之间的引用和被引用现象进行统计分析，通过这些数据揭示文献引用的规律和特征，以此达到对学科发展趋势的分析，然而，随着研究的深入，引文分析也暴露出了一些不足。如引文信息不全面、作者的引用目的不清晰等，单纯依靠数量指标，将所有的引用关系做同等的对待，会造成一些问题。引用行为的复杂性决定了单纯依靠引用和被引相关的统计指标是无法准确的进行引文分析的。只有将引文内容加入到引文分析中来，才能解决单纯依靠被引频次带来的问题。全文本为引文内容分析提供了可靠地支持，有学者就从引用功能[12]、引用重要性[13]、引用情感[14]等对引用内容进行分析。引文内容分析可以弥补传统计量研究中通过被引量来衡量文献质量的不足，能更为准确全面地评价文献的价值和作用，从而使得计量结果更加可靠。

3.2.2 研究软件计量

随着科学技术的飞速发展，学者在进行科学研究时越来越依赖研究软件或工具。学者在进行科学研究时所使用的研究软件或工具，在一定程度上也与相应的科研发展现状呈现正相关性，因此，研究软件从侧面反映了学科的发展脉络及现状。研究方法在各个学科领域的学术研究中都发挥着至关重要的作用，许多研究表明了研究方法在各学科领域的重要性[15-16]，以及领域内研究人员对研究方法的重视程度。现阶段的学科评价研究主要是研究人员基于文献内容的研究主题提取论文中的研究方法、研究软件，实现研究软件和方法级别的计量，从而识别某学科研究方法、研究软件的发展脉络，以及规范软件的引用。研究软件和方法级别的计量使得研究人员对学科领域内的研究方法的发展趋势有更为清晰全面的了解，研究人员可以更好地选择合适的研究方法或软件来开展科学研究。研究软件计量主要是通过全文分析提取所使用的研究软件或研究方法，展示学科领域内研究软件或方法的发展脉络，并直观展现其所适用的研究问题和研究环境，为研究人员的选择和使用提供可靠地参考。

参考文献：

[1] 邱均平，余厚强.替代计量学的提出过程与研究进展[J].图书情报工作，2013，57（19）：5-12.

[2] 苏娜，张志强.科学计量学中多重关系融合方法研究进展及分析[J].情报科学，2010，28（9）：1309-1313.

[3] 胡泽文，孙建军，武夷山.国内知识图谱应用研究综述[J].图书情报工作，2013，57（3）：131-137.

[4] Priem J，Costello K L.How and why scholars cite on Twitter[J].Proceedings of the American Society for Information Science and Technology，2010，47（1）：1-4.

[5] 顾立平.数据级别计量——概念辨析与实践进展[J].中国图书馆学报，2015（2）：56-71.

[6] MacRoberts M，MacRoberts R.Problems of citation analysis：A critical review[J].Journal of the American Society for Informat

ion Science，1989，40（5）：342-349.

[7] 余以胜.JCR指标的学科计量与评价研究——以JCR Social Sciences Edition为例[J].重庆大学学报（社会科学版），2008

（1）：76-80.

[8] 邱均平，余厚强.论推动替代计量学发展的若干基本问题[J].中国图书馆学报，2015（1）：4-15.

[9] Finbar G，Sharon D C.Altmetrics：rethinking the way we measure[J].Serials Review，2013，1（39）：56-61.

[10] National Information Standard Organization.NISO to develop standards and recommended practices for Altmetrics[EB/OL].[2016-03-23].http：//www.niso.org/news/pr/view？item_key=72efc1097d4caf7b7b5bdf9c54a165818399ec86.

[11] 刘晓娟，周建华，尤斌.基于Mendeley与WoS的选择性计量指标与传统科学计量指标相关性研究[J].图书情报工作，2015，59（3）：112-118.

[12] Abu-Jbara A，Ezra J，Radev D.Purpose and Polarity of Citation：Towards NLP-based Bibliometrics.[J].Hlt-Naacl，2013（6）：596-606.

[13] Wan X，Liu F.Are all literature citations equally important？Automatic citation strength estimation and its applications[J].Journal of the Association for Information Science and Technology，2014，65（9）：1929-1938.

[14] Athar A.Sentiment analysis of citations using sentence structure-based features[C].Proceedings of the ACL 2011 student session.Association for Computational Linguistics，2011：81-87.

[15] 张力，唐健辉，刘永涛，等.中外图书情报学研究方法量化比较[J].中国图书馆学报，2012（2）：21-27.

[16] Ma L.Some philosophical considerations in using mixed methods in library and information science research[J].Journal of American Society for Information Science & Technology，2012，63（9）：1859-1867.

作者简介：何文静（1992-），女，武汉大学信息管理学院硕士研究生，研究方向：信息计量和科学评价；邱均平（1947-），男，武汉大学信息管理学院教授，博士生导师，研究方向：信息计量和科学评价。