国内高被引论文对学术和实践推动的影响分析——以用户行为研究主题为例*

付少雄，邓胜利（武汉大学信息资源研究中心，武汉 430072）



国内高被引论文对学术和实践推动的影响分析
——以用户行为研究主题为例*

付少雄，邓胜利
（武汉大学信息资源研究中心，武汉 430072）

本文以图情领域内与用户行为相关的高被引论文为研究对象，对国内高被引论文对于学术和实践推动的影响进行分析。通过构建对应的施引文献集和被引文献集，选取合适的评价指标，对被引文献集进行内容分析，即从文献自身角度来衡量研究成果产生的实践和学术影响。同时，建立被引文献研究成果与引文相关度评判体系，对施引文献集进行引文分析，从引文角度来评价相关研究成果的学术影响。本文的研究成果为用户行为研究实践和学术影响的评价提供依据。

高被引论文；用户行为；实践影响；学术影响

高被引论文指在某个统计时间段内，被引次数排在学科前列的论文，在一定程度上代表学科的研究进展，具有重要的研究意义［1］。同时，高被引论文能有效推动该领域学术和实践的发展，本文以用户行为研究主题为例，对高被引论文对于学术和实践推动的影响进行分析。用户行为研究涉及多个学科领域，主要专注不同环境下，通过各种不同的信息来源和渠道，人们如何实现信息交互［2-3］。近几年国内学者对于用户行为的研究正处于上升阶段，成果不断涌现［4］。但是用户行为研究的质量往往由于缺乏实践和学术影响而受到批判［4-7］（本文中影响是指研究成果对于实践、理论以及方法的贡献）。目前国内还缺乏对于如何评价用户行为研究成果的专门研究，也鲜有关于用户行为研究如何施加实践和学术影响的系统性研究。为了对国内用户行为研究进行评价，衡量研究成果的实践和学术影响，本文拟从研究本身和引文两方面出发展开研究，主要解决如下问题：用户行为研究产生了怎样的实践和学术影响；用户行为研究在施加实践和学术影响的过程中需要提高哪些方面。

1 相关研究

1.1 成果影响研究

对于用户行为研究的质量评价，国外主要针对ISIC （Information Seeking in Context）论文集进行分析。Fidel、Vakkari、MaKechnie通过对不同年度的ISIC论文集进行内容分析，指出收录的论文大部分没有阐明成果对于实践或者学术方面的贡献，缺乏实践和学术影响力［5，6，8］。Koh等通过对用户行为领域的高水平论文进行检验分析，对研究成果产生的实践和学术影响进行了初步探索，认为用户行为领域研究需要加强学术贡献［9］。

关于研究成果实践和学术影响的重要性，学者们也从不同角度给予强调。从用户行为研究的影响渠道角度，Connaway等强调了研究成果的交流传递对影响力的重要性［10］。从成果的实践影响角度，Case等认为用户行为领域应加强在实际情境下的应用研究［7］。从用户理解角度，Johanson等指出科学研究必须有助于用户对实践操作或理论知识的认识理解［11］。从成果传递角度，Palys等建议作者应在论文的结果和讨论部分强调研究成果的意义［12］。从社会贡献角度，Miles等提出研究者应在更大范围内阐述成果在社会思想以及行为上的影响［13］。

1.2 引文分析研究

对科研成果影响的评价，可以从多种角度、不同侧面去衡量。引文作为文献传递中的纽带，不仅能体现研究者对于被引文献成果的认同，还能体现被引文献所产生的实际影响。Small证实了文献被引数量对于评价学术影响力的可靠性［14］。Hanney等从引文角度，利用引文分类评估卫生领域研究成果的影响力［15］。由于引文对于施引文献的作用不尽相同，学者们也对引用动机进行了分类。Garfield指出被引次数无法揭示出引用动机，并划分了15种引用动机［16］。Pham等将引文类型分为基础、支持、局限和比较4种［17］。而Le等将引文功能分为基于被引文献、被引文献一部分、支持施引文献、指出被引文献的问题或差距、比较当前工作和其他类型［18］。

基于引文分类可以深入评估研究质量以及影响力，国内也开展了相关研究。为了评估学术论文被引与学术质量的关系，胡益芳定义了自引、他引、友情式引用等13种引用方式［19］。叶继元从性质角度，将引文分为正面、中性和负面［20］；从层次角度，将引文分为深度、中度和浅度，并论证了引文评价法既是定量的方法也是定性的方法，在学术评价中起着很重要的作用［21］。而陆伟等将引文的功能分为基于、启发、拓展等15个功能类目，本文借助这些较小粒度的功能体系，深入分析引文的作用，从而衡量被引文献的实际影响力［1］。

2 研究设计

2.1 数据来源

本文选取“用户行为”作为研究领域，选取CNKI、万方数据库和CSSCI数据库作为数据来源，以用户行为、用户信息行为等为主题词，精确限定CNKI和万方数据库收录的图情领域的18种CSSCI期刊为来源期刊（筛选标准见表1）。检索时间为2016年1月17日，返回有效检索数据1 624条，其中2008—2013年共587条。根据文献年份分布，图情领域的用户信息行为研究总体上呈上升趋势，这与信息时代以用户为导向的发展趋势相吻合。

表1　文献筛选标准

2.2 研究方法

本文以“用户行为”领域高被引论文为例进行实证研究，构建高被引论文的施引文献和被引文献集，并对文献集进行内容分析。

2.2.1 构建施引文献集和被引文献集

高被引论文在一定程度上代表学科的研究进展，并能有效推动相关领域学术和实践的发展，具有重要的研究意义。因此，选取高被引论文来构建文献集进行研究，能够更好地衡量国内用户行为研究的实践和学术影响力。在CNKI和万方数据库中对检索到的文献进行预处理，按被引频次对文献进行排序，选取2008—2013年，被引25次以上的论文作为高被引论文，使用CNKI E-Learning辅助文献下载，构建施引文献集和被引文献集，施引文献集由引用被引文献的论文所构成，被引文献集由选取的高被引论文所构成。

2.2.2 文献集的内容分析

对于文献集的内容分析主要分为三个部分，包括被引文献集的内容分析、施引文献集的引用分析、被引文献集和施引文献集的比较分析（见图1）。被引文献集的内容分析主要是对被引文献集中作者所提出的实践和学术影响进行归纳总结。本研究所阐述的成果影响，必须是在论文中作者明确提出了其研究成果对实践、理论或方法所作出的贡献。所有这些高被引论文都不同程度地表达其研究成果的影响。本文通过研究被引论文的相关指标（见表2）来讨论和揭示这些影响是如何生成的，指标包括作者机构、影响类型、理论和方法的使用、影响适用范围以及未来研究展望［9］。

图1　文献集内容分析关系图

表2　被引文献集判读指标描述

对施引文献集的内容分析主要是对引文内容的提取，根据在文中是否标注了引用内容，施引文献集被分为两类，其中对标注了引用内容的施引文献直接提取引用句或段，对未标注引用内容的施引文献进行人工判读，提取与被引文献主题相关的内容，具体规则见表3［22］。将提取到的内容进行适当的人工清洗，同时以被引文献为依据，生成引用数据集（见图2）。利用引用数据集，对被引文献中作者提出的实践和学术影响与对应引文的相关性进行比较分析。

表3　引文提取规则

图2　引用数据集生成流程图

由于引文重要性与引文功能分布具有较高的关联度，同时引文重要性大小与施引文献和被引文献之间的关联度呈正相关［15］。本文将引文功能类目与关联度两个维度进行结合，制定结合引文功能的关联度评判体系（见表4）。体系分析指标主要依据陆伟等评价引文功能重要性所划分的15个功能类别，并且他们在相关标注试验中验证了该功能体系的可用性［1］。同时参考Wan等在工作中设定的5个引文重要性等级，以及规定的对应等级特征［23］。本文按照与被引文献成果的关联度大小，将15个功能类别划分为5个等级。此划分方法虽然不能严格对所引内容与作者提出的成果影响是否一致进行判断，但是能够十分直观地评价，从而从引文角度更好地衡量被引文献集所产生的实际影响力，评判国内用户行为研究的质量。

表4　结合引文功能的关联度评判体系

3 结果与讨论

3.1 文献集的选择与构建

对发表于2008—2015年的587篇有效文献进行统计，其中被引25次以上的论文58篇（占文献集9.88％）。选取被引25次以上的论文，并剔除23篇与用户行为相关度较低的论文，以及7篇重复论文，最后选取剩余的28篇作为本文的研究对象（见图3）。这28篇被引文献所生成的施引文献共计1 351篇，限于篇幅仅给出具有代表性的10篇论文（见表5）。

图3　文献筛选流程

3.2 文献集的内容分析

3.2.1 被引文献集内容分析

通过对被引文献集相关指标进行内容分析，从文献自身角度来评价用户行为研究所产生的学术与实践影响。进行内容分析时，由两人同时进行判读，当两人判读出现误差时，由第三人进行判断，综合意见得出结论。分析人员均为武汉大学信息管理学院的科研人员，均具有良好的信息素养。

表5　研究对象示例

（1）作者机构

本文将作者机构分为两大类，根据表2的作者机构指标描述，对用户行为领域的28篇高被引论文进行分析（见表6），其中来自专业机构的作者全部是图书馆员，且全部来自高校和科研机构内的图书馆。

表6　作者机构分析结果

（2）影响类型

影响类型分为实践影响和学术影响，通过对成果影响的类型进行分析（见表7），从中得出样本集的研究成果偏实践，这也说明用户行为研究需要加强学术贡献。其中6篇产生学术影响的论文全部由高校学者所撰写；7篇由专业从业人员撰写的论文中有3篇既涉及实践影响也涉及学术影响，其余4篇都只涉及实践影响。可以看出专业机构人员所撰写的论文主要针对实践，而高校和科研机构人员所撰写的论文理论和实践都有涉及。

表7　影响类型分析结果

（3）理论和方法的使用

经过对样本集理论和方法的使用进行内容分析，有12篇（占文献集42.86％）运用了理论和方法来支撑研究。其中有6篇运用了图情领域的理论和方法，如信息交流模式、信息寻求过程模型、意义构建理论等。9篇运用了其他领域的理论和方法，如社会交换理论、社会心理需求理论、社会资本理论、5W模式等，这体现了用户行为研究学科融合的发展趋势。这12篇中，有4篇成果只产生学术影响，2篇成果只产生实践影响，有6篇成果既产生学术影响也产生实践影响。只包含学术影响的4篇论文中，有2篇关于理论方法体系的构建，即信息质量综合评价体系、用户协同信息行为理论体系，2篇是关于模型和范式的概述与构建。只涉及实践影响的2篇是关于图书馆用户信息获取方式以及移动信息服务的研究。本文还对这12篇文献的实践和学术影响进行了详细分析（见表8）。

表8　综合分析结果

（4）影响适用范围

本文参考有关分类，并根据国内用户行为研究成果特征，将影响的使用范围分为机构、多领域、网络应用、图情研究［9，24］。通过对样本集成果的影响范围进行分析，得出结论（见图4）。

图4　影响适用范围分析结果

成果影响范围适用于机构的有4篇论文，而且机构都为图书馆，这与我们主要选取图情领域的研究有关。研究成果主要包含图书馆个性化服务质量、移动信息服务、用户满意度、网络适应能力的提高等。多领域研究成果主要涉及用户体验、用户偏好、用户生成内容等方面。网络应用研究主要是分析微博等网络用户行为。而适用于图情研究的成果包含用户行为的研究方法体系构建、用户行为研究综述等。

（5）研究热点分析

通过对高被引论文进行分析，总结出当前国内研究热点主要集中于社交媒体用户行为、信息检索行为（如协同信息检索等）、移动用户信息行为、图书馆用户行为等。而国外研究在关注国内研究热点的同时，还关注着其他热门主题，如用户的健康信息行为等［25-26］，同时，国外的用户行为研究趋向于细分化，如对信息检索行为研究的用户类别、检索行为类别、应用方向进行具体区分，研究成果更具针对性和指向性［27-28］。

（6）未来的研究展望

经过指标分析，在选取的样本集中有13篇（占文献集46.43％）提及了对未来的研究展望。展望部分能清晰地告诉研究者本研究成果的用处所在，对于未来研究能起到哪方面的促进作用，这对于提升研究成果的学术影响是大有裨益的。

3.2.2 施引文献与被引文献比较分析

为了对被引文献的实际学术影响进行衡量，本文对用户行为领域的28篇高被引论文以及对应的1 351篇施引论文进行一对一的比较分析，评判高被引论文作者自己提出的实践和学术影响与引文所引内容是否一致。3位标注者对15种功能类目做出具体区分，并通过共同判读同一篇论文的10篇施引论文，统一标注标准。具体标注试验流程如下。

（1）根据引文内容提取规则生成引用数据集，并进行适当的数据清洗；

（2）对引文进行判读，统计引文个数以及是否自引等特征，对引文功能进行初步判断；

（3）对引文上下文以及语境进行判读和综合分析，并对比引文与被引文献结论的相关性；

（4）根据综合分析结果以及引文功能确定引文与被引文献成果的相关度。具体结果见表9。

经过标注，本文对2位主要标注者的标注结果一致性进行检验，检验主要采用被广泛运用的一致性评价机制Kappa系数，经过计算，本文2位标注者标注结果Kappa一致性为K=0.713（n=15，N=1 351，k=2）。根据一致性参考标准，K≥0.80代表十分可靠，K≥0.69表示可靠［29］，这说明标注结果达到相对可信的一致性水平。

总体来说，本文相关度统计分布结果与其他统计结果较为相似［15，19，24］，其中选取的施引文献样本中，相关度非常相关和相关的有314篇（占文献集23.24％），这些施引论文的研究思路等与被引文献相关度较高，最能体现被引文献的学术影响。相关度一般的有169篇（占文献集12.51％），主要是对被引文献结果、方法的比较和肯定，或者在研究方法和思路上的相似，也一定程度上体现了被引文献的学术影响。不相关与非常不相关的有868篇（占文献集64.25％），这部分引文与被引文献所提及的成果影响关联度不大，所能体现的被引文献的学术影响力较小。

表9　被引文献成果与引文相关度统计结果

4 结语

高被引论文对于学术和实践的推动具有重要的影响，分析具体领域下的高被引论文，将有助于我们了解高被引论文对该领域所产生的学术影响和实践影响。本文通过对国内用户行为领域的高被引论文进行内容分析和引文分析，对其影响进行初步探析，得出如下结论：

（1）国内的用户行为研究倾向于实践性研究，理论成果的产出较少。究其原因，用户行为作为图情学科最为丰富的研究领域，经过长时间发展，在理论体系构建已较为成熟，相比较而言，实践应用随着时代的不断发展还在不断加强。特别是过去Web 2.0的兴起，由用户主导互联网内容的生成，大量针对Web 2.0环境及其应用的用户行为实践研究出现。但是用户行为领域新的研究方法仍然在不断涌现，过去的理论模型、方法体系还需要完善，相关研究也可以围绕这些方面展开。

（2）在研究中，我们发现成果影响类型与作者单位有较强的相关性，这与Koh等在用户行为研究中所发现的成果影响类型与作者单位没有相关性不同［9］。造成结果不同的可能原因是，国内图情领域研究用户行为的专业从业人员基本是图书馆员，研究主要围绕图书馆用户的用户行为及影响因素，成果也是应用于图书馆建设等实践方面，因此作者单位会对成果的影响类型产生影响。

（3）图情领域用户行为研究，运用了大量其他领域的理论与方法，与心理学、人类学、社会学、计算机科学等学科不断融合，研究呈现出跨学科的趋势，并且新的研究方法和工具不断涌现。同时，经过对论文的逐年分析，发现当前国内用户行为研究还存在一些显著特点，如社交网络用户行为研究增多，研究对象及内容扩大，研究深入微观层面，新的用户行为不断被发掘等。这说明国内用户行为研究呈上升态势，研究人员应紧跟学科发展趋势，结合新的研究方法、工具以及对象，创新研究成果，从而扩大用户行为研究的实践和学术影响。

（4）研究成果的实际影响力可以从引文角度去衡量，这为成果学术影响力的评价和提高提供了一个新的视角。文献集中被引文献成果总体上与引文相关度较小，反映了研究阐述的成果影响与施引文献实际引用内容相关性并不高，用户行为研究希望产生的效益没有得到实际体现。因此研究者应从研究本身出发，提高研究质量，及引文与研究成果的相关性，扩大成果的学术影响力。

本文也存在一些局限性。首先，样本集本身不能代表用户行为领域的全部研究成果，未来研究可进一步关注2013年后发表的研究成果；其次，研究成果的实践影响没有结合在社会和生活中的实际应用去衡量。但本文作为用户行为领域研究影响的初步分析，为研究实践和学术影响的评价和提高提供了依据，未来更多相关研究可以在此基础上展开。

［1］ 陆伟，孟睿，刘兴帮.面向引用关系的引文内容标注框架研究［J］.中国图书馆学报， 2014（6）:93-104.

［2］ FISHER K E，ERDELEZ S，MCKECHNIE L. Theories of information behavior［M］. New Jersey: Information Today，Inc.，2005.

［3］ WILSON T D. Human information behavior［J］.Informing science，2007，63（1）: 49-56.

［4］ 宋玉梅.近几年国内用户信息行为研究综述［J］.情报科学， 2014（7）: 151-157.

［5］ FIDEL R. Human information interaction:an ecological approach to information behavior［M］. Cambridge:MIT Press，2012.

［6］ VAKKARI P. Trends and approaches in information behavior research［J］. Information Research，2008，13（4）:361.

［7］ CASE D O，GIVER L M. Looking for information:A survey of research on information seeking，needs and behavior［M］.4th ed. Houston:Emerald Group Publishing，2012.

［8］ MCKECHNIE L，JULIEN H，GENUIS S K，et al. Communicating research findings to library and information science practitioners: a study of ISIC papers from 1996 to 2000［J］. Information Research，2008，13（4）: 556-563.

［9］ KOH K，RUBENSTEIN E，WHITE K. Practical and scholarly implications of information behaviour research: a pilot study of research literature［J］. Information Research，2015，20（4）:50-66.

［10］ CONNAWAY L S，POWELL R R.Basic research methods for librarians［M］. ［S.1.］:ABC-CLIO，2010.

［11］ JOHANSON G，WILLIAMSON K. Research methods: information，systems and contexts［M］. Prahran: VIC: Tilde University Press，2013.

［12］ PALYS T. Research decisions: quantitative and qualitative perspectives［J］. Legal & Criminological Psychology，1997，7（1）:121.

［13］ MILES M B，HUBERMAN A M. Qualitative data analysis : an expanded sourcebook［J］.Sage，1994，60（100）:105-138.

［14］ SMALL H. Citation context analysis［J］.Progress in communication sciences，1982（3）:287-310.

［15］ HANNEY S，FRAMEL I，GRANT J，et al. Using categorisations of citations when assessing the outcomes from health research［J］. Scientometrics， 2005，65（3）:357-379.

［16］ GARFIELD E.Can citation indexing be automated？［C］/ /Statistical Association Methods For Mechanized Documentation.Symposium Proceedings.1964:189-192.

［17］ PHAM S B，HOFFMANN A.A new approach for scientific citation classification using cue phrases［C］/ /Proceedings of Australian Joint Conference in Artificial Intelligence.2003:759-771.

［18］ LE M H，HO T B，NAKAMORI Y. Detecting emerging trends from scientific corpora［J］.International Journal of Knowledge and Systems Sciences，2005，2（ 2）:53-59.

［19］ 胡益芳.学术论文的被引与学术质量的关系［J］.图书馆论坛，2015（5）:56-59.

［20］ 叶继元.引文的本质及其学术评价功能辨析［J］.中国图书馆学报，2010，36（1）:35-39.

［21］ 叶继元.引文法既是定量又是定性的评价法［J］.图书馆，2005（1）:43-45.

［22］ 祝清松， 冷伏海.基于引文内容分析的高被引论文主题识别研究［J］.中国图书馆学报， 2014，40（1）:39-49.

［23］ WAN X J，LIU F. Are all literature citations equally important？ Automatic citation strength estimation and its applications［J］.Journal of the Association for Information Science and Technology，2014，65（9）:1929-1938.

［24］ TEUFEL S，SIDDHARTHAN A，TIDHAR D. Automatic classification of citation function［C］//Association for Computational Linguistics. 2009:103-110.

［25］ ZHANG Y，SUN Y，XIE B. Quality of health information for consumers on the web: a systematic review of indicators，criteria，tools，and evaluation results［J］. Journal of the Association for Information Science & Technology， 2015，66（10）:2071-2084.

［26］ ENWALD H， HIRVONENN， HUOTARIM L， et al. Everyday health information literacy among young men compared with adults with high risk for metabolic syndrome-across-sectional population-based study［J］. Journal of Information Science， 2016， 42（3）: 344-355.

［27］ LIN Y， TRATTNER C， BRUSILOVSKY P， et al. The impact of image descriptions on user tagging behavior: a study of the nature and functionality of crowdsourced tags［J］. Journal of the Association for Information Science and Technology， 2015， 66（9）: 1785-1798.

［28］ GOODING P. Exploring the information behaviour of users of Welsh Newspapers online through web log analysis［J］. Journal of Documentation， 2016， 72（2）: 232-246.

［29］ TEUFEL S，SIDDHARTHAN A，TIDHAR D. An annotation scheme for citation function［C］//Association for Computational Linguistics，2009: 80-87.

Research on Practical and Scholarly Implications of Information Behavior of Domestic Highly Cited Papers

FU ShaoXiong， DENG ShengLi
（Center for Studies of Information Resources of Wuhan University， Wuhan 430072， China）

Selecting the highly cited papers of information behavior research in the field of LIS as research subjects， this paper preliminarily analyzes the practical and scholarly implications of domestic information behavior research.Then， by constructing corresponding sets of citing articles and cited articles， and selecting the appropriate assessment indicators， we analyze the cited article set based on content analysis， namely， measuring the practical and scholarly implications of researches from the perspective of articles. Meanwhile， by establishing the relevance evaluation system of the outcomes of cited articles and quotations， this paper conducts citation analysis of citing article set by manual interpretation， and evaluates scholarly implications of research outcomes from the perspective of quotations.The outcomes of this research provides a basis of evaluating the practical and scholarly implications of information behavior research.

Highly Cited Papers； Information Behavior； Practical Implications； Scholarly Implications

G35

10.3772/j.issn.1673-2286.2016.6.008

* 本研究得到国家社会科学基金项目“基于社交问答平台的用户知识贡献行为与服务优化研究”（编号：14BTQ044）和武汉大学70后学术团队项目“网络用户信息行为”资助。

付少雄，男，1993年生，硕士生，研究方向：用户信息行为，E-mail：fu_shaoxiong@163.com。

邓胜利，男，1979年生，博士，教授，研究方向：网络用户信息行为，通讯作者，E-mail：victorydc@sina.com。

2016-05-30）