发现服务与搜索引擎的文献保障能力比较*
2015-12-31杨鲁捷
杨鲁捷
0 引言
随着网络技术发展,图书馆馆藏资源揭示大致经历了提供OPAC、建立数字资源导航、引进联邦检索系统等阶段,2010 年前后又掀起引进“网域发现服务”(以下简称“发现服务”)热潮。2013 年11 月对中国“985 工程”高校[1]图书馆网站的调查发现主页上有Summon、Primo、超星发现、e 读等发现服务链接的图书馆达32 家。发现服务的典型国外产品代表有Serials Solutions公 司 的Summon、 Exlibris 公 司 的Primo、EBSCO 公司的EDS 和OCLC 的Worldcat,国内产品代表有超星公司的超星发现和CALIS 的e读。国内针对上述服务开展研究的论文多使用“发现系统”指代这几个产品,国外文献则多使用“Web scale discovery service”。由于“发现服务”源于国外,本文也使用“发现服务”指代上述对象。国内外“发现服务”的相关论文已有一定数量,综合多位学者给“发现服务”下的定义,笔者认为如下描述较准确:发现服务是以覆盖范围巨大的中央索引和功能丰富的服务层为基础,向用户提供本、异地获取资源及开放获取资源一站式检索和获取的服务。
网络时代图书馆读者既是发现服务的用户,又是谷歌、百度等通用搜索引擎的用户,通过Summon、Primo、超星发现、e 读等专用发现服务能查到的文献,使用通用搜索引擎也有一定的收获。摆在图情工作者及用户面前的问题是:发现服务与搜索引擎谁的文献保障能力更强?此处的文献保障能力有两层含义:一是作为待选的文献获取途径,哪个途径能提供更多的所需文献;二是提供同样的文献,哪个途径更便捷、效率更高。
2014 年4 月使用中国知网查询标题中含有关键词“发现服务”或“发现系统”,同时含有“搜索引擎”的论文,仅得到一篇名为《基于搜索引擎的Web 服务发现系统》的文献,该文显然与本文研究内容不符,于是将检索范围扩大到标题中含有“发现服务”或“发现系统”的文献,发现国内有关论文集中在发现服务的发展历史、基本概念、相关技术、现状与展望等方面,尚无直接研究发现服务文献保障能力的论文。但论文中关于发现服务资源覆盖范围的内容与发现服务文献保障能力密切相关。孙宇提出不同发现系统的核心竞争力在于索引元数据的覆盖面等三个因素,考察发现系统的重要因素是考察系统元数据的覆盖范围和覆盖深度[2]。该文提出了考察元数据的具体要求,但没有实际考察的方法和例子。包凌、蒋颖的论文中关于发现系统资源覆盖范围的信息是直接使用服务供应商提供的信息,包括覆盖多少种期刊、多少个数据库等[3],但这种方式无法解决本文提出的问题。秦鸿、钱国富的论文提出了发现系统的评估框架,其中元数据是评估内容的一级指标,涉及元数据规模、质量、对资源的覆盖度、与OA 资源集成等。在获取系统元数据信息方面除了引用商家自述外,还使用“空值检索”“元数据记录类型值估算”等方法进行主动验证,该文还提到数据库级别的本馆资源覆盖率比较[4],但仍无法解决发现服务与搜索引擎文献保障能力比较的问题。窦天芳、姜爱蓉指出,“对图书馆而言,合理评估发现系统的元数据质量既重要又富有挑战性”,在论及对系统元数据质量评价时,提出通过检验重点期刊及清华著者作品在系统中的覆盖情况来评估系统元数据范围的思路[5],但没有具体实践的信息。朱前东提出“资源发现系统评价体系构建”,强调资源覆盖信息在评价发现系统时的重要性,也指出用户是发现系统实现价值的重要主体,要注重发现系统满足用户实际需求的能力[6],但该文欠缺发现系统满足用户文献需求的量化评估。
使用谷歌学术及清华大学的“水木搜索”[7],以“Web scale discovery”和“search engine”为标题关键词检索,命中文献中也没有密切相关的文献。扩展到检索标题中含有“Web scale discovery”的文献,查到的相关文献显示,国外针对发现服务的研究起步早,多数是关于发现服务的产生、基本概念、选择服务要考虑的因素、发现服务部署的经验、用户信息素质教育等内容,也涉及资源覆盖范围的评价。Danya Leebaw 等认为了解发现服务资源范围很重要[8],Amy I.Kornblau 等则指出发现服务覆盖范围的评估不好比且经常变化[9]。在具体评价发现服务资源覆盖范围方面,Jason Vaughan 提出发现服务供应商提供馆藏期刊覆盖分析的方法,但部分供应商未响应[10]。Michael Kelley 提到应关注发现服务的覆盖范围,但具体方法仍需供应商提供资源列表[11]。也有通过执行一定的检索任务推测系统资源覆盖情况的努力,如Andrew D.Asher 通过指定4 个检索任务,让志愿者分组检索参评系统,并对结果进行统计分析[12],这种做法有一定参考价值,但该文重点不在对发现服务实际文献保障能力的比较研究。
综上所述,国内外同行都认识到发现服务资源覆盖范围对客观评价发现服务十分重要,但具体评价方法尚不足以回答本文提出的问题。依靠商家自述显然过度依赖供应商的自律,而仅根据少量检索实例就推测某服务的整体资源覆盖情况则缺乏统计学依据。截止2014 年11 月底本文成文阶段的文献复查尚无从用户实际使用的参考文献保障角度比较发现服务文献保障能力的论文,更无具有统计学意义的量化对比发现服务与搜索引擎文献保障能力的文献。笔者认为,发现服务和搜索引擎对用户而言都是待选文献的获取途径,选择哪个途径能提供更全面的文献保障才是用户最关注的问题。为此,笔者提出通过定量考察不同文献获取途径对实际使用过的参考文献的保障情况来衡量其文献保障能力的方法,并进行了实践。本文以2013 年Web of Science 平台(以下简称“WOS”)中国著者发表论文使用参考文献的保障情况为切入点,通过抽样统计的方法定量比较“985 工程”高校使用较多的5 种发现服务——超星发现、e 读、Summon、Primo、EDS 与3 种通用搜索引擎——谷歌、谷歌学术、百度保障参考文献情况,试图定量比较几种文献获取途径的实际保障能力,从而为用户选择文献获取途径、图情机构优化服务提供参考。
1 方法与步骤
1.1 从WOS2013 年中国著者发表的文献中抽样
2014 年4 月使用WOS 平台,检索出版时间为2013 年,著者地址含有“China”的文献,命中结果有274631 条。根据成数的概念及以下样本数量计算公式[13-14]:
分析这个数据集合的参考文献,在置信度为95%的条件下需不重复随机抽取384 篇。受WOS 对每个检索条件只显示选定排序方式前10万条结果的限制,为避免对该结果集合抽样时样本集中在局部的问题,本文选择3 种排序方式,每种排序方式下用等间隔法各抽取128 篇,3 种合计共抽取384 篇。3 种排序方式为“出版日期升序”“第一著者升序”“被引次数升序”。
1.2 对选中文献的参考文献归类,并对期刊论文类参考文献抽样
获取这384 篇WOS 中国著者2013 年发表的文献后,逐篇提取各文献的参考文献,并对这些参考文献按文献类型归类计数形成表1。
表1 2013WOS 中国著者论文参考文献抽样归类表
表1 显示期刊论文类参考文献占引用文献的绝大多数,根据优先解决主要矛盾的原则,本文仅对各文献获取途径、保障期刊论文类参考文献的能力进行比较。
根据统计学原理,比较发现服务与搜索引擎对8980 篇文献的保障情况适用抽样检验。根据样本数量计算公式,在95%的置信度下应抽取369 篇文献。抽取方法是:先对8980 篇文献按文献题名字母顺序排序,再以24 为间隔用等间隔法顺序选出369 篇作为比较用的样本。“24”由公式s=INT(8980/369)计算得到,以实现对该集合的等间隔抽样。
1.3 实测各获取途径保障文献的能力
按1.2 节的步骤抽取样本后,对样本文献逐篇在待比较的数种文献获取途径中进行检索并记录结果。考虑到最便于用户使用的文献保障方式是“直接在线原文”,即在某服务中能查到所需文献并可直接在线打开原文,故本文以各途径能否提供所需文献的“直接在线原文”为比较重点,并根据试查情况将各获取途径对具体文献的保障能力分为4 个级别计数:(1)“直接在线原文”;(2)提供付费购买原文的链接;(3)仅文摘或简要信息;(4)查不到,最后根据结果进行分析比较。
1.3.1 WOS“出版商处原文”功能提供“直接在线原文”的能力
WOS 是美国Thomson Reuters 集团开发的基于WEB 的服务,包括SCI、SSCI、A&HCI和多个专业数据库。2014 年初WOS 的检索结果中出现“出版商处的原文”链接,由于WOS是科技工作者高频使用的数据库,因此考察WOS 能直接提供多少比例“直接在线原文”十分必要。
比较WOS 时检索条件为:数据库选项为“所有数据库”、年限范围为“所有年份”、检索途径选“标题”,用选定参考文献的完整标题作为检索条件进行检索。考虑到全标题检索可能因标题使用相同内容的不同格式、是否使用空格等细节造成误检,对全标题途径查不到的文献还要经过“刊名”+“出版年”的方式复核以确认该文献被WOS 收录的真实情况。实测结果按前文所述的四个级别记录于表2。
表2 各获取途径文献保障能力汇总表
1.3.2 谷歌途径文献保障能力
谷歌是我国公认的查询外文信息的首选搜索引擎。根据谷歌使用说明,可用英文字符的双引号将被检文献的标题引起来进行精确检索。根据谷歌pagerank 的原理和余慧佳论文中指出的绝大多数用户只翻看搜索引擎返回的前10 个结果的研究成果[15],本次检验仅对谷歌服务检索结果第一页的10 条结果进行分析,记录前10 条结果中有无该文的在线原文链接,并检验是直接打开原文还仅是付费购买原文的链接。对全标题方式查不到的文献通过“刊名”+“出版年”+“著者”的方式复核,结果汇入表2。
1.3.3 谷歌学术途径文献保障能力
谷歌学术作为谷歌公司推出的专业学术文献保障服务,在国内学术界有一定的影响力,在很多高校图书馆主页上都有谷歌学术的检索入口,也是国内很多文献用户的常用文献检索工具,故列入本文比较对象。检索方式及评价标准同谷歌,结果汇入表2。
1.3.4 百度途径文献保障能力
百度是我国在线服务时间较长、影响较大的通用搜索引擎,列入本文的比较范围。在其主检索框输入待查文献标题,对结果的判断同谷歌,结果汇入表2。
1.3.5 超星发现服务的文献保障能力
超星发现服务是我国企业自主开发的具备中外期刊原文保障能力的资源发现服务,在“985工程”高校图书馆中用户达到27 家。郑州大学图书馆2010 年引进“搜递系统”[16],其后台引擎2014 年升级为“超星发现”。投入使用以来为该馆用户提供了大量的原文服务,口碑好,根据本文研究方向将其作为“超星发现”的代表进行比较,通过“期刊”“外文检索”“文献标题”的方式检验,对标题途径查不到的文献通过“刊名”+“出版年”+“关键词”的方式复核,结果汇入表2。
1.3.6 e 读服务文献保障能力
e 读服务由CALIS 于2011 年推出,目的是建成融合全国所有高校馆馆藏资源的整合平台,以开展文献保障服务。截止笔者考察期间,使用e 读服务的“985 工程”高校图书馆有12 家,e读服务实际访问地址均为http://www.yidu.edu.cn。根据本文研究方向,检索条件限定为“期刊文章”,检索入口为“文章名”。主要通过全标题检索,对标题途径查不到的论文通过“刊名”+“著者”+“出版年”的方式复核,结果汇入表2。
1.3.7 Summon 服务文献保障能力
Summon 服务于2009 年7 月由Serials Solutions 发布,本次考察时“985 工程”高校馆中已有9 家用户。考虑到发现服务覆盖的资源与其所属机构获权的纸质及数字化资源直接相关,故从9 家使用Summon 服务的“985 工程”高校中选择北京大学图书馆的未名学术搜索[17]作为Summon 的代表进行比较。具体检索方式为使用默认的检索设置,先通过全标题检索,对标题途径查不到的论文通过“刊名”+“著者”+“出版年”的方式核对,结果汇入表2。
1.3.8 EDS 服务文献保障能力
EBSCO 公司的EDS 服务在“985 工程”高校中也有多家部署。根据中国校友会网公布的2014 中国高校排名[18],“985 工程”高校EDS用户中排名第一的是中国人民大学,所以本文选择了该校图书馆使用的以EDS 为后台的Findplus 服务[19]作为比较对象。检索途径也是标题,对于标题途径查不到和检索结果中不包含样本文献的情况,也根据“刊名”+“出版年”+“著者”的方式复核,结果汇入表2。
1.3.9 Primo 服务文献保障能力—清华大学版
Primo 服务由Exlibris 公司于2010 年6 月发布,2014 年4 月在“985 工程”高校中部署7家。同样根据中国校友会网2014 高校排名,选择清华大学图书馆的“水木搜索”作为Primo 的样本进行比较,后文简称为“QHPrimo”。检索方式是按全部资源、标题途径进行,标题途径查不到的记录,再按“刊名”+“年份”+“著者”的方式复核,结果也汇入表2。
1.3.10 Primo 服务文献保障能力——郑州大学版
郑州大学图书馆于2012 年引进Primo 服务[20],以Primo 为引擎部署名为“学术发现”服务,为与“QHPrimo”区分,后文简称“ZZUPrimo”。考虑到发现服务揭示资源的能力与所属机构获权资源及本身参数配置等因素相关,可以推测不同机构的Primo 服务存在资源揭示能力的差异,因此在检验了“QHPrimo”的文献保障能力后也对“ZZUPrimo”的文献保障能力进行了检验,以对比引擎相同资源配置不同的情况下发现服务文献保障能力的差异。为保障比较的公正性,具体检索及复核方式与“QHPrimo”相同,结果同样汇入表2。
2 参评文献获取途径“直接在线原文”方式保障能力排序及分析
为比较各途径“直接在线原文”方式保障文献的能力,依据1.3 节获取的数据进行排序,结果见表3。
表3 各获取途径“直接在线原文”保障率排序表
从表3 可看出:(1)仅计算“直接在线原文”方式保障率,谷歌途径最高。若考虑超星发现“邮箱接收”功能的实际效果,则超星发现的该项指标在参评途径中最高;(2)谷歌、百度作为免费通用的搜索引擎,专业文献保障能力超出预期。其中谷歌途径“直接在线原文”的比例在不考虑超星发现的“邮箱接收”功能时排名第一;(3)谷歌途径的“直接在线原文”保障率高于谷歌学术。对谷歌能提供“直接在线原文”而谷歌学术未能提供的21 篇文献进行的二次核对显示,有3 篇谷歌学术仅得到文献的被引用信息但无原文链接,其余18 篇则是谷歌学术未能提供谷歌实际覆盖的OA 资源;(4)被普遍认为仅是二次文献检索工具的WOS 随技术进步也提供了一定比例的原文,但“直接在线原文”保障率低;(5)同样是基于Primo 后台的发现服务,QHPrimo 的文献保障率高于ZZUPrimo;(6)截止笔者考察结束,e 读服务尚未提供“直接在线原文”的链接;(7)鉴于发现服务和搜索引擎都在不断演进,本次考察得到的文献保障率排序仅代表本文成文时的文献保障能力,机构用户选择时应定期复核以把握待选文献获取途径的真实保障能力。
3 思考
3.1 要提高文献获取效率,应准确把握各获取途径的实际保障率
根据数学原理,应先在保障率最高的服务中检索所需的文献,再将未能保障的文献按其他途径保障率由高到低的顺序检索能获得最高的文献获取效率。依据本次比较获得的各途径直接在线原文方式保障率,最高效做法是:先使用保障率最高的超星服务,可达到93.2%的原文保障,其次对剩下的文献通过谷歌补充,两步检索后能得到95.7%的文献,这个保障比例已经能满足大多数用户的需求了。对于追求更高文献保障率的用户,可以将前两步未能保障的文献按其他途径保障率由高到底的顺序再查询一遍。
3.2 通用搜索引擎的原文保障能力不容忽视
虽然很多高校引进发现服务,但免费的通用搜索引擎仍有独特的优势:(1)用户认知度高,在引进发现服务前用户就知道并使用搜索引擎;(2)获取原文步骤简单,本次考察发现在谷歌服务中输入文献标题就能得到文献的原文链接,而QHPrimo、超星发现途径中很多文献需要二次检索才能获得原文的链接。例如,谷歌服务能保障的324 篇原文中只有2 篇需要二次检索,而QHPrimo 途径提供的322 篇在线原文中52 篇需要二次检索;(3)最重要的是本次研究显示谷歌服务的原文保障率相当高,在不考虑超星服务的“邮箱接收”功能时,谷歌途径的“直接在线原文”保障率排第一。但谷歌服务的缺点也相当致命,谷歌这种国外公司提供的服务,可能因国际关系的原因而中断。
3.3 超星发现的外文文献保障能力不容小觑
与一般介绍的国产发现服务保障中文资源有优势,引进的发现服务保障外文文献有优势的认识不同,本次研究发现国产的超星发现服务保障外文文献的能力不弱于引进的国外发现服务。不考虑“邮箱接收”,超星发现的直接在线原文保障率为73.98%,在参评途径中排第六,但考虑超星服务“邮箱接收”功能的实际效果,则超星整体的“直接在线原文”保障率在参评途径中可排第一。本次研究中记录到使用谷歌服务仅能得到原文购买链接的34 篇文献中,超星发现的邮箱接收功能能提供21 篇文献的原文。
3.4 对发现服务的科学配置十分重要
笔者所在机构使用的“学术资源发现平台”与清华大学部署的“水木搜索”使用了相同的引擎——Primo,但两者文献保障率仍有近5%的差距。分析QHPrimo 能提供原文但ZZUPrimo没有的10 篇文献发现,其中2 篇郑州大学已订购大库使用权,但ZZUPrimo 却应收未收,其余8 篇则是QHPrimo 揭示了ZZUPrimo 未能揭示的OA 资源。这显示了两者资源配置上的差异。
3.5 图情机构应密切关注各文献获取途径文献保障率的变化
本次研究中笔者经历了ZZUPrimo 文献保障率的变化,在2014 年7 月统计时,ZZUPrimo约有40%的文献不能保障原文;到了2014 年10 月复核时,ZZUPrimo 仅有17.1%的文献不能保障原文。这种文献保障能力的变化应引起图情机构的重视。前文已经说明发现服务文献保障率的重要性,再加上发现服务实际资源覆盖范围的不断变化,本文提出的根据已用参考文献的保障率来跟踪发现服务保障能力变化的方法具有重要的实用性和可行性。
3.6 检索功能的差异会造成不同文献获取途径保障能力的差别
本次研究注意到谷歌与谷歌学术检索功能存在差异,同样的检索条件在谷歌能定位到原文链接,而谷歌学术中却检索不到。此外谷歌学术的检索功能也弱于谷歌,同样的文献题名在谷歌中检索直接命中原文链接,在谷歌学术中却检索不到,需要通过“刊名”+“出版年”+“关键词”的方式复查才能查到,这种情况本次研究遇到19 篇。
3.7 不同文献获取途径有一定的互补性
通过对比各途径可保障文献发现,不同途径可提供一些独有的文献资源,因此不同文献获取途径有一定的互补性。根据本次比较获得的数据,不考虑谷歌,联合使用5 种发现服务整体“直接在线原文”保障率达到94.58%。联合使用谷歌与5 种发现服务整体“直接在线原文”保障率为96.75%。因此普通用户可根据自己的文献需求联合使用发现服务和搜索引擎以获得更高的文献保障率,不过要考虑根据各途径的实际文献保障率优化检索策略。
3.8 发现服务和搜索引擎均查不到的文献
按1.2 节方法抽样得到的369 篇参考文献中有5 篇在本文涉及的10 种文献获取途径中经全标题检索及“刊名”+“出版年”+“著者”+“题名关键词”方式复核均未检索到。通过查找这些文献来源刊对应的期刊库或期刊网站,并核对相应出版年、卷期、页码的文献发现:两篇经反复核对是原始信息不完整无法进行下一步检验,其余三篇是原始文献非英文,被引用时使用的题名是该文题名的英译名,直接使用这三篇文献的英译名在谷歌及发现服务均检索不到,用该文原始语种的题名反而能检索到。此现象说明:无论是发现服务还是搜索引擎从文献题名途径揭示原始语种非英文的文献都还存在一定的不足。
3.9 e 读服务功能不能满足用户的需求
截止2014 年7 月,e 读服务尚不提供直接在线原文。用户在e 读服务中的检索结果需要链接到“CALIS 外文期刊网”进行二次查询。笔者认为e 读的这种做法不能满足文献用户希望直接通过发现服务获取在线原文的需求,而面临逐渐被用户遗忘的风险。e 读作为CALIS 文献保障的重要组成部分应做得更好。
3.10 要发挥服务的最大保障能力,仍需具备一定的信息素质
本次比较发现在谷歌、Primo 等多个文献获取途径中都存在使用全标题查不到,通过“刊名”+“出版年”+“著者”+“关键词”的方式再次检索才能查到该文的现象,而后者则是用户信息素质的体现。又比如在谷歌的检索框中输入待查文献题名时需要使用双引号才能精确检索,查看Primo 检索结果时会遇到直接在线原文链接无效,通过sfx 的资源列表则可能得到在线原文等等,如果不掌握这些看似简单的使用技巧则不能发挥发现服务的最大效能。
4 结语
无论是发现服务还是搜索引擎,真正满足用户需求的才更具有生命力。发现服务与谷歌联合使用才能得到最高文献保障率的现象提醒追求全面参考文献保障服务的用户应联合使用本文提到的这些文献获取途径。QHPrimo 与ZZUPrimo参考文献保障能力的差距提醒已引进发现服务的机构不能停留在引进了、能运行的层面,更要科学地配置发现服务以充分发挥发现服务揭示资源的能力。对图情工作者而言,应真正以用户需求为中心,及时追踪、检验主要文献保障途径的真实文献保障能力,不断完善现有服务的功能、提升自身服务能力,为用户提供保障率更高、使用更便捷的服务。对发现服务供应商而言,要充分挖掘发现服务的潜力,全面赶超通用搜索引擎则是当前工作的重点。
[1] 中华人民共和国教育部.“985 工程”学校名单[EB/OL].[2012- 12- 30]. http://www.moe.gov.cn/publicfiles/business/htmlfiles/moe/s6183/201112/xxgk_128833.html.
[2] 孙宇,张磊,刘炜.图书馆资源发现系统选型研究[J].图书馆杂志,2013(12):63- 70.
[3] 包凌,蒋颖.图书馆统一资源发现系统的比较研究[J].情报资料工作,2012(5):67- 72.
[4] 秦鸿,钱国富,钟远薪.三种发现服务系统的比较研究[J].大学图书馆学报,2012(5):5- 11,17.
[5] 窦天芳,姜爱蓉.资源发现系统功能分析及应用前景[J].图书情报工作,2012(7):38- 43.
[6] 朱前东.资源发现系统评价体系构建研究[J].图书馆建设,2014(4):41- 45.
[7] 清华大学图书馆.清华大学学术信息发现平台[EB/OL].[2014- 05- 18].http://discovery.lib.tsinghua.edu.cn.
[8] Danya Leebaw,Brian Conlan,Kasia Gonnerman,et al.Sinkler- Miller. Improving Library Resource Discovery:Exploring the Possibilities of VuFind and Web-Scale Discovery [J]. Journal of Web Librarianship,2013,7(2):154- 189.
[9] Amy I. Kornblau,Jane Strudwick. How Web- Scale Discovery Changesthe Conversation The QuestionsLibrarians Should Ask Themselves[J]. College &Undergraduate Libraries,2012,19(2- 4):144- 162.
[10] Vaughan J.Investigations into library web scale discovery services [J]. Information Technology and Libraries,2011,31(1):32- 83.
[11] Michael Kelley. Discovery service coming into focus[J].library journal,2012,10:35- 40.
[12] Asher A D,Duke L M,Wilson. Paths of discovery:Comparing the search effectiveness of ebsco discovery service,summon,google scholar,and Conventional library resources [J]. College & Research Libraries,2013,74(5):464- 488.
[13] 冯士雍,倪加勋,邹国华.抽样调查理论与方法[M].北京:中国统计出版社,1998:54- 56.
[14] 范秀荣,苏继伟. 统计学[M].成都:西南财经大学出版社,2007:206- 209.
[15] 余慧佳,刘奕群,张敏,等. 基于大规模日志分析的搜索引擎用户行为分析[J].中文信息学报,2007(1):109- 114.
[16] 郑州大学图书馆.郑州大学学术搜索与全文递送系统[EB/OL].[2014- 05- 24].http://sodi.zzu.edu.cn.
[17] 北京大学图书馆.未名学术搜索[EB/OL].[2014- 07-23]. http://pku.summon.serialssolutions.com.
[18] 中国校友会网. 2014 中国大学排行榜[EB/OL].[2013-12- 30].http://www.cuaa.net/cur/2014.
[19] 中国人民大学图书馆.中国人民大学外文学术资源发现系统[EB/OL].[2014- 07- 17].http://ruc.findplus.cn.
[20] 郑州大学图书馆.郑州大学学术资源发现平台[EB/OL].[2014- 05- 20].http://primo.zzu.edu.cn:1701.