生物医学开放存取网站可用性评价的实证研究*

韩 玺

1 研究背景与目的

开放存取(Open Access，简称OA)运动推动了OA期刊和OA仓储网站的建设，然而国内用户对开放存取的利用比较少[1]，网站利用较少与其可用性有关。网站可用性是可用性在人机交互时以网络浏览器为基本工具领域的应用[2]。可用性专家Nielsen认为网站可用性是终端用户不需要任何专业培训就能够容易地访问和利用网站[3]，并从可学习性、使用效率、可记忆性、可靠性和用户满意度等5个方面给出了网站可用性的含义[4]。目前在图书馆网站[5-7]、政府网站[8-9]、电子商务网站[10-11]、数字图书馆网站[12-14]等领域已有较多研究。本文以开放存取资源最多的生物医学领域为例，选择国内外代表性网站进行可用性评价实证研究，以期发现生物医学开放存取网站的可用性问题，为提高同类网站可用性水平以及建设机构仓储提供借鉴。

2 评价对象选择

本文分别选取国外和国内生物医学开放存取网站各一个为研究对象，进行对比分析。

国外网站选择PubMed Central(简称PMC，http：//www.ncbi.nlm.nih.gov/pmc/)，该网站为生物医学科研人员利用最多的外文OA数据库，在生物医学界有较大影响。PMC由美国国家生物技术信息中心(National Center for Biotechnology Information，NCBI)于2000年2月建立，保存生命科学期刊论文全文，免费供公众使用。PMC全文在PubMed中都有相应的条目，在利用PubMed时，检索结果都会有免费标记及链接。PMC目前已收录期刊3449种，论文全文260万篇。

国内网站选择中华医学杂志(英文版)(简称CMJ，http：//www.cmj.org/)，该期刊为国内生物医学领域最为著名的期刊之一，创刊于1887年，目前已被国际上20余种著名数据库收录，包括SCI等国际著名检索系统，该杂志2000年以来发表的所有论文，几乎都能从网站免费下载。

3 测试基本情况

3.1 测试方法

参照国内外可用性评价研究成果[15-16]，本文主要利用问卷法进行可用性测试，获取两个网站的可用性情况并进行对比分析。

问卷包括两轮，第一轮问卷主要涉及若干检索问题，接受测试者分别利用PMC网站和CMJ网站进行解答，在这过程中用户会对两个网站的各方面有较充分的接触和认识；第二轮测试是半结构化问卷，读者根据第一轮问卷中两个网站的利用感受，对相应的评价指标进行打分(9分制，5分为及格)，如表3所示(见103页)，然后结合指标权重计算两个网站可用性最后得分。评价指标从网站设计、资源建设和检索功能三方面出发，综合ISO和尼尔森提出的可用性评价标准，以有效(网站和资源提供的服务和功能是否能实现用户利用的目标)、效率(用户在整个利用过程中的容易程度和绩效)、满意度(用户对利用网站的效果、效率等的综合感知)和易学(网站是否比较容易把握和利用)为标准，并通过专家调查法和层次分析法确定每个指标的权重。

3.2 测试对象选择

本次测试对象主要选择在南方医科大学图书馆查新较多的高级职称青年教师、医生和选用文献传递较多的博硕士研究生以及大连医科大学、广东医学院、南方医科大学等院校开展医学信息检索教育的中高级职称馆员。这些人员，尤其是馆员，在教学中对生物医学开放存取资源的了解更多，评价时更为客观；在人数选择上，根据Nielsen和Landauer的观点，可用性测试并不是代价昂贵的工程，一般来讲，第一个测试参加者可以发现31%的问题，其后的测试者也会发现问题，但发现的问题有重叠，新发现的可用性问题会减少，越往后可发现的新可用性问题就越少，一般5个用户可以发现80%的可用性问题，12-15名即可发现95%的可用性问题，其它问题可以通过更多测试手段和分阶段测试逐渐挖掘[17]。上述观点已经过实践检验，许多专业人士在可用性测试时一般会选择6-10名具有代表性的用户，本测试选择12名对象。12名测试对象基本情况：性别方面，男女各6名；身份方面，教师1名，临床医生2名，博士研究生2名，硕士研究生2名，图书馆员5名；年龄方面，25-35之间的9名，35-45之间的3名，见表1。

表1 测试对象基本情况

3.3 测试环境

测试环境选择在南方医科大学图书馆电子阅览大厅。测试过程分为准备、介绍、测试和测试后访谈四部分。准备主要指测试前联系测试对象，准备设备和问卷；介绍主要指向测试对象介绍可用性的基本知识和测试的各组成部分，提醒测试对象测试的目标是考察网站是否好用、易用、可用，存在哪些影响可用性的问题，而非考察他们的信息素养，测试问题本身并不需要有正确答案，关键是从测试过程中发现可用性对用户利用行为产生的影响，为提高网站可用性提供参考[18]。对于不知道怎么回答或者不了解的信息，建议在问卷填写过程中向调查员咨询，尽可能使评分客观，杜绝随意性及偶然性。

测试分为两轮，第一轮是网站使用的测试，针对评价指标共设计测试任务5个：分别利用两个网站检索2012年收录的关于lung cancer的文献；选择其中一篇文献看是否能全文下载；网站提供了几种全文下载的格式？文章能导入到参考文献管理软件吗？这篇文章能在PubMed、Google、Google Schoolar、Baidu中检索到并全文下载吗？第二轮是根据测试的感受和情况就每个指标打分。测试时注意观察并记录用户的思维过程和行为，测试后的交流主要指用户完成测试问卷后选择3位测试对象进行访谈，访谈使用录音笔记录，主要和用户交流使用情况及发现的问题，并提出相关意见和建议，访谈内容从页面布局、资源、检索、全文下载及其它四方面展开。

4 测试结果及分析

4.1 测试信度分析

信度测试衡量调查结果的可靠性、稳定性和一致性，通常利用内在一致性信度即Crobach’s Alpha(克朗巴哈)系数分析，一般认为Crobach’s Alpha的值在0.9以上，表示量表的信度很好；量表信度系数在0.8-0.9之间，表示量表的信度可以接受；量表信度系数在0.7-0.8之间，表示量表有些项目需要修订；量表信度系数在0.7以下，表示量表有些项目需要抛弃。笔者对测试结果进行信度分析，如表2所示，两个测试网站的信度系数均超过0.8，说明测试具有较好的内在一致性。

表2 生物医学开放存取网站可用性实证评价信度分析表

4.2 PMC 和中华医学杂志网站测试结果及分析

将用户对两个网站相关指标的打分与指标权重结合(表3的评价权重是前期通过专家调查法和层次分析法计算确定)，得到了两网站在不同指标上的得分(表3实际得分列)以及两个网站的最终得分7.287和5.9641，与满分9分相比，得分率分别为80.97%和66.27%。

从表3可以看出PubMed Central网站可用性得分达到7.287，得分率超过80%，可用性较好；而中华医学杂志(英文版)网站得分为5.9641，得分率为66.27%，可用性一般，存在一定可用性问题。两网站可用性的差异具体分析如下：

(1)网页设计。在网站设计方面(指标1-17)，两个网站得分较为接近(分别为0.6721和0.6768分，满分为0.99分，得分率在68%)，但是在具体指标上，中华医学杂志网站在最新论文推荐以及论文推荐的满意度方面比PMC网站得分高。而PMC网站则在网站页面的简洁方面比中华医学杂志网站好，有测试对象提到中华医学杂志网站的页面布局较乱，广告较多，不利于锁定有价值的信息；此外PMC网站提供的帮助功能以及个性化服务功能细致方便、易学易懂，可用性得分比中华医学杂志网站高，测试对象提到中华医学杂志网站的帮助按钮不明显，有时候打开是乱码，且帮助效果不好。

(2)资源建设。在资源建设方面(指标18-28)，PMC网站的可用性得分(4.3325分)比中华医学杂志网站(3.3521分)高，差距较为明显，主要体现在网站资源内容的质量和数量上，PMC网站站内文献资源的数量和质量均大幅超过中华

医学网站，因此后者可用性得分低于前者较多；对于网站的组织索引和可见度，PMC网站略优于中华医学杂志网站，中华医学杂志网站最新的资源在Google检索不到；此外在网站提供的资源查找途径、检索字段，被Google、Google Schoolar、PubMed等索引方面，PMC得分为3.726(满分为4.316)，得分率达到了86.3%，中华医学杂志网站得分为3.0473，得分率为70.6%。

表3 PMC与中华医学杂志网站可用性评价得分

(3)检索功能。在检索功能方面(指标29-45)，PMC网站在检索限定、检索错误提示、检索结果的排序、检索结果的分析以及检索结果的题录输出方面均比中华医学杂志网站得分高，PMC网站在检索功能和检索结果各项的累计得分为1.1018，得分率为68%(满分为1.611)，而中华医学杂志的得分仅为0.7016，得分率为43.5%，存在较为严重的可用性问题。两个网站在二次检索以及检索结果的分析和筛选方面均比较简单，不能满足测试用户的需要。而在全文下载方面两个网站可用性评价得分较为接近，分别为1.1806和1.2336，得分率分别为85.2%和89%(满分为1.386)。

4.3 测试发现的可用性问题

根据用户在测试中和测试后的反馈，发现两个网站存在一些可用性问题：

(1)PMC网站可用性问题。PMC网站的可用性比较高，用户反馈中明确提到的问题较少，主要是网站没有提供二次检索功能，虽然网站具有高级检索功能，但只有基本检索，无法在此基础上再次检索，需要重新开始；在检索结果筛选方面，有用户提到BIOSIS Preview s数据库可利用Refine功能对检索结果的作者、期刊来源、年份、主题和学科等进行筛选，方便用户查找需要的文献，如果PMC具有这样的功能则更加好用；对于检索结果的排序，用户认为虽然PMC已经提供了按出版日期和杂志名进行排序，但排序功能隐藏在Display Setting中，不太明显，另外如果能够提供按第一作者排序会更好。

(2)中华医学杂志(英文版)网站可用性问题。中华医学杂志网站的可用性得分较低，存在较多可用性问题。如网站页面在简洁美观方面受到不少测试用户的批评：页面内容过于密集，栏目和广告过多，影响用户对重要核心信息的目光定位；帮助按钮不够明显，帮助功能的实际效果不大，且有时点击后会出现乱码现象；网站不提供个性化的定制服务，不方便用户及时获取网站最新信息和跟踪主题信息；由于只含有一种期刊，用户很少知道该网站；没有提供限定检索，无法查找诸如综述、随机对照实验、Meta分析等生物医学专业文献；没有提供二次检索功能，用户无法进一步筛选文献；与PMC网站一样，中华医学杂志网站同样无法进行检索结果的筛选和分析，检索结果仅能按出版日期排序，在科研用户最需要的参考文献导入管理方面，网站不支持任何输出格式的管理软件。

5 提高网站可用性的建议

根据上述实证评价的结果和用户意见，笔者提出以下8点建议，供生物医学及其他开放存取网站、商业数据库以及机构仓储库建设人员参考，以提高网站可用性水平。

5.1 加强数据规范性建设，提高索引能见度

很多时候用户利用开放获取网站资源是通过搜索引擎(如Google、GoogleSchoolar)和常用数据库这些“源”进行检索的，因此提高开放存取网站资源被其它“源”的索引程度对于提升网站可用性至关重要。而能够被这些“源”索引，数据的规范性非常重要，因为搜索引擎和其它检索工具等一般依靠“机器人”在获取元数据后，会自动按照一定规则持续不断抓取数据并编制索引。如果数据不规范，开放资源无法被搜索引擎等“源”所获取，造成即使资源在网络上存在，用户却依然检索不到，影响资源的能见度和网站的可用性。因此开放存取网站、商业数据库及机构仓储库在建设过程中一定要重视数据规范性，提高索引能见度。

5.2 提高元数据建设水平，重视资源的揭示方式

元数据的基本功能是对信息对象的内容和位置进行描述，从而为信息对象的存取和利用奠定基础。标准规范的元数据建设能够使资源得到更多揭示，使检索有效程度得到极大提高，从而促进网络信息资源的被发现，因此数据资源类网站应重视元数据建设，提高与其他网站资源的兼容性。这样，不仅有利于数字资源的保存，也有利于开放存取资源与其他资源网站和系统的有效整合、集成。此外，开放存取资源网站也要重视数字资源元数据层面的揭示，提供多种检索途径满足用户检索和利用需求，使用户更方便地挖掘和获取资源，提高网站的可用性。

5.3 注重检索结果排序分析功能及题录输出功能

对科研人员而言，数据资源的检索和获取只是一个基本需求，在海量数据面前他们提出了更高要求。有用户在调查中提到BIOSIS Previews数据库提供多种条件的精炼功能(Refine)，对有效细分和筛选信息帮助很大，有利于从中发现隐藏的重要情报信息；对于检索结果的排序，用户也不满足于系统提供的现有方式，从时间、作者、期刊、主题和被引等方面提出了更多需求，仅提供一种默认排序结果是不够的；此外，当科研人员习惯了利用参考文献管理工具辅助论文写作时，就对检索结果题录的输出功能非常重视，调查中5位科研用户均提到了这些功能，有2位用户对中华医学杂志网站缺失该功能显得失望。

5.4 提高全文获取的方便性，减少文献获取障碍

开放存取网站建设是为了用户便捷、快速获取全文，虽然本文实证测试的两个网站在全文下载格式、全文下载方便性以及全文下载按钮明显性方面均表现出较强的可用性，但是笔者在日常文献传递实践中发现不少网站由于全文下载按钮不明显及格式的问题使用户不知何从下载全文，或者数据库仅提供HTML格式的全文，不利于用户使用。因此开放存取和机构仓储网站要重视全文的格式、全文下载按钮的方便与明显程度，以提高可用性。

5.5 优化网站检索功能，提高检索方便性和专业性

检索是资源类网站的基本功能，目前一般网站均提供作者、关键词、标题、摘要、期刊来源、DOI等检索途径，部分网站还实现了基于全文的检索，但是在检索错误提示、二次检索、限定检索以及检索帮助方面，很多网站都不够重视，影响其可用性。如在本测试中有用户提出PMC网站提供的检索词输入错误提示功能非常有用，有利于检索到想要的信息；此外检索很多时候并不能一步到位，提供明显的二次检索功能对于修正检索式，减少重复操作非常有用。

5.6 重视网站生物医学专业检索的可用性

检索是资源发现的重要途径，对生物医学资源网站而言，由于文献查找的专业性和针对性，用户对检索的要求更高，如利用Mesh主题词和副主题词组配检索查找更全面、准确的文献，利用限定查找某具体类型(如病例报告、临床实验、对照研究、随机对照实验、指南、Meta分析、多中心研究、综述、系统评价)、研究对象(如人或者动物)、性别(男或女)、年龄段(婴儿、幼儿、成年人、老年人等)、学科主题(如肿瘤、免疫、细胞生物等)的文献资源。作为专门针对生物医学的网站，资源的简单搜集和整理对用户而言作用并不大，如何从专业的角度揭示用户需要的文献，减少筛查时间，提高用户满意度则非常重要。

5.7 重视移动阅读，提高网站移动环境下的可用性

随着移动技术与互联网的快速发展，移动服务已被越来越多用户所使用。对于学术研究人员而言，随时随地通过移动终端获取学术信息也成为可能。目前不少大型外文数据库如EBSCO Host、SpringerLink、Wiley Inter science均提供了移动服务，移动学术信息查找与阅读将在未来科研人员的文献利用习惯中占据重要位置。调查中发现一名医生注意到PMC网站提供的移动平台，对此感兴趣并表示回去后尝试使用。因此生物医学开放存取资源网站要把握移动阅读的趋势，不仅要支持PC终端的访问，还要重视移动设备的访问，提高生物医学开放存取网站移动环境下的可用性。

5.8 促进网站界面简洁美观，增强界面可用性

虽然资源被索引及全文下载的功能对于开放存取网站可用性至关重要，但是网站界面也会影响用户利用。在本研究中就发现有多位测试对象反映中华医学杂志网站的界面信息过于密集，页面设置比较乱，广告多，信息太多，致使用户目光不易定位到最重要信息上，整体界面不够友好影响用户对网站评价；而PMC网站的简洁风格则普遍受赞，认为目标比较明显，方便检索和文献下载。因此界面的简洁美观有利于增强可用性及用户对网站印象，方便用户快捷定位自己所需要的服务和资源。

[1] 肖冬梅. 开放存取运动缘何蓬勃兴起[J]. 图书情报工作，2006 （5）：128-131.

[2] Wikipedia.Web usability[EB/OL]. [2012-07-15].http：//en.wikipedia.org/wiki/Web_usability.

[3] Nielsen，Jakob.Usability 101：Introduction to Usability.Alertbox：Current Issues in Web Usability. Retrieved from [EB/OL]. [2012-07-15].http： //www.useit.com/alertbox/20030825.html.

[4] Jakob Nielsen. Web 可用性[M] . 北京：人民邮电出版社，2000.

[5] 雷刚. 论可用性评估在高校图书馆网站建设中的应用———以太原科技大学图书馆为例[J]. 山西科技，2010 （3）：118-120.

[6] 袁红. 基于网络内容分析的高校门户网站可用性测评——以江苏省为例[J]. 现代图书情报技术，2010（10）：70-75.

[7] 华佳旭. 省级公共图书馆网站可用性研究———以广西壮族自治区图书馆为例[J]. 新世纪图书馆，2011（7）：77-79.

[8] 雷银枝. 政府网站可用性研究———以“首都之窗”门户网站为例[J]. 情报理论与实践，2011 （12）：112-116.

[9] 闫涛蔚，王丽荣. 我国电子政务网站移动服务可用性研究[J]. 图书馆学研究，2009 （4）：37-42.

[10] 贺桂和，向建军. C2C电子商务网站的可用性及评估方法[J].湖南人文科技学院学报，2010（4）：70-73.

[11] 贺桂和，谭春辉，邓艳华. C2C 电子商务网站可用性评价指标体系设计研究[J]. 荆楚理工学院学报，2010 （12）：60-64.

[12] 黄晓斌，邱明辉.日志分析法在数字图书馆可用性评价中的应用[J].情报理论与实践，2011（3）：62-65.

[13] 马翠嫦. 国外数字图书馆可用性评价研究综述[J]. 现代图书情报技术，2007 （2）：1-6.

[14] 黄晓斌. 数字图书馆可用性评价应关注的几个问题[J]. 国家图书馆学刊，2010 （3）：39-43.

[15] 赵宇翔. 公共图书馆网站信息构建可用性评价研究[J]. 现代图书情报技术，2007 （3）：60-64.

[16] Hasan L，Morris A，Probets S. A comparison of usability evaluation methods for evaluating e-commerce websites [J]. Behaviour and Information Technology，2012，31 （7）：707-737.

[17] Nielsen J，Landauer T K. A mathematical model of the finding of usability problems [C]//Proceedings of the INTERACT'93 and CHI'93 conference on Human factors in computing systems. ACM，1993：206-213.

[18] 赵宇翔，徐一新. 高校图书馆网站信息构建的可用性研究———以复旦大学图书馆网站为例[J].图书馆杂志，2009 （1）：48-56.