知网和万方学位论文数据库可用性测试研究

陈 燕 丁 岚

（1.江苏大学杂志社 镇江 212000；2.江苏大学科技信息研究所 镇江 212013）

“可用性”这一概念于20世纪70年代末被提出，主要用来解决用户与设备、软件、工具等人工开发系统之间的关系[1]。ISO 9241-11-1998将可用性定义为“在特定的情境下中，一个产品可以被特定的用户用于达成特定目标的有效性、效率以及用户主观满意程度”[2]。可用性研究领域的专家尼尔森（Jakob Nielsen）1993年在《可用性工程》（Usability Engineering）一书中从用户操作心理的角度出发，提出了可用性包括可学习性、效率、可记忆性、出错频率和用户主观满意度这5个可以衡量的指标要素。尼尔森的观点较全面的概括了可用性的内涵，业界认同度较高，也为之后的可用性分析模型的建立奠定了理论基础。美国UPA前任主席奎瑟贝利（Whitney Quesenbery）在1998年提出了用5个“E”开头的单词来描述可用性的维度，它们分别是有效性、高效率、吸引程度、容错程度和易于学习[3]。

本文拟将上述两个关于可用性的评价标准相结合，设置若干一级指标和二级指标，对中国知网的中国优秀博硕士学位论文全文数据库（以下简称“知网”）和万方的中国学位论文全文数据库（以下简称“万方”）这两种知名度较高并且使用频率也比较高的学位论文数据库进行可用性测试和比较。

1 学位论文数据库可用性测试设定

1.1 测试流程设定

朗道尔和尼尔森的研究结果表明，可用性测试的最佳受测者为5人，5名受测者在首次测试就可以发现85%的可用性问题[4]，所以本研究随机选取5名受测者，包括研究生2名，本科生3名。

图1 学位论文数据库可用性测试流程

1.2 可用性测试指标设定

本文通过对前人的可用性指标研究成果的归纳总结，主要参考尼尔森和瑟贝利的指标，同时结合学位论文数据库本身的特点和可用性特征，最终将可用性的一级测试指标设置为有效性、易用性、易学性、容错程度和主观满意度这5个。一级指标又根据用户在实际使用学位论文数据库时的对数据库的具体操作、对所出现信息的理解、获取和辨别等方面继续细分为数个二级指标，具体设定如表1。

“有效性”是指学位论数据库是否能有效地满足用户的使用需求，只有响应速度快、检索过程顺、检索结果准确，才能决定学位论文数据库是有效的，从而提高用户的检索效率。“易用性”是指学位论文数据库对于用户来说是否易于使用，数据库应使用方便并且检索界面术语易于理解。“易学性”是指学位论文数据库是否能让用户容易地学会使用方法，包括掌握基本使用方法的难易程度和通过检索界面帮助信息掌握更复杂使用方法的难易程度。“容错程度”是指学位论文数据库出错几率较低，而且即使出错也能解决或给出友好的提示，而不是直接需要重新检索或回到数据库首页。“主观满意度”包括了对使用过程的满意度和再次使用该数据库的意愿。上述指标综合、全面涵盖了学位论文数据库可用性的各个方面。

2 可用性测试任务完成情况记录与分析

围绕表1中的各项指标，我们共设置10个测试任务，涵盖了受测者在使用学位论文数据库时的各种操作，每个任务限时5分钟之内完成。在受测者完成任务测试的同时，笔者观察他们完成任务的详情，并及对时出现的问题进行记录。

任务1“在数据库首页找到学位论文数据库并进入”，该任务主要测试数据库首页的导航能力，是最基础和最简单的任务，但是仍有部分受测者存在问题。万方数据的首页检索框上的醒目位置就有“学位”二字，5位受测者平均用时4秒就顺利找到了学位论文数据库，耗时较少。而知网总库的首页显示为“博硕”二字，导致受测试5人中有2人在限定的5分钟内未能完成该任务，因为这2位受测者均忽略了“博硕”就是博士与硕士学位论文的意思，完成任务的3位受测者平均耗时29.34秒，耗时较长。这说明数据库名称的用词会对不是很熟悉学位论文数据库却想获取学位论文的用户造成一定的困扰。

表1 可用性测试指标设定

任务2“在学位论文数据库首页检索本专业相关的任意学位论文”完成得比较好，在知网中受测者平均耗时21.2秒完成任务，在万方中为19.8秒，5位受测者均能以很快的速度找到检索框并进行检索，说明两家学位论文数据库“一般检索”功能的友好度较高，新手也能很快上手使用。

任务3“使用‘高级检索’检索本校和本专业近10年来的相关论文”，在知网中受测者平均耗时40秒完成任务，在万方中为32.2秒。两家学位论文数据库的“高级检索”均位于检索页面的醒目位置，“高级检索”页面的友好度也较高，受测者很轻松地可以发现检索项目的下拉箭头点击出下拉菜单选择自己所需要的检索项目。不过，在检索过程中万方会出现一些检索不出文献的情况，比如检索学科-专业为“情报”（模糊检索）没有检出任何学位论文，但是改为“情报学”（模糊检索）就能检出，可以看出万方对学科专业名称的准确性要求比较高，这可能会造成新用户由于输入的检索词不全，而检索不出文献进而降低用户对学位论文数据库的满意度。

任务4“参照数据库页面的帮助信息使用‘专业检索’检索本校和本专业的近10年来的相关论文，并且关键词包含某个名词”，这个任务难度最大同时也是完成情况最不理想的。有1位受测者未在5分钟限时内在知网中完成该任务，耗时最长，而在知网中4位完成的受测者平均耗时3分19秒完成任务，在万方中为3分22秒，耗时相当。不过由于“专业检索”的使用者平时也大多为图书情报相关的专业人员，这个任务也仅仅是考察检索页面提供的帮助是否能大致让受测者初步尝试使用“专业检索”。在知网中，受测者们普遍消耗了很多时间去查看检索框边的专业检索表达语法和可检索字段，均做出了几次尝试才成功，出错的情况大部分为忘了在检索字段后加“=”或者忘了加逻辑运算符；而且在知网中使用“专业检索”时会出现错误弹窗，提醒服务器上不存在该用户。受测者们表示万方的“专业检索”更为简便，在检索框右边不仅有推荐检索词功能，该功能可以根据输入的检索课题文本生成检索词，而且有可检索字段，点击之后会出现有着检索字段和逻辑关系的小页面，直接点击所需的检索字段和逻辑关系就会自动在检索框生成检索公式，最后只需要填入检索字段具体的检索词，初学者也可以很快的掌握使用方法。

任务5“将任务4的检索结果按照学位论文的发布时间进行排序”。该任务的完成情况也较好，受测者只需要在检索结果的页面上耐心寻找，5位都找到了排序功能的所在，知网的“按时间排序”功能在检索结果页面更为醒目一些，完成该任务平均耗时为18.8秒也比在万方（平均耗时 32.8秒）少。

传统的巡检过程基本上依赖于人的主动性，这种巡检方式难免存在巡检人员监管问题（如：巡检人员消极怠工、漏检、误检）、记录方式问题（如：手工记录、记录效率低、记录漏项或出错）、维护管理问题（如：管理人员难以准确、全面地了解巡检状况，不能及时制定最佳的设备保养和维修方案）以及巡检工作量问题等[2-4]。因此，非常有必要采取自动化的手段，提升巡检质量，减少巡检工作量。

任务6“任意选择一篇检索出的学位论文获取作者的学校和专业信息”。该任务5位受测者均以很快速度完成，在知网中受测者平均耗时5秒完成该任务，在万方中为2.4秒，究其原因，笔者认为，万方不论是精简模式还是详细模式都直接将作者的学校和专业信息列在了文章标题的下方，而知网则需点开具体的文章详细页面才能获取作者的学校和专业信息。

任务7“根据任务4的检索结果，选取前3篇学位论文导出，生成参考文献格式”，该任务考察的是学位论文数据库的检索结果导出功能的可用性。受测者只需在页面上勾选所需要学位论文再在页面上找到导出功能，选择导出为参考文献格式即可。在知网中受测者平均耗时30.8秒完成任务，在万方中为49.2秒，知网的导出功能比万方的更为醒目和易用。在万方中，受测者犯了一些错误，例如忘了选择导出参考文献的格式，或者直接导出系统默认的查新格式。

任务8“任意选择一篇被引用过的学位论文，查看有哪些学术论文引用了该学位论文”。在知网中受测者平均耗时36.8秒完成任务，在万方中为1分56.4秒，耗时是知网的3倍，主要是因为知网在检索结果页面就有“被引”这一栏，受测者只要直接找到并点击就可以获取引证文献，但是万方却需要点击出该学位论文的详细页面，下拉之后在长长的参考文献之后才会找到引证文献。而且5位受测者中有4位完全不知道引证文献的意思，有的直接把参考文献当做了引证文献。如果有可能，在检索结果的页面上能简单标注下引证文献的意思，可能会减少用户的误解。

任务9“请任意选择一篇学位论文进行下载”。5位受测者均能较快的在页面中找到下载功能，在知网中受测者平均耗时8.6秒完成任务，在万方中为3.2秒，万方耗时远远少于知网，因为万方直接将下载全文超链接选项设置在了文章标题和摘要下，十分醒目，而在知网中则需要点击具体的学位论文标题才能在详细页面找到下载选项。

任务10“假设您在学位论文数据库的使用中遇到了自身无法解决的问题，您会如何使用数据库的帮助和咨询功能”，该任务考察学位论文数据帮助功能的友好度。在完成该任务时有2位受测者直接表示不会使用数据库的帮助功能，因为他们在以前使用别的数据库时尝试使用过，但是都不能及时和满意的解决遇到的问题，他们遇到问题更倾向于使用百度或者请教同学和老师。在使用知网的在线咨询功能时，有受测者表示在线咨询悬浮框虽然出现在页面的右边，但是字体还不够大和醒目，有可能会被用户忽视，在白天工作时间的知网咨询服务人员都是在线解答疑问，回复速度较快，但也有咨询人员解决不了的问题，会让受测者拨打热线电话再次进行询问。万方有帮助页面,但只提供了一些基本问题的解答，受测者并没有顺利找到解决问题的方法，接着3位受测者看到了数据库首页的热线电话并尝试拨打，但总是提醒热线忙无法接通。这些情况的出现会对数据库的可用性造成一定影响。

3 可用性测试调查结果分析

在受测者完成学位论文数据库的可用性任务测试后，又填写了学位论文数据库可用性测试调查问卷，调查问卷根据可用性评价指标来设置。受测者会根据刚刚完成任务的感受来完成对两种学位论文数据库的主观满意度评价。问卷采用1～5级的Likert量化表来表示认可的程度及满意度，“1”代表非常不满意、“2”代表不满意、“3”代表不确定、“4”代表满意、“5”代表非常满意。根据回收的问卷，统计得到以下数据。

根据调查问卷反馈的学位论文数据库可用性得分表可以看出，知网的可用性总得分为4.14分，万方为4分，总体来说知网的可用性略高于万方。

在有效性方面，知网的得分为4.4分，略高于万方的4.27分，说明在有效性方面，受测者对知网的满意度略高于万方。在易用性方面，知网的得分为3.8分略低于万方的4分，表明受测者在使用万方的过程感觉到更加方便，检索界面也更易于理解。在易学性方面，两种学位论文数据库得分一样均为4.1分，说明两种数据库均能让用户较为简便地学会数据库的使用方法。在容错程度方面，两种学位论文数据库的得分都较低，均为3.2分，可以看出在受测者使用数据库进行检索时页面会出现错误的情况。在主观满意度方面，知网的得分为4.6，略高于万方，表明了受测者在使用知网数据库时的总体满意度高于万方，再次使用知网学位论文数据库的意愿也较强。

接下来，我们对可用性的每项一级指标下的二级指标进行逐项分析。

3.1 学位论文数据库有效性分析

本文中的有效性指标由学位论文数据库的响应速度、检索过程的顺利程度和检索结果的准确程度3个二级指标构成。两种数据库具体得分如表4所示。从表中的数据可以看出，在学位论文数据库的响应速度这一指标上，知网的得分比万方高出0.2分，两家数据库的得分都较高，说明受测者对数据库的响应速度较为满意，在可用性测试中发现由于校园网络的不稳定和高峰期登录数据库用户过多会造成一定的迟滞现象。在检索过程的顺利程度上，两种数据库的得分相同，均为4.4分，造成失分的原因主要集中在完成任务4的过程遇到了不小的阻碍，有时会遇到按照页面要求输入检索式之后不能顺利检出所需学位论文，检索结果为零的情况，影响了检索的顺利进行。在检索结果的准确程度这一指标上,知网的得分为4分,略高于万方的3.8分，在受测者完成检索任务时认为知网给出的检索结果更符合自己要求，而且知网和万方在这一项中都失分不少，由此看来在检索结果的准确度上，两种数据库库还有待进一步的改善。

表2 学位论文数据库可用性测试任务完成时间表（秒）

表3 可用性测试调查问卷得分表

3.2 学位论文数据库易用性分析

易用性指标包括使用过程的方便程度和检索界面术语的易于理解程度两个二级指标。在使用过程的方便程度方面，知网的分数为4.2分，略低于万方的4.4分，造成这一状况的原因主要是在完成任务4时，知网的“专业检索”对于非图书情报专业人员的受测者来说难度很大，完成该任务耗时很长而且在尝试使用的过程中遇到了许多困难，而受测者在使用万方的“专业检索”时则可以直接点击所需的检索字段和逻辑关系就会自动在检索框生成检索公式，只需要填入检索字段具体的检索词，初学者也可以很快掌握使用方法，其易用性比起知网只能手工输入复杂检索式的“专业检索”更好。在检索界面术语的易于理解程度这一指标，知网的得分为3.4分，也低于万方的3.6分，在对完成任务时的受测者进行访谈时，两位受测者表示更喜欢万方的“普通检索”页面，因为更加直观与方便，他们还表示在平常的学习过程中，“普通检索”基本可以满足他们的需求，平时用的最多的也是“普通检索”。

3.3 学位论文数据库易学性分析

学位论文数据库的易学性包括了掌握基本使用方法的难易程度和通过检索界面帮助信息掌握更复杂使用方法的难易程度两项指标。对于两种学位论文数据库来说，都是掌握基本使用方法比通过检索界面帮助信息掌握更复杂使用方法要更容易。在掌握基本使用方法的难易程度方面，知网的得分比万方高，是因为在完成对检索出的学位论文进行排序、导出和找出被引文献等任务时，知网的耗时比万方少，知网的检索结果页面排序、导出和被引选项较为醒目，易于用户寻找和使用，而在万方中则需点击更多的链接，花费更多的时间去寻找功能选项。在通过检索界面帮助信息掌握更复杂使用方法方面，知网的得分则比万方低，主要还是因为使用“专业检索”这个任务，知网页面只提供了文字的介绍和实例，对于受测者来说需要多次尝试才能成功使用，难度很大，而在万方中有直接点击所需的检索字段和逻辑关系就会自动在检索框生成检索公式这项功能，用户只需要在检索字段填入具体的检索词就可以完成专业检索式的填写，更为方便和易学。

3.4 学位论文数据的容错程度分析

学位论文数据的容错程度主要就是指用户在使用数据库时有着较低错误几率，两种数据库的得分均为3.2分，分数都是各项指标中得分最低的，说明受测者在使用学位论文数据库完成测试任务时遇到了不少页面出错和无响应的情况。知网的出错原因主要是用户在页面停留时间稍久之后再进行操作，在输入完检索词点击检索之后就会弹出出错窗口，弹窗的说明文字为“对不起，服务器上不存在此用户。可能已经被剔除或参数错误”，之后再返回检索页面，受测者先前填写的检索信息就已经清空，会给用户造成一定的麻烦，影响数据库的可用性。

表4 学位论文数据库有效性得分表

表5 学位论文数据库易用性得分表

表6 学位论文数据库易学性得分表

表7 学位论文数据库容错程度得分表

3.5 学位论文数据库主观满意度分析

学位论文数据库主观满意度由对使用过程的满意程度和再次使用该数据库的意愿两个指标组成。关于使用过程的满意程度，知网的得分为4.2分，略高于万方的4分，说明虽然在数据库的使用中遇到了一些阻碍，但是总体而言，受测者对这两种数据库还是较为满意的。关于再次使用数据库的意愿，知网的得分为5分，也略高于万方的4.8分，受测者表示如果下次在学习和研究过程中需要参考学位论文还是愿意再次使用两家学位论文数据库，也有受测者表示自己只知道这两种知名度较高学位论文数据库，不知道其他的学位论文数据库，这也提醒其他的学位论文数据库在增加用户人数和提高知名度方面还需要努力。

4 结论及建议

本研究基于可用性的评价指标体系，对知网、万方的学位论文数据库进行了数据库可用性测试。总体来说，知网和万方的可用性都比较高，两者差别不太大，主要存在的问题为：①“专业检索”难度大，检索准确率不高；②系统不够稳定，出错不能恢复；③帮助功能不能高效地解答用户疑问；④页面出现专业词汇，例如引证文献等，难以理解。

针对这些问题，笔者对知网和万方的学位论文数据库提出以下几点改善的建议：①完善检索功能，提高检索准确率；②提升服务器稳定性，可学习PQDT学位论文数据库近期检索的自动保存功能，避免重复检索；③完善帮助功能，开通多种咨询模式，加强对咨询人员的培训，提升解决疑问的效率；④在页面中对出现的专业词汇进行解释，提高易用性。

表8 学位论文数据库主观满意度得分表

本文所做的可用性测试研究旨在找出学位论文数据库在使用中可能存在的问题，希望能进一步提高学位论文数据库的可用性，为数据库能够更好地向用户提供更人性化和优质的服务提供依据。

[1]梁华坤,张丽霞,何志杰,等.可用性测试平台[J].计算机工程与设计，2010（3）：634-637.

[2]International Organization for Standardization.ISO 9241-11-1998 Ergonomic requirements for office work with visual display terminals-（VDTs）-Part 11：Guidance on usability[S].International Organization for Standardization，1999.

[3]张豪锋，朱 珂.学习型网站的可用性现状及对策研究[J].河南师范大学学报（哲学社会科学版），2006（6）：200-202.

[4]Nielsen J，Landauer T K.A mathematical model of the finding of usability problems[C]//Proceedings of the INTERACT’93 and CHI’93 conference on Human factors in computing systems.New York：ACM，1993：206-213.

[5]徐海霞.我国高校图书馆网站可用性分析研究与辅助分析系统设计[D].重庆：西南大学，2006.