布尔逻辑检索和自然语言检索对比研究

石蕾

〔摘要〕采用4种检索方式（无过滤布尔逻辑、过滤布尔逻辑、无过滤自然语言和过滤自然语言）对7个常见数据库ASP、GS、JSTOR、LexisNexis、ProQuest Central、PubMed、Scopus和Web of Science检索测试，最后分析了在目前技术环境下，布尔逻辑和自然语言检索相比，哪种方式更加有效。

〔关键词〕布尔逻辑检索；自然语言检索；过滤

DOI：10.3969/j.issn.1008-0821.2018.09.011

〔中图分类号〕G2549〔文献标识码〕A〔文章编号〕1008-0821（2018）09-0070-04

A Comparative Study of Boolean Logic Retrieval and

Natural Language RetrievalShi Lei

（Library，Xian Jiaotong University，Xian 710049，China）

〔Abstract〕Four retrieval methods（without filtering Boolean logic，filtering Boolean logic，filtering natural language and filtering natural language）were used to test seven common databases ASP，GS，JSTOR，LexisNexis，ProQuest Central，PubMed，Scopus，and Web of.Finally，it analyzed that in the current technology environment，Boolean logic and natural language search were more effective than those in natural language retrieval.

〔Key words〕Boolean retrieval；natural language retrieval；filter

2000年，ACRL发布了《ACRL高等教育信息素养能力标准》，其中指出学生使用布尔操作符是信息素养能力的一个关键绩效指标[1]，在过去15年时间里，这项标准对信息素养教育产生了深远的影响，馆员在信息素养教育中把布尔逻辑检索作为一个非常重要的知识模块。2016年ACRL发布了《高等教育信息素养框架》。在这个框架中没有涉及2000年标准中的布尔逻辑检索，仅仅提到控制词、关键词和自然语言。框架降低了布尔逻辑的重要性，强调更为广泛的检索策略，而不是狭义地布尔运算。标准更多地强调固定检索模型（如布尔逻辑），框架允许图书馆员采用概念方法教授检索策略[2-3]。自从2000年ACRL发布标准后，检索算法发生了翻天覆地的变化，这些系统提供给用户更加方便的自然语言检索。在这些检索系统中，布尔逻辑检索和自然语言检索哪种效果更好，目前还没有这方面相关研究。如果自然语言检索能够完全满足检索要求，图书馆员在信息素养教学过程中就可以把布尔逻辑检索占用的大量时间节约下来，转而讲解其他更重要的知识模块（如问题进展、信息源评价等），另外布尔逻辑检索也不符合新的框架，更多的是概念化方法和非常低的可操作性。本文拟对比自然语言和布尔逻辑在7个主流数据库中的检索效果。

1布尔逻辑检索面临的问题

11检索接口的变化

布尔逻辑检索步骤为，首先将研究主题分解为几个主要概念，一般为3个或更多，例如A、B、C，然后确定每一个主题概念的同义词（A1、A2、A3；B1、B2、B3；C1、C2、C3），再用布尔逻辑符号组成检索式（A1 OR A2 OR A3）AND（B1 OR B2 OR B3）AND（C1 OR C2 OR C3）。2010年前，大部分數据库都符合这种检索模式，如Ebscohost、JSTOR、Engineering Village、ProQuest平台等。到了2014年，许多数据库检索接口发生了很大变化，默认搜索仅仅为一个盒子（因为用户更喜欢类似于google一样的单盒搜索），如果点击“Add Field”会回到从前的检索接口[4]，Scopus和Web of Science等数据库都采用了这种样式。

12检索方式的改变

原有数据库检索主要有以下特点：1）元数据（包括主题词）+摘要，不包括全文；2）精确检索，输入的内容就是要检索的内容；3）低水平聚合，没有超过一百万条条目以上的数据库。在这种环境下，由于仅匹配元数据，检索只返回少量的结果，有些情况下甚至检索结果为零。如果检索“Youth”，如果作者刚好在标题和摘要中使用“Teenager”，检索结果将不包括这个结果。也没有自动包含单词的变体（包括英式或美式拼写），为了保证查全率用户必须尽可能包含检索词的所有变体，如复数、名词、形容词等形式。还有像Dialog按照检索次数或时间收费的系统，构建精确的搜索语句以执行高效的检索式非常必要。

现在的检索环境发生了很大的变化，出现大量全文数据库，搜索全文数据库和索引数据库存在很大的差距，如一个论文讨论“Teenagers”，论文或书的全文中可能出现“Teenager”、“Youth”、“Adolescence”等同义词，这种情况下不必要构造含有同义词的检索策略。更为重要的是受Google的影响，越来越多的数据库提供更多的智能，自动词根、增加相关同义词，因此现实情况中不需要增加关键词的变体，如“Color”和“Colour”或者任何关键词的复数形式。即使做一个最基本的检索“A AND B AND C”，由于自动词根、全文匹配，仍能够得到合理的召回率。

类似于Google Scholar现代搜索工具具有三大特征：全文搜索、高度聚合、自动词根。

在这种环境下，使用复杂的逻辑嵌套、错误的选择同义词、过度使用截词符会使检索结果变得更差[5]。使用合适的关键词是保证检索敏感度和精确度的关键，如用逻辑OR连接某个药物的名称列表，但许多研究人员开始并不熟悉该领域的关键词列表，如果告诉他们列出关键词列表时，他们可能会过度延伸使用关键词，从而使检索结果变得更加糟糕。如（A1 OR A2 OR A3）AND（B1 OR B2 OR B3）AND（C1 OR C2 OR C3），可能A3、B3、C3不是确切的，而仅仅是为了防止万一的情况。另外为了使检索词更全面匹配而过多地使用截词符，从而导致匹配错误的检索词。A3、B3、C3在特定的上下文环境中是合适的，但在不同学科表达的意思完全不同，如“Migration”在医学学科通常表示“肿瘤的转移”，在社会科学中表示“移民”的意思。现在许多检索系统与典型数据库不同，如Summon、GS没有学科限制。由于资源发现系统有非常大的索引系统，A3 AND B3 AND C3很可能匹配到大量不相关记录。即使A3 AND B3 AND C3是非常合理的关键词组配方式，但3个关键词在全文中匹配也可能带来不相关的结果。当检索系统有自动词根匹配时，问题会变得更加严重。

14逻辑检索在不同检索平台检索测试

为了测试逻辑检索在不同检索系统中的检索效果，选择了西安交大EDS、MIT EDS、GS、Scopus、PubMed，这5个数据库包括了发现系统、学术搜索引擎和传统索引数据。EDS发现系统提供了4种检索模式，相关词+全文范围检索、仅全文检索、仅相关词检索和关闭相关词和全文检索[6]，其中第4种方式和传统的索引数据库检索模式相同。检索式选择要求查全率非常高的系统评价检索式，第1个检索式包含各关键词的同义词“Depression Treatment Placebo AND（Antidepressant OR“Monoamine Oxidase Inhibitors”OR“Selective Serotonin Reuptake Inhibitors”OR“Tricyclic Drugs”） （“General Practice”OR“Primary Care”）AND（Randomized OR Randomised OR Random OR Trial）”；第2个检索式不包括关键词的同义词，“Depression Treatment Placebo AND Antidepressant AND General Practice AND Randomized”。

从表中的结果可以看到，选择关键词的同义词和相关词用OR逻辑组配检索对发现服务和GS影响很小，两者的检索结果基本相同。同义词、相关词布尔逻辑检索对GS没有作用。运用同义词、相关词后Scopus增加了4条记录，PubMed增加了20条记录，表明同义词和相关词OR逻辑组配方式对傳统索引数据库的影响也越来越小。

2布尔逻辑检索和自然语言检索测试

自然语言检索指的是使用短语或句子检索，布尔逻辑检索是指使用AND/OR/NOT构造的检索式。通过对常用的7个数据库进行布尔逻辑和自然语言检索测试，分析两种检索方式在当前检索环境下的差异。

21数据库和检索主题

为了保证研究问题的多样性，在设计问题时尽可能覆盖更多学科，本文设计的检索主题如表3。在数据库方面选择常用的7个数据库，ASP、GS、JSTOR、LexisNexis、ProQuest Central、PubMed、Scopus、Web of Science。每个数据库采用4种检索方式，无过滤布尔逻辑、过滤布尔逻辑、无过滤自然语言和过滤自然语言。ASP过滤采用限制学术/同行评审、GS使用The Closest Equivalent When Available、JSTOR使用“Article”过滤、LexisNexis使用“Law Reviews”过滤、ProQuest Central采用“Peer Reviewed”、 PubMed采用“Journal Article”、Scopus和Web of Science采用“Article”。根据检索主题选择相应的数据库。

22方法

将每次检索前25个结果导入Endnote文献管理软件，根据评分标准为每条记录打分，记录过滤和没有过滤记录的重叠数量，采用快速浏览标题和摘要评价每条记录得分，评分原则采用表的0～3分原则，每个分数的具体描述见表4。

23结果

每种检索方式都返回大量的检索结果。除了JSTOR和LexisNexis数据库，其他数据库自然语言检索比相应的布尔逻辑检索返回的结果少（如无过滤自然语言和无过滤布尔逻辑），JSTOR和LexisNexis得到相反的结果（表5）。

231不同数据库检索结果相关度

4种检索的平均得分198～208（最高为3），稳定在2相关。最高平均分208是无过滤自然语言，最低平均分198为过滤布尔逻辑。如果只看第一页的检索结果，范围上升到203～211，无过滤自然语言再次得到最高分（第1页的结果数量根据不同数据库从10～50范围），说明第1页的结果比全部25个相关结果稍微多一些。也间接说明数据库内部相关算法获得相关结果优于布尔逻辑检索（图1）。

为了更深入理解检索结果的相关性，将检索结果的第1页分成3部分，得分结果随着页面下降逐渐降低。

结果（1～8）最相关，后2/3结果稍微下降。整体来说，ASP在所有搜索中最好，平均分数256，GS分数25第二，这两个数据接近非常相关（3分）。最低的是ProQuest Central（125），LexisNexis（139），这两个数据库接近不图1检索结果平均分

相关（1分）。中间部分2分（相关）包括JSTOR（234）、Web of Science（218）、Scopus（212）、PubMed（194）。同一数据库中4种检索方式的一致性方面，ASP和GS最好，ProQuest Central相关度分数差异最大，无过滤布尔逻辑192分，过滤自然语言052分。综合数据库ASP、GS得分超过ProQuest Central。单因素相关分析同一个数据库不同主题检索得分之间没有明显差异性。

由于不同数据库每页显示记录数不同（ASP=50、JSTOR、LexisNexis=25、ProQuest Central、PubMed、Scopus=20；GS、Web of Science=10），当只计算第一页的平均分时，大多数数据库平均分数都有所提高，其中GS增加最多，从25增加到27，PubMed是唯一平均分降低的数据库，从194降到191。单因素回归分析不同主题间无明显差异。

232不同检索方法检索结果重叠度

每个数据库不同检索方法的检索结果的重叠百分比，过滤和无过滤重叠百分比表示不同检索方法获得的结果之间的差异程度，也能够反映数据库内容的稳定性。重叠百分比低表示检索结果差异较大，用户能够使用两种检索方法得到更多的结果。ASP重叠率为12%，所以用户同时利用布尔逻辑和自然语言检索能够得到更多相关结果。所以如果重叠率较低，建议研究人员应该做布尔逻辑和自然语言两种检索，以增加查全率。对比无过滤自然语言和无过滤布尔逻辑最相关重叠记录（3分），大多数数据库重叠率超过50%，ASP达到90%，这表明无论哪种检索类型（自然语言和布尔逻辑）最相关结果之间没有差异。也就是说对于只想获得最相关结果的研究人员，不需要构造复杂的布尔逻辑检索。

通过对比过滤和无过滤检索结果，评价过滤检索的有效性。重合百分比高表示过滤和无过滤之间差异性较小，重叠百分比低意味着过滤器产生更多独特的相关结果，7个数据库中GS没有论文相应的过滤器，所以过滤结果和未过滤结果相同。PubMed、Scopus和Web of Science有非常高的重叠百分比，表明过滤器对结果影响非常小。在ProQuest Central和ASP中采用过滤器效果非常明显，过滤器在JSTOR和LexisNexis Academic中也有一些效果，在ASP中，过滤布尔逻辑比过滤自然语言效果更明显。

233不同检索方法检索精确度

精确度是指相关（2分）或非常相关的论文（3分）与整个论文数量（n=25）的比值。无过滤布尔逻辑和无过滤自然语言结果相似。3个数据库自然语言检索比布尔逻辑精确度高，另外3个数据库中布尔逻辑比自然语言精确度，而PubMed两个检索样式精确度相等。从以上分析可以认为采用4中检索方式的任何一种都能获得非常相关的记录结果。

3结论

本文测试的7个数据库中，布尔逻辑和自然语言检索结果高度相关，同一个数据库两种类型检索精确度高度相似（除了ProQuest Central）。ASP和GS两种检索相似度最高，平均相关度和精确度在ProQuest Central数据库中的变化说明在这个数据库中布尔逻辑优于自然语言检索，其他数据库中布尔逻辑检索和自然语言检索无论是相关度和精确度没有明显差异。

同一个数据库布尔逻辑和自然语言得到不同的检索结果。在每个数据库的前25个检索结果中，不论结果相关度如何，如果布尔逻辑和自然语言检索重叠结果非常低。即使平均相关度非常接近，布尔逻辑和自然语言存在较大的差异。GS、Scopus和Web of Science分别用布尔逻辑和自然语言检索能够得到更多相关结果，ASP、ProQuest Central和PubMed两种检索方法得到的相关检索结果相同。

使用过滤器后，PubMed、Scopus和Web of Science检索结果重叠度达到95%以上，所以过滤器对这3个数据库基本没有影响。JSTOR和LexisNexis Academic中过滤器有一些影响，在ProQuest Central和ASP中，过滤器对布尔逻辑检索影响非常高。ASP数据库中，4种检索类型检索结果重叠度都非常高，所以在ASP中可以使用任何一种检索方式得到相关检索结果。

自然语言比布尔逻辑检索有明显的优势，图书馆馆员在信息素养教育过程中应该把大量时间留给信息素养概念，如主题和问题的发展（搜索术语）和资源评价等内容，这部分也正是学生难掌握的。图书馆员应该聚焦更为复杂的问题，如选择检索词的思考过程而不是使用错综复杂的方法将他们连接起来。但对于高水平学术或更复杂的研究需求，例如文献综述时需要高的敏感度（检索到所有可能的相关论文），或者一些特殊的学科如商业需要考虑许多相互关联因素（工业、股东、NAICS Code）等情况下，布尔逻辑检索还是一个非常重要的检索方式。

参考文献

[1]陆光华.对美国高等教育信息素养能力五大标准的分析与思考[J].图书馆学研究，2003，（4）：86-89.

[2]韩丽风，王茜，李津，等.高等教育信息素养框架[J].大学图书馆学报，2015，（6）：118-126.

[3]秦小燕.美国高校信息素养标准的改进与启示——ACRL《高等教育信息素养框架》解读[J].图书情报工作，2015，（19）：139-144.

[4]翟中会.资源发现系统存在的問题及其对策[J].图书馆建设，2015，（3）：63-66.

[5]翟中会.Google与Google学术及图书馆传统数据库差异性研究[J].图书馆工作与研究，2015，（12）：31-33.

[6]郑雯.国外发现系统分面过滤功能比较——EDS、Summon、Primo[J].大学图书情报学刊，2016，（1）：26-30.

（责任编辑：陈媛）2018年9月第38卷第9期现代情报Journal of Modern InformationSep.，2018Vol38No92018年9月第38卷第9期农村民间图书馆众筹项目社交媒体应用对其成功的影响Sep.，2018Vol38No9

收稿日期：2018-04-16