“碎片化”在网站图书检索中的应用

金安

伴随着读者在互联网上以自定义主题（词组或短语）为条件，进行相关图书信息搜索的需求越来越多，传统的检索方式由于不适应自然语言的结构而明显落伍，用户希望网站的搜索引擎，能够提供基于内容的、更新更快且更加完备的相关书目信息资源，这就对我们出版社网站的信息架构——信息的组织方式和处理模式——提出了新的挑战。

我们知道，读者自定义的搜索主题是用自然语言表述的，因而必然是由字和词按一定规则构成，当然还可能包含一些符号或标点。再观察我们的图书内容，也同样是由这些基本元素构成的。要想在两者之间建立起联系，并寻找对应关系，就应当从这些基本单元入手。由于汉语中的词比单个字具有更加完整的含义，所以我们把词作为基本的构成单元对待。将描述或构成图书内容的文本，拆分成具有独立含义的词，是寻找内容相关性的基本前提。而这一过程，就是我们所说的“碎片化”。那么，需要对哪些内容对象进行碎片化？碎片化过程依据什么进行？使用什么工具进行碎片化？到底碎片化到什么程度？碎片化是如何影响搜索引擎性能的？碎片化加工可以一劳永逸吗？本文分别来探讨这些问题。

一、碎片化对象选择问题

碎片化就是对文本进行切分，作为一种技术手段，其应用对象的选择一定要与功能目标相一致。所以，我们首先要选择能够最全面描述图书内容的文本，这就是章节目录，其次是内容简介。因为目录中有的词，正文中一定有，而且多是比较重要的词。这对于以内容检索为目的的相关性判断，就可以达到基本要求了。当然，如果有全文，可以使检索的范围更全面，以致不漏掉任何一个词，但同时也会使运算量成几何级数的递增，这一点与数字出版的要求不同，在线搜索功能对性能近乎苛求，所以我们未将正文列入切分范畴。还有，如果有样章，我们可不可以将其作为碎片化对象呢？这要具体分析一下是什么样的样章。一般科技类图书的第一章大多为概述，其后的各章将分别论述很具体的内容。那么，这类概述类的章节最适合作为碎片化对象，而其他表述具体内容的章节，会因其只突出部分特定内容，而造成与该内容相关性高的误判，所以不应做这种选择。还有一个要点值得注意，就是对于整个系统而言，选择对象的原则只能有一个。

二、碎片化过程依据什么进行

即对内容切分时应依据什么标准。要想让计算机像人一样，在充分理解自然语言的基础上，对文本进行合理切分，目前还有很长的路要走，这是计算语言学或人工智能研究的课题。但是，不完全理解并不代表不能切分，我们可以根据规则和经验，依据已有的资源，在掌握一定的自然语言规律的基础上，完成基本正确的切分。虽然这种切分不是基于对自然语言的充分理解，会有一些歧义产生，但应用实践的结果表明，对于本文探讨的以内容检索为目标的应用，这种切分方式是可以满足功能需求的，准确性是我们可接受的。我们在吸取前人经验的基础上，实践过两种切分方式，并分别应用于不同场合。

基于字符匹配的切分方法。即按照一定的策略，将对象文本中的汉字组合（字符串）与一个充分大的词典中的词条进行对照匹配，如果能在词典中找到完全相同的字符串，就能识别出这个词。当然，上述的取词策略非常重要（以后还会谈到）。

基于频率统计的切分方法。直观的看，字的稳定组合就形成了词，因此在上下文中，相邻两字同时出现（共现）的次数越多，就越有可能是词。所以字与字相邻共现的频率能够很好的反映它们成词的可信度。实践中，我们可以通过概率方法将这种相对频度计算出来，当共现概率超过一定数值时，我们就认为这些字构成了一个词。这里有一个前提需要大家注意，就是用于计算共现概率的样本文档（我们称之为语料库），必须与我们产品的实际内容相吻合，这一点很重要。

上述两种方法为我们进行内容信息的碎片化处理，提供了可行的依据和标准。

三、使用什么工具进行碎片化

在碎片化的方法和参数确定下来以后，我们就可以进行切分操作了，这里离不开两个重要工具。

词库。这是切分时依据的标准。汉语词汇是海量的，我们可以把它分为通用词和专用词两大类，因而就需要有通用词库和专用（业）词库。一般通用词库可以选择标准的或权威机构提供的，词汇量6万-10万个的基本可以够用。

中文自动分词系统。这是一个计算机文本处理的软件工具。我们利用它在内容切分过程中实现如下功能：将文本中两个标点符号之间的汉字，按照我们定义的标准或规则，切分成若干个独立的词汇，并过滤掉其余无意义的单字，再将多次出现的词汇合并，同时记录下该词出现的频率。这样，原本连续的文档，就分解为若干独立的词汇及词频记录，形象地表述就是被“碎片化”了。当然，上述切分是有不同方式的，从左向右的逐字取词称为正向匹配，而从右向左的称为反向匹配，实践表明，反向匹配的正确率高于正向匹配，歧义出现的也比较少。还有，根据取词长度的不同，存在由最大匹配至最小匹配的多种组合方式。在最终决定采取何种切分策略时，应本着在运算速度可接受的前提下，尽可能提高分词质量的原则，不过这可能需要反复进行摸索与评测。

四、碎片化的程度应如何把握

搜索引擎的工作机制是将我们碎片化了的内容，与用户输入的描述搜索条件的语句进行对比匹配，因而，也必须对该搜索条件语句进行碎片化。由于这些条件都是以自然语言形式表述的，所以，要做到完全正确的切分难度很大。一旦切分错误，将带来后续检索和判断的一系列问题，无法保证搜素引擎的质量。鉴于目前的计算机技术尚不能做到对自然语言的完全正确理解，所以，我们只能采取充分匹配的方法，穷尽从最小匹配至最大匹配的所有可能，而不漏掉任何一个词。我们称之为“多粒度”方法。当然，这个原则也必须同样应用到我们对内容的碎片化上。之后的问题，就是如何确定最大匹配值，即最大词长，这与我们的内容有关。大多数情况下，到访出版社网站的客户，其对内容的需求多是与该社出版领域相吻合的，就是说，用户的搜索习惯与出版物的内容特点是有相关性的。所以结论是，碎片化的程度，还要兼顾本社产品的内容特点。

五、碎片化对搜索引擎性能的影响

碎片化是搜索引擎进行检索和判断的基础和前提。经过基本的碎片化加工以后，我们可以从出现频率的角度，定量地考察各相关词汇（称为索引词）与内容的相关度，但实践表明，这还不够。由于我们并没有对正文的全部进行碎片化处理，就忽略了章节内容（长短不同）对图书整体相关性产生的影响。因此，我们需要挖掘一些能够定性描述图书核心内容的关键词，来补偿或校正这一影响。既然这些词起的是定性作用，那么我们就要赋予其较大的权重，相当于它们所代表的内容以高于平均值的频率出现在总体内容中。实践证明，这一措施对提高搜索引擎的质量做出了重要贡献。那么，到哪里去提取这些描述图书核心内容的关键词（也称为特征项）呢？我们把焦点瞄准了网站的产品数据库。经筛选，我们把CIP关键词、中图法分类、自定义分类、作译者名、书名、ISBN列为特征项，进行同样的切分，并赋予高权重。因而，我们所讲的碎片化是对所有内容（包括定量的和定性的两部分）而言的广义碎片化。总而言之，碎片化的方式、对象和标准对搜索引擎的性能有重大影响。

六、碎片化是与内容生产永久相伴的

碎片化加工不能一劳永逸，只要新书的生产不停顿，就不断会有新的内容，在经过碎片化处理后，被加入到索引数据库中，否则，搜索引擎就无法检索到它们。正是由于这些新书不断地出现在搜索引擎的结果列表中，网站的新书推荐有了新的途径。因为在新书上市的初期，读者在尚不了解新书信息的情况下，是不可能用书名去进行查询的。而当他们进行主题搜索时，无意中发现了许多新书信息，这势必引起读者的关注，使他们产生阅读的冲动。所以，碎片化处理已成为与新书发布同步的网站日常作业。同时，新书内容中不断涌现的新词，也是我们丰富和完善专业词库的主要来源。

碎片化作为内容结构化处理的一种方式，是我们在出版社网站上的首次尝试，还仅仅是一些探索和实践。在其构思、设计、测试、实施和运维的过程中，我们总结出如下三点基本经验。

专业词库建设，是最重要的基础工作，必须持之以恒的做好。

词库是碎片化加工的必备工具，如果没有专业词库，就无法保证具有自身特点的内容被正确的切分，搜索引擎将显得很不专业，无法发挥出版社网站的资源优势。而专业词库的建设可以有依据词典生成、购买定型产品和基于语料库的统计识别三种途径。我们选择的是第三种，即构建自己的语料库用于词频统计及筛选，该方法不仅花费少、影响因素少，而且能够最大限度地利用本出版社的内容资源，也最切合自身内容特点，并且为以后的扩充和升级词库创造了条件。

必须结合出版社自身特点，并不断总结经验，优化完善。

任何新理论新技术，都不能拿来机械地直接使用，而必须考虑应用对象的特点。出版社有自己的出版领域、产品特色、内容特点、资源形式、数据结构、人才优势，这些都是确定方案及参数的依据和基础。关键在于如何与技术设计相结合，经不断总结经验、测试修改、优化完善，一定可以达到实用化水平。但这是一个逐步实现的过程。

理论与实践、信息技术与出版业务必须紧密结合。

信息技术飞速发展，我们应不断学习和掌握新的理论知识，同时又要敢于实践，才能将创新思想转化为创新实践，从而推动行业的信息化水平不断提高。同时，新技术的应用还要找准突破点，在出版业务有需求、信息技术有可能的结合点上下功夫，就能够取得成功。在开发过程中，既要有突破性的创新逻辑构思，又要兼顾业务需求在模型算法中的合理实现。

网站信息的碎片化加工，是我们在内容结构化处理领域的一次尝试，其目标是为搜索引擎提供结构化的数据基础，是在探索和实现计算机理解自然语言——这一宏伟愿景过程中的一次实践探索。 （作者单位系科学出版社）