结合邻近度的语义位置语言检索模型

龚小龙，王明文，万剑怡，王晓庆

(江西师范大学 计算机信息工程学院，江西 南昌 330022)



结合邻近度的语义位置语言检索模型

龚小龙，王明文，万剑怡，王晓庆

(江西师范大学 计算机信息工程学院，江西 南昌 330022)

在传统的检索模型中，文档与查询的匹配计算主要考虑词项的统计特征，如词频、逆文档频率和文档长度，近年来的研究表明应用查询词项匹配在文档中的位置信息可以提高查询结果的准确性。如何更好地刻画查询词在文档中的位置信息并建模，是研究提高检索效果的问题之一。该文在结合语义的位置语言模型(SPLM)的基础上进一步考虑了词的邻近信息，并给出了用狄利克雷先验分布来计算邻近度的平滑策略，提出了结合邻近度的位置语言检索模型。在标准数据上的实验结果表明，提出的检索模型在性能上要优于结合语义的位置语言模型。

语义位置语言模型；Dirichlet平滑；邻近度信息；检索模型

1 引言

在过去的几十年间，信息检索领域出现了很多经典的模型，诸如布尔模型、向量空间模型以及概率模型等。1998年，Ponte和Croft[1]首次将统计语言模型应用于信息检索，提出了查询似然语言模型，之后研究者又陆续提出了隐马尔科夫模型、统计翻译模型和风险最小化模型等，但是大多数检索模型都是仅使用了词在文档中的频率这一特征，而未考虑词在文档中的位置关系，对那些相同词在不同文章中的位置和顺序的不同，大多数检索模型对这样的文档的检索得分是一样的，而考虑了位置关系的检索模型的检索效果就会有所区分。基于此，Lv和Zhai[2]提出了一种位置语言模型(PLM)，该模型细微到每个位置建立一个语言模型，并成功应用于信息检索，而且考虑了文档中词与词的位置关系。但该模型还具有可完善的地方，在上述模型基础上，余伟和王明文[3]对其做出了改进，提出了一种结合语义的位置语言模型(SPLM)，并在文中提出了一种新的技术——“平滑互信息”来度量两个词之间的转移概率。通过使用Jelinek-Mercer平滑和相对熵(KL)来衡量查询词的分布和查询词在文档中的位置i的检索得分。

信息检索中的关键任务是对用户的查询所匹配的相关性文档集进行排序。在这一领域里，概率模型已经很成功地被应用于文档的排序中。但是传统的检索模型并没有考虑一篇文档中查询词的邻近度信息，而最近几年提出的PLM模型和SPLM模型在其检索模型中也没有明确详细地指出查询词在文档中的邻近度关系。邻近度代表的是一篇文章中查询词和查询词之间的靠近程度和紧密程度，潜在的意思是，词与词之间如果越紧密，就越能说明它们的主题相关，也因此说明该文档和用户查询的意图是相关的。Beeferman，Berger和Lafferty[4]在其文中也表达出了词项邻近度对于词与词之间的依赖性有较强的影响。

先前也有一些研究将邻近度因素整合到已有的检索模型当中去[5-7]，这些工作都说明了一个恰当的邻近度策略的设计可以提高概率检索模型的性能。本文提出了在SPLM的检索模型的基础上，加入了查询词在文档中的内部结构信息，即邻近度信息，来提升文档检索的准确率，并且我们使用了Dirichlet先验平滑方法来对比SPLM中的JM平滑的方法。实验结果表明本文提出的加入邻近度信息的检索模型使得文档检索的准确率相比于原检索模型有一定的提高。

本文组织如下：第2节对传统的模型与邻近度信息的结合进行了介绍与分析；第3节介绍结合邻近度的语义位置语言检索模型的构建；第4节描述了多种不同的词项邻近度策略的计算方法；第5节介绍了实验环境并对实验结果进行了分析；第6节是工作总结。

2 相关研究

词项邻近度所表达的是在一个指定的距离范围中词项同现的情况。国外有相当一部分工作是将词项邻近度的信息整合到传统的布尔模型和概率模型当中，如Keen[8-9]首先尝试将词项邻近度加入到布尔检索模型中，而后Buttcher[10]等人提出将词项邻近度得分加入到BM25中以此得到对多个不同数据集合上效率的提升。Tao[6]等在文章中系统地阐述了五个邻近度策略，并分别对KL距离的检索模型中和BM25检索模型中所达到的效率做了相应的比较。国内相关的工作中韩中元、李生[11]等提出的利用近邻信息取代聚类语言模型中的聚类信息，通过计算文档之间的KL距离来选择近邻文档，有助于消除聚类边界文档使用聚类语言模型时所带来的不确定性影响。对邻近度的建模可以看作是间接捕捉词项独立性的一种方法，在一些早期的工作当中，是通过计算查询词项在文档中的跨度和密度来度量文档间相似度得分的。文献[6]尝试将邻近度因子分别和BM25概率模型与KL距离模型相结合，最终的得分函数表示为式(1)和式(2)。

Rank(Q,D)=BM25(q,d)+

(1)

Rank(Q,D)=KL(q,d)+

(2)

其中，KL(q,d)，BM(q,d)是分别通过KL距离和BM25模型计算的排序得分，δ(q,d)是和查询q有关的文档d中的邻近度距离的度量。

以上所有的工作主要集中在将词项邻近度信息整合到布尔模型和概率模型中，国内外也有部分研究者尝试将邻近度信息加入到语言模型中。但也包含两个主要的问题：1) 国内多数研究如文献[11]旨在处理文档之间的邻近关系，丁凡、王斌[12]在文中提出的融入词项依存关系的检索模型, 金凌、吴文虎[13]提出考虑一个句子中非相邻词之间的关系,通过距离加权函数来引入距离信息以及文献[14]中提出的查询词项之间的平行概念效应，大部分对文档中查询词项间的邻近度没有给出详细的形式化定义。2) 国外研究者如文献[15]中提出的整合邻近度信息的语言模型较复杂(如式(3))，从而导致算法复杂度过高，效果虽有，但致使计算效率降低，

(3)

其中dl,i为词i在文档dl中的频率，nl是文档总长度，C为文档集合，V为文档集合中所有词汇表的集合。Prox(wi)为词项邻近度得分，μ，λ为平滑参数。实验部分将文献[15]中提出的上述模型与本文提出的模型进行了复杂度的对比。

在语言模型方面，Lv和Zhai[2]提出的位置语言模型(PLM)，余伟和王明文[3]提出的结合语义的位置语言模型(SPLM)在检索效率方面都有不错的效果。但以上语言模型中的平滑方法都忽略了文档中词项结构的信息，本文结合SPLM模型，并利用Dirichlet平滑的方法，仅考虑查询词在文档中的邻近度信息，为确保降低计算复杂度，本文采用平滑方法与邻近度线性结合的方式，以期能够更好地利用词在文档中的分布，获得检索性能上的提升。

3 结合邻近度的语义位置语言检索模型

为了形成一个有效的查询语句，用户会尽可能用多的查询词来共同的表达其查询的意图。在文档中查询词越是相近，此文档就与查询词越相关，文档就更能满足用户查询的意图。如给定两篇文档Da和Db，假设其他因素都是相同的，当查询q中的查询词在Da中比在Db中出现的要更加邻近，那我们可认为文档Da相比于文档Db和查询q更相关。由此，在SPLM上的检索模型中，增加查询词Wi为中心的邻近度得分这个因素。

3.1 语义位置语言检索模型的建立

在文献[3]中首先引入一个随机变量d，d表示文档D中其他位置与目标位置i的距离，这个距离含有正负关系(d>0，表示在目标位置i的后面，d<0表示在目标位置i的前面)。由此，d=1-i，d=2-i， ...，d=|D|-i就是样本空间一个划分，根据全概率公式有式(4)。

(4)

p(j|D,i)和p(w|D,j)的估计以及模型中其他概率估计均可参看文献[3]。并最终提出SPLM模型为式(5)。

(5)

其中k(i,j)是权重函数(式(6))，文献[3]中选取高斯核函数来度量：

(6)

由上式可知： 当位置j离位置i越远时，位置j对位置i的权重就越小。还可以对式(5)的分母进行如下近似计算：

(7)

由于文档集中词的稀疏性，需对SPLM进行Jelinek-Mercer平滑，即文献[3] 最后提出的检索模型为式(8)。

(8)

其中ε是平滑参数，范围[0,1]；p(w|D,i)可采用式(5)计算。

3.2 结合邻近度的语义位置语言检索模型的建立

假设有一查询“搜索引擎”和两篇不同的文档，文档1中为“…搜索引擎…”,而文档2中为“…搜索…引擎…” 直观上看，文档1中查询词是毗邻的，文档1理应比文档2的排序得分高。相比之下，文档2中两个查询词不相邻，并不能直接表达出作为名词的“搜索引擎”的概念，而更可能是一篇同时阐述有关“搜索”和“引擎”两个不同概念的文档。这就说明文档1查询的相关性要强于文档2，而事实上，在传统平滑算法的语言模型中，这两篇文档对于该查询的计算得分是相同的，这也暴露出语言模型中平滑方法的不足。

(9)

其中μ是平滑参数，wi表示查询语句中第i个位置的单词，|q|是查询语句的长度。

其次，使用w在查询词Q的分布和在文档D中位置i的分布的差异性(负KL散度)来衡量文档D中位置i的检索得分，并取文档中得分最高的前k个位置的平均得分作为文档D的检索得分：

(10)

所以如果位置i上w的分布与查询词中w的分布越一致，则检索得分S(Q，D)就越高。其中topK表示文档D中检索得分最高的k个的位置。

4 词项邻近度策略

第一， 如何定义一篇文档中两个不同的查询词之间的距离？

第二， 如何设计一个恰当的非线性函数来将距离转化为邻近度得分？

4.1 词项距离和邻近度得分定义方法

首先来解决第一个问题。要想知道不同查询词之间的距离，先要知道每个查询词在文档中的位置信息，但主要的困难在于一个查询词可能在一篇文档中出现了多次。本文按如下方式来解决，设Q={Q1,Q2……Qn}代表一条查询语句中不同的查询词，用另外一个集合PQi={Pi1,Pi2……Pim}来表示查询词Qi在文档D中出现的所有位置。用Dis(x,y;D)(式(11)和式(12))来表示不同词项间的距离。跟随文献[6]的工作，本文用词项在文档中的位置靠得最近的那段长度来作为这对词项之间的距离。

Dis(Qi,Qj;D)=

(11)

(12)

|D|代表的是文档D的长度，|PQi|代表的是查询词

Qi在文档D中出现的次数。这里要注意到词项对的距离是有对称性的即Dis(Qi,Qj;D)=Dis(Qj,Qi;D)。

解决了查询词之间距离的问题之后，接下来定义一个函数来将距离转化成词项对的邻近度得分。根据前面所得的分析可知，查询词距离越远说明表达的意图和文档主题越不相关，那它们的得分也要相应的低些。下面的指数形式的公式(13)用来给邻近度打分，其中arg是控制得分函数的参数，distance代表的是距离：

(13)

所以最终的词项邻近度得分本文定义为式(14)。

(14)

4.2 以词项为中心的邻近度计算方法

基于以上的策略，考虑三种不同的词项中心化邻近度计算方法(Minimum，Average和Summation)。

定义1(基于最小距离的词项邻近度(MinDist))： 在这个策略中，查询词项的邻近度得分是依靠查询词之间的最短距离来计算的，本文表示成式(15)。

(15)

定义2(基于平均距离的词项邻近度(Average))： 用所有查询词之间的平均距离来计算查询词项的邻近度分数，本文表示成式(16)。

(16)

定义3(基于所有词项对邻近度求和的词项邻近度(Summation))： 这个方法首先对任何一个查询词不同的配对进行邻近度得分计算，然后再将其相加作为本查询词的邻近度得分：

(17)

注意，以上提出的方法都要首先通过计算匹配查询词项之间的距离而后才能进行定义。

5 实验

5.1 数据集与评价指标

5.1.1 数据集介绍与预处理

本文选取了三个常用的标准测试文档集adi,

med, cran*ftp://ftp.cs.cornell.edu/pub/smart/，数据集的具体情况如表1所示。

预处理阶段主要进行了以下步骤：

Step1 提取了每篇文档中的