属性识别模型在搜索引擎综合评价中的应用研究

胡起靖

（苏州图书馆，江苏 苏州 215002）

随着现代互联网技术的高速发展和普及应用，搜索引擎已成为大多数人日常生活中通过互联网获取信息不可或缺的检索工具。开展搜索引擎的综合评价研究，有助于为用户选取搜索引擎运营商以及进一步优化搜索服务提供参考。

搜索引擎属于多层次、多因子的大数据系统[1]。对搜索引擎进行系统的评价研究应当避免不同搜索引擎之间较多的指标差异给用户造成选择的困难。综合评价法具有综合性和系统性，能够综合多方面的指标信息，通过数学模型进行系统化信息处理和分析，进而得到总体化的评价结果，在实现多层次、多因子复杂系统的系统描述方面作用突出[2]。综合评价法可以融合多种评价方法进行组合应用，实现评价过程主观评价与客观评价相结合、定量研究与定性研究相辅相成，能够保证得到较高科学性和可信度的评价研究结果，因此在系统综合评价中得到广泛应用[3]。

目前应用于搜索引擎的综合评价方法有主成分分析法、TOPSIS 法、因子分析法、灰色评价模型等，这些模型方法在搜索引擎综合评价中均是以指标计量数据或者收集的用户体验反馈信息中的单独一种为研究对象。例如，在应用于评价指标计量数据的综合评价研究方面，陈弄祺[4]采用主成分分析法，通过查询官方网站提取评价指标原始数据并进行主成分分析，对5个搜索引擎实现了综合评价优劣排序；方曦[5]采用TOPSIS法对4大热门中文搜索引擎的13项评价指标数值的进行了实证研究，获得了4个搜索引擎的优劣排序综合评价结果。在应用于户体验反馈信息的综合评价研究方面，王惠[6]采用因子分析法，将通过问卷调查得到的各指标用户满意程度评分进行主因子特征值和特征向量处理，对搜索引擎的用户满意度进行综合评价；汪新凡[7]采用灰色评价模型，将专家对搜索引擎检索使用性能的打分处理成1个描述不同灰类程度的权向量，然后再进行单值化处理得到综合评价值，进而实现对不同搜索引擎的排序优选评价；谢人强[8]通过建立线性评价函数，将专家对各项指标评价的平均得分代入计算，以此得到搜索引擎的综合评价结果；唐曦[9]采用模糊评价方法，以用户分类问卷调查获取原始数据，系统评估国内外主流互联网地图搜索引擎的视觉质量。

属性识别模型是上世纪末程乾生教授基于属性集理论和属性测度概念提出的综合评价方法[10]，在对评价对象的优劣等级判定和比较分析上，该模型较好地克服了模糊数学模型等方法的某些不足[11]，相较于综合指数法更加科学有效[12]，已广泛应用于多维度复杂系统的预测、评价、决策等问题中[13-14]。本研究尝试将属性识别模型引入搜索引擎评价中，并分别应用于指标计量数据和用户体验反馈信息的综合评价和实证研究，以寻求适用于搜索引擎综合评价的新方法，以期为当前的搜索引擎评价提供新的借鉴和参考。

1 模型计算方法

1.1 建立分类标准矩阵

设评价对象空间X有n个评价对象，每m个评价对象有个评价指标每个评价指标有k个评价等级对于每个评价指标有相应的评价等级分类标准，则评价对象空间X的分类标准矩阵为：

1.2 确定权重

在多指标综合评价中，指标权重反映了指标在评价体系中的重要性程度，直接影响评价结果[15]。设评价对象有n个评价指标，第j个评价指标的权重为wj，则满足。

1.3 确定样本属性测度

计算第i个评价对象第j个指标值xij属于Ct类的属性测度为。设，有:

1.4 综合属性测度

1.5 对象的识别与排序

按照评价准则进行评分，对评价对象进行比较分析，用下式进行计算：

2 模型应用与实证研究

2.1 基于指标计量数据的实证研究

2.1.1 模型应用及计算

1）选取评价指标及量化数据

为便于对模型方法在搜索引擎评价中的应用进行对比论证，本文以文献[5]中的4个搜索引擎评价指标量化数据为实例应用对象，该文采用AHPTOPSIS算法，对13个二级评价指标的量化数值进行规范化处理并排序计算，得到4个搜索引擎综合评价和排名结果。文献[5]对评价结果进行了实证分析，说明了所采用方法在搜索引擎评价中的可操作性和指导作用。文献[5]中4个中文搜索引擎的13项二级评价指标定量数据按一级综合指标进行分类，汇总如表1所示。

表1 定量指标数据

2）建立评价指标分类等级及分类标准

将搜索引擎分成四个评价等级，根据各评价因子的最大值和最小值进行评价指标分组标准划分，各指标评价等级划分如表2所示。其中B7和B8为反向指标，即数值越小，所反映的指标性能越好，因此将这两个指标的评价等级标准值作反向排列处理。

表2 评价分组标准

3）计算单个评价指标属性测度

根据1.3的公式，代入表1和表2数据，可计算得到不同搜索引擎单指标属性测度，如表3所示。

表3 单指标属性测度

4）确定评价指标权重

文献[5]中通过借鉴专家意见，采用基于比例标度的层次分析法（AHP）构建层级结构来确定评价指标的权重，是属于通过经验判断主观赋予评价指标权重的主观赋权法。本实例延用这一组指标权重数据结果作为本研究的主观权重赋值，在此基础上，引入熵值法作为客观赋权法，以构建主客观赋权的组合评价方法来确定权重。熵值法确定权重系数具体方法如下:

设有n个评价对象，m个评价指标，则形成原始数据矩阵：

对判断矩阵R进行归一化，从而得到归一化矩阵B，B的元素为：

王祥仿佛失了神一样。明明是得了10万元去做生意，但是相比自己失去的部分，可以说是不值一提。他越想越气愤，生意也不想做了，就想寻老道的晦气。

式中，xmax为同一评价指标下不同指标值中最不满意者；xmin为同一评价指标下不同指标值中最满意者。

按上述方法将R归一化为B:

则j第个评价指标下第i个待评价对象评价指标值比重为fij:

第j个评价指标的熵值Hj为:

第j个评价指标的客观权重Wj为:

将主观权重和客观权重进行加权计算的方法如下：

设第j个评价指标的主观权重为，则结合上式的客观权重可得第j个评价指标的主客观组合权重为：

根据熵权法计算式（4）－（7）计算各项指标的客观权重值。各指标数据归一化处理结果，以及各指标值比重、熵值和权重如表4所示。

表4 评价指标权重值

5）确定综合属性测度及综合评价等级

根据搜索引擎的评价指标权重，结合式（1），可计算得到各搜索引擎综合属性测度。设置信度λ=0.6，由式（2）判断各搜索引擎综合评价等级。以主观赋权的S1和S2搜索引擎评价为例：当t=2时，S1搜索引擎综合属性测度0.535+0.297＞0.6，因此，判定S1搜索引擎等级为C2；当t=3时，S2搜索引擎综合属性测度0.416＋0.090＋0.166＞0.6，因此，判定S2搜索引擎等级为C3；同理，求得其他搜索引擎综合评价等级。

按式（3）计算不同搜索引擎综合评价得分，分数越大，说明搜索引擎计量指标综合评价越好。以主观赋权的S1搜索引擎评价为例，得分计算为：0.535×4+0.297×3+0.037×2+0.082×1 =3.185。同理，可求得其他搜索引擎计量指标综合评价得分。

不同搜索引擎综合属性测度及得分排名结果如表6所示。

表6 综合属性测度及得分排名

2.1.2 结果与讨论

由表6可知，采用主观赋权的属性识别模型应用得到的评价排名结果与文献[5]中的结果完全一致，验证了属性识别模型在搜索引擎评价中的适用性。采用主客观组合赋权的评定结果与采用主观赋权相比较，两者得到搜索引擎评价等级和排名结果完全一致，其结果按优劣顺序排名为S1＞S2＞S4＞S3。但是主客观组合赋权得分的差异性明显要高于主观赋权，表明主客观组合赋权在全面地利用评价对象客观数据信息基础上，不仅信息利用度更高，对不同评价对象综合评价结果的区分度也更高。而在实际评价中，参与评价的对象数量往往较多，评价得分的微小差异可能就会对两个评价对象的排名产生直接影响。

为了进一步判定4个评价对象在三个一级综合指标方面的优劣程度，以进一步明晰相关搜索引擎存在的不足之处，同样运用上文的计算步骤，根据相关一级综合指标所属二级指标的单指标属性测度和权重值，分别计算得到评价对象在3个一级综合指标方面的综合属性测度及评价排名。相关综合指标主观赋权法和主客观赋权法的综合属性测度及评价排名结果如表7所示。

表7 综合指标综合属性测度及评价排名

对比表7与表6的评价排名结果，表7采用主客观赋权的属性识别模型得到结果中，A2和A3这两个综合指标的评分排名结果与表6中的综合排名结果完全一致，其结果的优劣顺序排名为S1＞S2＞S4＞S3，但是综合指标A1的评分排名结果与表6中的综合排名结果并不一致，其结果的优劣顺序排名为S1＞S4＞S2＞S3；同时，对比表7中主观赋权和主客观组合赋权的评价排名，两者在A1和A2这两个综合指标的评分排名结果并不完全一致。以上说明主客观赋权在综合客观数据信息的基础上，能够对评价排名结果产生显著影响。另外，表7的结果同样出现了主客观组合赋权评分结果的差异性要高于主观赋权的评分结果，进一步印证了基于熵权的主客观组合赋权法对评价数据的信息利用度更高，由此得到的评价结果区分度也更高。

综上，采用主观赋权的属性识别模型得到的搜索引擎排名结果与文献[5]中的结果完全一致，验证了属性识别模型在搜索引擎评价中的适用性。采用主客观组合赋权法相对于单独采用主观赋权，不仅信息利用度更高，对不同评价对象综合评价结果的区分度也更高。此外，与文献[5]中的评价相比，属性识别模型在该实例应用中定性与定量相结合，不仅能对搜索引擎进行等级评定，还能根据评分结果进行优劣排序。模型应用除了实现对搜索引擎性能的总体评价外，还能对各个评价指标进行综合评分和对比排序，有助于直观地反映出搜索引擎评价系统中的薄弱环节。

2.2 基于用户体验反馈收集的实证研究

2.2.1 模型应用及计算

同样为便于对模型方法开展论证研究，选择以文献[7]中搜索引擎评价指标的专家评价分结果为实例应用对象，该文将搜索引擎分为“优、良、中、差”4个评价等级，并邀请5位专家按照对应的“4分、3分、2分、1分”为评分标准，分别对反映搜索引擎索4项一级指标的11项二级指标进行打分。利用AHP方法确定评价指标的权重，并应用灰色系统评价方法对搜索引擎的性能进行综合评价。文献[7]中搜索引擎各指标的专家评分、各评价指标权重，汇总如表8左侧列所示。

表8 评价指标专家打分、权重及属性测度

根据1.3的公式，将不同专家针对某一指标的评分结果，按照评分标准进行相应评价等级属性测度的换算，然后将不同专家评分的属性测度进行加和，再按人数作平均化处理，即得到该项指标在相应评价等级上的属性测度。各二级指标在相应评价等级上的属性测度结果汇总如表8右侧列所示。

根据搜索引擎的二级评价指标属性测度和文献[7]中确定的评价指标权重，结合式（1），可计算得到搜索引擎各一级评价综合属性测度；同样地根据搜索引擎的一级评价指标属性测度和评价指标权重，可计算得到搜索引擎综合属性测度。

表9 综合属性测度及评价结果

2.2.2 结果与讨论

由表8可知，采用属性识别模型置信度准则评判得到的综合评价等级结果与文献[7]中的评价结果相比，在各一级评价指标中，除I3指标外，其他指标的等级评价结果完全一致。按照各一级评价指标的得分多少，可以得到该搜索引擎相关性能指标的优劣排序为：I3＞I2＞I4＞I1。

表9中I3指标评价结果不一致，主要是由于采取了两种不同的评价识别准则导致。实际上按最大隶属度识别准则“取大弃小”的等级评定过程，会导致有用信息的丢失，容易使得评价结果趋于不合理，例如，假设隶属于“优、良、中、差”的隶属度为[0.3，0.2，0.25，0.25]，其中0.3最大，按照最大隶属度准则，评价结果则应判定为“优”，但是实际上“中”和“差”两项的隶属度之和为0.5，超过了“优”的隶属度，因此将之判定为“优”是不合理的。而如果采用置信度准则设定的最小置信度0.5进行判定，需要“优”“良”两项的隶属度叠加才能达到0.5，因此判定其结果仅为“良”，这一评判过程和评价结果显得更加合理。置信度准则是从优劣的“程度”考虑，并根据优劣“程度”所占的比重来判断，其对评价指标数据信息的利用度更高，得到的评价结果对不同评价对象的区分度也更高，因此相比文献[7]中采用的最大隶属度识别准则更具科学性和适用性。

3 结语

由于搜索引擎评价系统具有集成化、数字化、智能化特点，并且用户基数庞大，因此在综合评估研究中，对评价指标数据的有效性、代表性有着更高的要求，而评价指标数据的可得性又会限制研究人员对评价指标的选择，影响到评价指标体系科学性和合理性。

本研究将属性识别模型分别应用于计量指标数据和用户体验反馈信息两种研究数据类型的搜索引擎综合评价中，经实例验证，其得到的评价结果与采用其他评价方法的评价结果基本一致，实证研究表明该模型方法在搜索引擎评价中具有较好适用性。该模型方法兼容性强，可以融入主观权重赋权和客观权重赋权的组合应用，实现专家主观评判与科学相比计算有机结合，确保在充分发挥专家主观经验的同时，也能充分利用指标原始数据分布所反映的客观数据信息，评价过程主观性与客观性相协调，定性评价方法的主观把握可以避免定量评价方法在评价功能效用方向上的偏离，定量评价方法的客观性和科学性有助于弥补纯主观评判未能充分利用客观数据信息所造成的偏差，使得评价结果更加科学全面。模型应用过程中对原始数据的利用无需进行特殊处理，能够避免某些方法白化值经特征处理后信息丢失的缺点，评价结果的识别克服了“取大弃小”等级评定过程可能导致的有用信息丢失，信息利用度高，评价结果更准确、可靠。该模型应用评价的结果不仅能够确定搜索引擎的评价等级，也能以评分的形式直观地反映出不同搜索引擎的差异程度，数据结果区分度高，能够实现定性评价与定量评价相统一。模型方法在搜索引擎评价中显示出较高科学性和适用性，模型应用能为搜索引擎评价提供新的方法参考。