基于层次模型的搜索引擎评价研究

宋余庆 陆 琳

(江苏大学科技信息研究所 镇江 212013)

基于层次模型的搜索引擎评价研究

宋余庆 陆 琳

(江苏大学科技信息研究所 镇江 212013)

以马斯洛需求层次理论为基础，建立网络用户需求层次金字塔。综述搜索引擎性能评价体系，总结以往学者提到的性能评价指标，并结合本文所建立的网络用户需求层次金字塔，建立相应的搜索引擎评价层次模型。最后以百度和有道为例，运用定标比超分析和层次模型相结合的方法，进行实证研究。

搜素引擎 评价 层次 体系 指标

1 引言

随着因特网和万维网的迅速发展，网络信息资源日趋丰富，基于网络资源的各类信息检索服务也得到了迅速的发展。一些常用网站更是把互联网搜索作为门户网站必不可少的基础性服务，当然这一切都离不开搜索引擎。搜索引擎为人们检索Web信息资源提供了一条有效的途径。

自搜索引擎开始出现以来，它的评价问题一直是传统信息检索的核心研究领域之一。随着网络信息的数量不断增长和信息技术的不断发展，搜索引擎评价面临着更多的问题。传统的Cranfield评价体系由于其评价过程所需巨大的人力物力资源，以及较长的评价周期无法满足搜索引擎系统全面快速的评价要求。而用户行为分析在本世纪初逐渐得到国内外研究界和产业界的关注，有着广泛的研究意义和实际的应用价值［1］。在分析用户行为和需求的基础上，寻找一种更具现实意义的评价方法或者评价模型用以对现有的众多搜索引擎进行性能评价和相互比较，逐渐成为学者和用户关注的焦点。

2 基于马斯洛需求层次理论的网络用户需求层次金字塔的构建

马斯洛需求层次理论，又称需求层次理论，是由美国著名人本主义心理学家亚伯拉罕·马斯洛于1943年在《人才动机理论》一文中提出的。马斯洛通过对杰出人物的研究得出人类有5种基本的需要，包括生理的需要、安全的需要、社交的需要、尊重的需要和自我实现的需要。马斯洛认为，上述5种需要是逐级得到满足的，按级别依次为生理需要、安全需要、社交需要、尊重需要和自我实现的需要。［2］

自马斯洛需求层次理论产生以来，由于其合理性、实用性、直观性的人性化分析，被较多的应用在经济领域和管理领域，用以分析客户或员工的不同需求，提高企业生产管理水平。随着学科间的交流与融合，不同学科间交叉使用成熟理论的现象趋于频繁。随着学科交叉和融合的现象趋于频繁，马斯洛需求层次理论也被应用到建筑设计、居民生活质量评价等其他领域，如方晓丽、张丽琴［3］根据马斯洛的需求层次理论分析人的需求对工程地质结构分区合理的建设用地影响研究建设用地规划的舒适度以实现城市用地的生态价值。张姣姣［4］综合运用了马斯洛需求层次论、经济增长与经济发展理论、以人为中心的社会发展理论，初步构建出城市独居老人生活质量评价指标体系框架。王洁［5］以马斯洛层次理论为基础，以层次分析模型为手段，构建了适合于当下的幸福指数评价体系，最后将该评价体系应用于实践中。

但是，从文献调查的结果来看，并未见马斯洛需求层次理论应用到搜索引擎评价领域。因此，本文的研究思路是尝试以马斯洛需求层次理论为基础，先建立网络用户的需求层次，然后再依据网络用户的需求层次建立相应的搜索引擎评价指标层次模型。

首先要划分网络用户的需求层次，分析哪些指标是用户最关心的、相对重要的，然后依据需求层次建立相应的评价指标层次模型，进行指标的汇总和填充。纵观搜索引擎的性能评价体系，从显而易见的界面分析到后台运行的爬虫算法，从用户直接接触的检索结果到用户不正面感知的数据库建设，都具有一定的区别和层次，可进行分层和归并，用户的需求也会随着搜索引擎所能提供的服务发送变化。因而，根据“用户需求”的优先等级来划分性能指标的重要程度，具有一定的可行性。

根据对需求层次特点的分析，网络用户具有求知和自我实现的需求，而且在基本需求满足的情况下，人们都有求知和分享的追求，当人们获得到求知的需求后，人们会很乐意分享自己的知识，来实现自我的价值［6］。本文将互联网环境下的网络用户的需求分为四个部分:基本需求、社会需求、尊重需求和自我实现价值，建立网络用户需求层次金字塔，如图1所示。

图1 网络用户需求层次金字塔

(1)基本需求。基本需求是网络用户在检索信息中的最基本的需求，具体包括各种信息需求，如信息查询、信息传递、信息浏览等各项信息服务;各种安全需求，如网速，网站内容质量、可信度及更新状况、网站稳定性等。网络环境下，用户的上网行为总是为了满足一定的上网目的而进行的，必然将最基本的需求信息定位于此。

(2)社会需求。网络用户的基本需求满足之后，就会产生社会需求，需要满足资源的上传下载、问答式交流等人机交互的需求;满足用户之间构成一个网络社会运行的信息交流、资源共享、话题讨论等需求。从单独的个人到网络团体的需求的变化，使得网站信息更加细化和复杂，形成虚拟信息社区化。

(3)尊重需求。在处理所捕获的资源后，实现资源价值、挖掘数据，从获得的信息中得到潜在的价值是用户的进一步的需求。此时的检索过程更加深入和需要特色化建设，用户渴望在网站中获得个性化服务，变被动需求为主动需求。在团体交往中，获得别人的尊重和自我尊重，为网络团体所认可，获得认知和荣誉。

(4)自我实现价值。在最高层次的建立中，网络用户发挥自己的最大潜能，创造信息和价值，建立属于自己的信息品牌，实现自己的个人目标。

金字塔的四个层次的需求由下至上逐步提升，反映出用户的需求从被动的获取资源到主动的寻求资源到相互的分享资源到自主的创新资源，对网络信息的需求不断的细化和个性化。用户的需求变化会导致用户的行为变化，而在搜索引擎评价中，最终目的是为了满足用户的需求，依据用户需求的层次所建立的模型将更加贴切的反应出用户的需求和行为，使评价方法更加的合理和具有实际意义。

3 搜索引擎评价研究现状

3.1 搜索引擎评价综述

在搜索引擎的研究领域，美国和英国是强者，在数量上和质量上占据领先水平。国内搜索引擎的发展起步较晚而发展较快，中国学者在该领域也有出色的表现。然而，在评价体系的建设中，即使是走在发展前沿的美国、英国、德国等国家，目前还缺乏统一的有效的评价方法对搜索引擎进行优劣评价。纵观国内外关于搜索引擎评价的研究，众说纷纭，仁者见仁、智者见智。

就国内而言，苏君华［7］认为搜索引擎的评价是搜索引擎发展的依据，也是用户选择的依据。作者依据Saracevic的信息检索交互模型，借鉴数字图书馆评价的概念框架，从内容、技术、界面、用户、服务、环境等六个方面系统地梳理了搜索引擎的评价研究。通过讨论和分析得出，搜索引擎的评价模型应该是一个综合性的评价模型，整合系统、用户、用户与系统之间的交互以及用户与系统所处的环境。叶凤云、汪传雷［8］两位学者在ACSI(美国客户满意度指数)模型基础上，构建 Web搜索引擎满意度(简称WSES)模型，将用户满意度设为最终所求的目标变量，预期质量、网站声誉、感知质量和感知价值设为用户满意度的原因变量，持续使用则是用户满意度的结果变量，根据Web搜索引擎的特点建立Web搜索引擎满意度模型，并基于该模型提出研究假设和测量指标体系。王静疆［9］针对目前搜索引擎评价指标体系研究现状，总结当前我国评价指标体系研究的特点，提出技术和用户是搜索引擎评价体系中的两大重要指标。柯青、成颖等［10］学者创新性的提出搜索引擎可用性评价指标体系构建，分析搜索引擎评价与搜索引擎可用性分析两者的关系，并结合搜索引擎查询信息的三阶段特点分析搜索引擎可用性评价的要求，基于可用性评价指标的4大来源构建搜索引擎可用性评价指标层次模型，并用德尔菲法计算评价的权重，最终形成一个具有应用价值的体系，为评价搜索引擎可用性提供了一套操作性很强的评价标准。张国海、马晓英、闰立光［11］三位学者在回顾搜索引擎评价研究现状的基础上，分析搜索引擎评价指标的基本构成因素，创造性地将熵权理论引入搜索引擎评价领域，建立熵权值模型，并通过科学计算，构建出基于熵权的搜索引擎评价指标体系，更加注重评价指标体系中指标自身的重要程度，充分利用了被评价指标的信息量，有效地弥补了传统评价方法的缺陷。

从国外的研究来看，Bar-Ilan［12］评估了在一段时间内的搜索引擎的表现，作为一个整体描述搜索引擎的功能随着时间推移的变化。通过必要的设置和案例的实施，提出应设立一套标准措施评价搜索引擎的表现，从数据库覆盖范围、查询响应时间、用户所需努力和检索效果来评估搜索引擎的性能。Spink、Park和Koshman［13］提出以用户为中心的评价方法，包括有效性(基于用户对他们的信息问题和信息寻求阶段的互动的影响)、可用性(包括界面布局和供用户使用的系统功能)，以评估Web元搜索引擎。依据国内外学者的研究总结现状，搜索引擎的评价方法及其评价体系的构建得到了很大的发展，综合运用了其他学科的方法，不仅在思路上拓宽了搜索引擎评价的理念和方法论，在具体的实现技术上也进行了大胆探索和尝试，充分结合了各个学科之间的交叉优势，为搜索引擎评价开辟了新的道路。同时，由于没有统一的方法和体系，不同学者对搜索引擎的性能评价及其体系的构建还是有较大的差距，且大多数学者都是从总体的角度对性能评价的各个方面进行阐述，没有明确的指出层次性以及实践方式，使得在实际应用方面缺乏可行性和操作性，造成体系超前发展而实际应用匮乏的局面。不可否认的是，这些学术成果为今后搜索引擎评价指标体系的构建研究提供了科学的参考依据和宝贵的借鉴材料。

3.2 搜索引擎评价指标汇总

通过文献调研，笔者总结归纳出了国内外已有的有代表性的搜索引擎性能评价指标，如表1所示。

表1 搜索引擎评价指标

将以上所列指标去重、精炼，归纳出关键指标，在此不做一级指标和二级指标的划分，将其作为一个同等级别的指标进行归并和层次分类。

4 基于层次模型的搜索引擎评价

4.1 评价方法

用户认知和需求的马斯洛演进规律，可根据时间和环境进行分析，如:在网上中文信息匮乏的年代，其阶段下的用户认知和需求以浏览更丰富的互联网中文内容为主;在内容为主的门户网站崛起后，上一阶段的主要需求高峰过去，高一级的用户认知和需求开始从“被动阅读”向“主动性”转变;在主动性的搜索、通信和游戏普及之后，上一阶段的主要需求依然存在，只是开始向着细分和多元的更高级需求方向发展。跟踪用户需求层次的变化，满足用户的基本需求，激发用户的附属和细分需求，引导用户的高层次需求。作为一个成功的搜索引擎需要在用户需求的变化时，及时的调整发展战略，甚至预测到用户的下一个需求，才能在众多搜索引擎中独占鳌头。

依据搜索引擎能否满足用户的检索需求对搜索引擎的评价，是评测该搜索引擎的发展阶段和发展潜力的一个侧面。用户的需求变化会导致用户检索行为的变化，进而影响到用户的满意度导致对搜索引擎的忠诚度的变化，关系到搜索引擎的检索量和用户群体的稳定性及市场的占有率。如果能依据用户不同层次的需求变化制定相应的评价体系，不同的需求层次对应不同的评价指标，就可以清楚的知道搜索引擎现阶段已经满足了用户的哪些需求，到达了发展的第几个层次，下一个阶段的发展需要满足用户的哪些需求，从而制定发展计划和战略决策，使其更具有现实依据性和实用性。

根据网络用户的需求层次理论建立的搜索引擎评价层次等级，分为基本层次、价值层次、特色层次和品牌层次四个层次的评价。根据马斯洛需求层次的设计思路，四个层次像阶梯一样从低到高，按层次逐级递升，对搜索引擎各方面的指标建设要求越来越高。面向用户的搜索引擎不能只看到自身的发展战略，重点应落在结合用户需求与自身的发展，根据指标建设的规律性和层次性进行搜索引擎检索性能的评价和建设。依据一个需求等级建立一个评价等级的原则构建性能评价的层次模型:基本需求对应基本层次的评价，社会需求对应价值层次的评价，尊重需求对应特色层次的需求，自我实现需求对应品牌层次的评价来构建评价层次模型，然后将汇总后的评价指标填入相应的层次中，得出的层次模型的设计图如图2所示。

图2 搜索引擎评价的层次模型设计

四个层次的评价指标不是简单的汇总和分类，而是依据用户的需求变化进行对应的指标评估，从基本层次用户最直接接触到搜索引擎评价的相关方面，包括视觉系列和安全系列，到价值层次是对检索过程以及检索结果的评价，是搜索引擎建设的主要方面，所能带给用户最直接的价值和结果，到特色层次上用户不再满足于搜索引擎自身的价值，更多的要求给出潜在价值，提供更深入和独特而又全面的检索服务，最后上升到对一个品牌的忠诚。在这一构建过程中充分考虑了用户的检索需求和行为，旨在使系统的构建符合客观发展的规律。具体填充规则如下:

(1)基本层次的评价:需满足用户对搜索引擎检索的最基本的要求，也指搜索引擎之所以能够成为用户检索的工具的基本条件，包括响应速度、用户界面、用户负担、信息过滤、稳定性等基础性条件的评价。通过基本层次的评价，我们主要是区别用户检索信息的不同方式，指出搜索引擎区别于数据库、门户网站这些同类型网站的基本要点，包括不同搜索引擎能提供用户不同的检索方式、检索主题等。

(2)价值层次的评价:需使用户看到搜索引擎所检索到的信息的有用性和有效性，也是某搜索引擎能够为用户所认可，脱颖而出的方面，包括数据库的构成、检索性能、检索结果、查全率、查准率等指标，能将搜索引擎的性能、使用价值体现给用户的评价。通过价值层次评价的各项指标，用户主要关注的在某搜索引擎的检索过程中能否满足自身的检索需求，搜索引擎反馈的信息的是否有价值，也就是学者们普遍所讨论的搜索引擎性能评价方面的研究。

(3)特色层次的评价:更多的满足用户的个性化需求，也指搜索引擎之于其他竞争者所拥有的独特的作用，包括精品推荐、个性服务、帮助服务等指标，如有道搜索的翻译服务，爱问的资源共享平台，搜搜的网络预览功能等［14］。在搜索引擎如雨后春笋般成长的今天，只有拥有更好的特色服务，才能让用户更能记住这个特定的网站。作为搜索引擎本身，就更应该以用户为主，分析用户日志，在Web2.0不断发展的技术支持下，建立自身的特色服务。

(4)品牌层次的评价:在最高层次的评价中，用户关注自我价值的实现，关系到用户会否持续使用资源。从搜索引擎创立者本身所具有的形象和价值出发，我们都知道用户行为具有偏向性，那么搜索引擎公司自身的企业形象都会影响到搜索引擎评价，因而，搜索引擎逐渐变得更加商业化，越来越多的将市场营销和形象推广运用到搜索引擎的建设中去。

本搜索引擎性能评价的层次模型的最大特殊之处不仅在于融合了用户需求金字塔理论，最重要的是加强了实际操作中的可行性。四个层次的评价逐步深入和细化，给搜索引擎的评价作出了更简洁明了的归纳和分层，使我们可以在具体实施时一步步的深入，一层层的对比，这样有层次有节奏的评价过程对搜索引擎性能评价的他评和自评都是一个简单而实用的体系。在他评中，这样的评价体系打破了以往的分级指标的评价过程，转为层次递升的逐步评测，加强了他评过程中的目的性和结果的直观性，在评价中不用处理纷乱的评价指标，进行漫无目的的测评，为进行进一步的情报分析和数据挖掘提供依据。纵观以往的评价系统，都属于专业技能型评测，作为搜索引擎缺乏评测专门人员时，这样的一套直观的模型能够使公司最底层的员工也有思路和方法进行自我评定。无论是在自身功能完善或是与竞争对手的比较，层次模型能让搜索引擎公司进行自我评价的时候更加具有目的性，老的搜索引擎可以根据自身用户的最广大需求对应相应的指标，找到优势指标与劣势指标，进行完善;新的搜索引擎也能根据评价层次逐步的建设自身，逐层的提高搜索引擎的性能，循序渐进，满足用户的特定需求。

搜索引擎的评价正在越来越多的结合情报学分析方法，如德尔菲法、定标比超法，目的在于不仅需要得到评价结果，更重要的是为搜索引擎的发展提供具有建设性的意见。以往的评价指标体系构建比较成熟，但是却鲜少有人在实践中运用，主要就是这样的评价方式仅仅是停留在学术理论的基础上，对于搜索引擎公司来说，它不能很好的运用到这样的评测结果完善自身。而层次模型弥补了这样的不足，强调了现实实用性和可操作性，马斯洛需求层次理论本身就是经济学的理论，经济学理论的传承和发展最重要的一点就是具有可行性和利益性，将这样的一个经典理论结合到图书情报专业中来可以很好的弥补理论有余而功利欠缺的现象，使是搜索引擎公司看到这样的一个层次模型能给它带来的利益和帮助，从而推广性能评价层次模型的利用。

4.2 评价实例

为显示本模型的优势，选用定标比超方法与层次模型结合，进行实例分析。定标比超法是将本企业的各项活动与从事该项活动的最佳企业进行比较，修正自身的不足，从而定出最佳的行动方案，参与市场竞争，达到预期目标［15］。搜索引擎公司作为一个单独的企业，有着各自的竞争对手，定标比超法使其获得最快速的成长，对竞争对手的定标比超，可以获取大量的竞争对手数据，了解竞争对手的产品、服务、管理模式和战略，从而可以详细地了解竞争对手的情况，在此基础上，学习竞争对手的长处，吸取竞争对手的经验，从而尽可能地少走弯路。定标比超的第一步也是最重要的一步在于确定“定标”对象和“定标”内容，需要考虑哪种评价指标是最迫切需要定标的，在此过程中结合评价层次模型将使定标过程更加合理和符合用户需求。具体操作步骤为:确定定标比超的对象，根据每一层的指标搜集定标比超的数据，确定目前的绩效差距，根据差距分析，计划未来的执行水平，并确定这些目标应该如何获得及保持，最后确立要实现的目标，形成行动计划。

由于竞争对手与自身企业在某种程度上有一定的相似性，定标比超所得的结果在实施上比较容易，有的方法甚至可以几乎不加改变地予以采纳，可以说竞争对手的定标比超，对于企业战胜对手，赢得领先地位是非常有效的。然而，定标比超法具有片面性、静态性以及局部性的不足之处［16］，在实施过程中辅以评价层次模型正是为了尽量的克服这一缺陷。在实际评价过程中，确定本搜索引擎的评价层次使目的和定位更加准确和清晰，是基本层次的对比还是价值层次或是特色层次都有相应的指标，依据层次中的指标与某一特定搜索引擎进行比较，就可以方便的找出应该定标比超的某个指标进行改进和建设。以下以有道搜索引擎为例，以百度搜索引擎为定标比超对象，进行评价试验，并提出现实可行的建设意见。

百度是全球最大的中文搜索引擎，自1999年创建以来，收到了大众的青睐，而有道搜索作为网易自主研发的全新中文搜索引擎于2007年正式推出，致力于为互联网用户提供更快更好的中文搜索服务。将这两者作为评价对象进行分析可以清楚的看到“老字号”与“后起之秀”各自发展的侧重点和建设的特殊性。实例具体所研究的内容是如何利用所构建的评价层次模型方便、快捷的对两个搜索引擎的各方面进行简单的对比，从而找出各自优缺点，为具体进行效率和效能改善提供依据。本文以“Honey”为主题词进行搜索和结果分析，侧重主观分析。

首先从基本层次来说，有道的搜索界面简洁明了，界面亲和度好，响应速度也比较快，检索方式、检索功能也比较齐全，基本能满足用户的检索需求。在实际检索过程中，有道的检索页面最上端会有赞助商链接，信息的过滤性不强。

从价值层次上来说，有道的检索结果显示清晰，就检索结果来说，检全率比较高，侧重学术，包括外文资料、维基百科资料等，信息的价值量大。新颖性和相关度比较好。对比百度来说，两者在价值层次上的指标基本满足用户的需求。

从特色层次上来说，有道的翻译页面服务非常便捷，在页面的低端也有满意度调查，以及页面左侧的网页结果分类、搜索历史等，都是特色之处，使用户获得更多的附加服务以及拓展服务。相对于百度来说，也还是有许多不如百度的地方。如:百度搜索页面左上角的天气预报，会更加令用户感到贴心;精品推荐、附加服务也没有百度做的精细。

从品牌层次上来说，百度号称中文搜索引擎的龙头老大，它的用户忠诚度和权威性比有道高出许多，有道的品牌形象和品牌推广需进一步提高。百度中的百度贴吧让用户有更多实现自身价值和荣誉的机会，有道需要进一步加强。

通过四个层次的分析，运用定标比超法，我们就可以快速方便的总结出对有道搜索引擎行之有效的发展策略。上述分析表明:目前有道的基础设施已基本完善，价值层次的建设与百度相差也不大，最需解决的是个性化、附加功能的建设，今后更应该关注特色层次和品牌层次的建设，才能在众多搜索引擎中找到发展之路。因此，定标比超的层次定位在第三层次——价值层次，定标比超的内容为第三层次中的各项指标，在简单的分析之后进行相关数据搜集，进行比超计划。

5 结论

本文基于马斯洛需求层次理论，构建了网络用户需求层次金字塔。再根据网络用户的需求层次，建立了搜索引擎评价的层次模型，即基本层次、价值层次、特色层次评价、品牌层次的评价，使搜索引擎的评价更具有可操作性。然后运用定标比超和层次模型相结合的方法，比较分析有道与百度的建设侧重点，通过逐层分析突出层次模型使用的方便和实用性，并提出了实际建设意见。

笔者下一步的工作是希望通过引进专家调查法和赋值法使层次模型的结构更加合理，指标填充更加科学，评价过程更加量化，从而使得层次理论能真正具有可操作性和科学合理性。

［1］岑荣伟.基于用户行为分析的搜索引擎评价研究［D］.北京:清华大学，2010.

［2］孙战彪.需求层次理论在图书馆管理中的应用［J］.科技情报开发与经济，2010(17):28-30.

［3］方晓丽，张丽琴.马斯洛理论在建设用地规划舒适度评价研究中的应用［J］.科技资讯，2008(3):92-93.

［4］张姣姣.城市独居老人生活质量评价指标体系构建研究［D］.杭州:杭州师范大学，2012.

［5］王 洁.基于AHP模型居民幸福指数评价指标体系构建与研究［J］.南方农村，2012(11):71-73，78.

［6］胡小华.基于用户的智能问答系统的设计与研究［D］.天津:天津师范大学，2012.

［7］苏君华.搜索引擎评价研究综述［J］.情报杂志，2011 (4):28-33，65.

［8］叶凤云，汪传雷.Web搜索引擎满意度模型与评价指标体系构建［J］.图书情报工作，2011(22):124-127，46.

［9］王静疆.搜索引擎评价指标体系比较研究［J］.图书情报工作，2008(10):136-138，116.

［10］柯 青，成 颖，郑彦宁，等.搜索引擎可用性评价指标体系构建［J］.现代图书情报技术，2011(11):24-30.

［11］张国海，马晓英，闰立光.基于熵权的搜索引擎评价指标体系的构建［J］.图书情报工作，2010(12):74-77.

［12］Bar-Ilan J.Methods for measuring search engine performance over time［J］.Journal of the American Society for Information Science and Technology，2002，53(4): 308-319.

［13］Spink A，Park M，Koshman S.Factors affecting assigned information problem ordering during Web search:An exploratory study［J］.Information Processing and Management，2006(42):1366-1378.

［14］莫纯锐.国内著名搜索引擎的对比分析与评价——以搜搜、搜狗、有道和爱问为例［J］.电脑知识与技术，2011(7):1474-1476，1492.

［15］王永胜，李 敏，任宝石.国内竞争情报分析方法研究综述［J］.科技情报开发与经济，2011(35):164-166.

［16］谢新洲，吴淑燕.竞争情报分析方法——定标比超［J］.北京大学学报(哲学社会科学版)，2003(2):137 -151.

(责任编校 田丽丽)

Evaluation of Search Engines Based on the Hierarchy Model

Song Yuqing，Lu Lin
Institute of Science and Technology Information，Jiangsu University，Zhenjiang 212013，China

Based on Maslow’s hierarchy of needs，we create the hierarchy of Internet users’needs.Then we present an overview of the evaluation index systems of search engines and summarize evaluation indicators.Furthermore，we create a hierarchy model for the evaluation of search engines according to the hierarchy of Internet users’needs.At last，by combining the bench-marking and the hierarchymodel，we carry on a case study of Baidu and Youdao.

search engine;evaluation;hierarchy;system;index

G350

宋余庆，男，1959年生，教授，江苏大学副校长，博士生导师，主要研究方向为信息安全、医学图像处理，发表论文数篇;陆 琳，女，1989年生，2012级情报学硕士研究生。