运用层次分析法构建高校网站评价指标体系

□ 孙 雨 胡苏望 李国斌

运用层次分析法构建高校网站评价指标体系

□ 孙 雨 胡苏望 李国斌

高校网站种类繁多，水平参差不齐、信息更新频率低、安全性能差等问题日趋凸显。为提高网站建设水平，充分发挥网站服务教学教务的作用，本文依据评价指标体系建设的系统性、科学性、发展性、实用性和可操作性原则，采取定性与定量相结合的层次分析法（The analytic hierarchy process，AHP），尝试从网站建设、内容、功能、安全等方面入手构建高校网站评估体系的指标，借助Microsoft office Excel工具方便快捷地计算出各个指标的权重，并检验权重分配的合理性，最终根据合理的权重分配结果构建高校网站评价指标体系。

高校网站；层次分析法；网站评价；指标体系；权重分配

一、引言

随着计算机和通信技术的飞速发展和广泛运用，高校信息化建设取得了重大进展。高校校园网规模不断扩大，千兆主干网直接接入校园，高校网站建设如雨后春笋般蓬勃发展。高校网站不仅包括提供对外宣传的学校网站，而且还具有教学、教务、科研、学习等功能。据教育部2008年对全国十省市667所高校的调研，100%的985/211院校建立了电子邮件网站，43.6%的学校已建设校园公共数据库或数据交换系统，37.5%的学校已建立统一的身份管理与认证系统，56.3%的学校已建立集成信息资源的校园信息门户。高校信息化建设取得了颇丰的成效，作为信息化标志之一的网站为高校的教学、教务、科研、学习等带来高效、快捷、方便的服务。

但长期以来，高校网站建设存在诸多问题：缺乏规划，网站建设重复、混乱，不同网站功能交叠，网站版式设计五花八门；网站安全性能不高，防御外部干扰能力弱，网站安全预防措施、应急方案缺乏，漏洞扫描不到位，往往网站出现严重问题后才能引起注意；网站更新频率较低，访问量小等。

构建高校网站建设及运行方面的监督、管理方法的评价体系，可以在一定程度上解决以上问题。合理、科学地构建评价体系的各个指标，并利用定性与定量相结合的层次分析法计算出各指标的权重分配，是网站评价体系构建的一项重要工作。

二、建立网站评价指标体系的意义

高校网站评价指标体系是由反映网站评价总体要求的若干个相互联系、相互制约的指标组成的有机整体，用来检查网站的整体情况、网站建设及网站运行维护的成果。根据评价指标体系可对网站进行评价，分析结果，找出薄弱环节，提出改进意见，对网站的建设和运行具有规范和引导作用。

建立高校网站评估指标体系，采取简单易行、可用、好用的评估方法，对高校网站内容信息、管理制度建设、安全性进行科学合理的评价，有利于我们认识当前运行的网站存在的问题，给出合理建议，促进高校网站健康有序地运行。评价指标体系的建立是网站评价的核心工作，建立完备而科学的指标体系能促进高校网站在教学、科研等方面发挥更好的作用。

三、高校网站评价指标体系的设计原则

高校网站评价体系应综合考虑客观和主观两种因素，以及定性与定量两个方面，需要严谨性和科学性。建设高校网站评价体系，首先要确定评价指标的设计原则，将指标选择纳入科学和规范的系统轨道。为了全面、客观、科学地评价高校网站，在研究和设计评价指标体系时应遵循如下原则。

1.系统性原则

高校网站涉及面广、复杂程度高，必须用多个指标来衡量，每个指标相互联系、相互制约。评价指标体系要从不同层面进行分析和评价，细化多个单项指标，全面考虑定量指标与定性指标，不能以偏概全。指标体系中每个指标是独立的，不能相互包含，要充分考虑评价指标体系的系统性和层次性。

2.科学性原则

科学性体现在理论、方法、指标三方面。首先，评价指标体系的理论基础要科学，能很好地反映评价网站的实际情况。其次，评价方法要科学合理，充分利用现代计算机技术，采用统一标准对指标体系进行细化和定义。最后，每个指标都要有准确的含义，避免歧义，且相互独立，协调一致，不重复，无冲突，能够客观真实地从各个侧面反映网站整体情况。

3.发展性原则

计算机和网络技术是不断发展的。高校不断地将这些新技术运用到网站建设中。网站无论展现形式还是信息内容都具有很强的动态性，所以，网站评价指标体系也必须是发展和动态的。网站评价指标体系只有随着网站的发展做出相应变化，增强适应性，才能真正发挥作用。

4.实用性原则

指标体系应该是符合实际的，客观反映评价的真实水平，具有实用性。评价指标体系应在能够充分客观反映网站实际情况的前提下，尽量简化，至于指标的多少和细化程度应综合考虑。同时要考虑不同网站建设水平和能力存在差异的情况，根据不同个体的特点，制定出切实可行的评价指标体系。

5.可操作性原则

只有具有可操作性的评价体系，才是真正有用的。这就要求每个指标的设置掌握好度，既不可太繁琐，也不可过于简单。繁琐则不利于评价工作的推进，简单则使评价工作形同虚设。设计网站评价体系要综合考虑指标量化程度以及数据获取的难易程度和有效性，选择具有代表性的指标，使网站评价指标体系易用、好用、实用。

四、高校网站评价指标体系构建

1.指标内容

依据高校网站评价指标体系的设计原则，结合对高校网站现状的分析研究，尝试提出高校网站评价指标体系。该体系自顶向下划分为目标层、准则层和指标层。详见图1。

体系的准则层由网站建设、网站内容、网站功能、网站安全、网站访问五个准则指标构成，每个准则内容又有具体指标项。下面详细介绍每个指标的含义及评价的具体内容。

网站建设的情况直接关系网站整体质量，由四个指标组成：网站标识主要评价网站是否是合法网站，是否具有版权标注和有效的ICP备案号等；页面布局主要评价网站呈现布局是否合理，栏目设置是否准确、层次分明等；网站设计是否符合高校网站统一风格、网站内部风格是否一致是一个高校网站与其他单位网站的重要区别；网站备案主要评价网站是否进行了相应的备案和登记。

网站内容是高校网站评价的重要方面。高校网站主要对外宣传本校、提供本校的新闻信息，其信息的准确性、时效性要求较高。网站内容由四个指标组成：单位介绍评价是否呈现学校整体情况简介及其信息是否准确全面；新闻信息是网站内容的核心部分，主要考察网站能否全面、及时、准确地发布各类新闻信息；专题信息主要评价网站是否围绕高校的工作重点、热点、重大活动组织专题栏目，专题专报；内容维护主要评价网站是否具有专人负责维护网站信息内容，能否及时清除失效信息和错误信息。

网站并不仅仅将内容信息堆砌在一起，为了更好地呈现给用户，还要提供更多的人性化的功能，增加网站的易用性、好用性。网站功能由五个指标组成：业务办理主要评价网站是否提供网上查询、表格下载等办公服务功能；友情链接主要评价网站能否提供学校相关网站的链接，及链接是否准确无误；互动交流评价网站能否提供网上调查、留言板或电子信箱等多种形式的交流互动功能；信息检索评价网站是否提供全文和关键字检索功能；网站导航评价网站是否有清晰的导航栏，以及能否提供网站地图功能。

网站安全是一项常抓工作，不可懈怠，一旦遭病毒或黑客袭击，后果往往不堪设想。网站安全由四个指标组成：安全规范主要评价网站是否有信息安全管理措施，是否定期排查不良信息等；安全机制主要评价是否建立网络安全制度、安全防护机制等安全相关制度规范，是否安装防病毒系统并能不断完善，是否定时排查服务器，扫描各个网站的漏洞信息并及时更新；应急预案主要评价是否建立网站突发事件应急预案等；网站稳定性主要评价网站是否经常出现无法打开和打开网页错误的情况。

网站访问由三个指标组成：访问情况采用公正、客观的第三方评估网站Alexa来查看被评价网站的日均点击率、日均访问的独立用户数、用户平均访问停留时间等，进而判断网站的整体访问情况；搜索情况，以被评价网站名为关键词，查看其在常用搜索引擎，如百度、谷歌等的搜索排名情况；响应速度利用“中国网站排名网”获得其页面的响应时间及速度。

2.权重分配

网站评价指标中权重系数的分配量化问题是构建评价指标体系的重要方面。面对众多且复杂的综合评价指标，要做到完全量化计算与分析权重系数是相当有难度的。网站评价指标的权重分配采取定性与定量相结合的层次分析法（The analytic hierarchy process，AHP）。层次分析法由美国运筹学家T.L.saaty于20世纪70年代提出，它是将决策问题的有关元素分解成目标、准则、方案等层次，在此基础上进行定性分析和定量分析的一种决策方法。

（1）构建判断矩阵

层次分析法计算评价指标的权重系数的重点是逐一比较同一层次中两个元素之间的重要性，通过构建判断矩阵来对同一类型元素进行判断，判断矩阵项aij由指标i相对于指标j的重要性来决定，具体赋值根据T.L.saaty的理论对其重要性划分了9个不同的标度，详见表1。

表1 层次分析法标度及含义

本研究邀请信息化相关专家及网站用户对网站评价指标的重要性进行打分，其中专家不仅来自本校各个不同业务部门，而且包括兄弟院校的专家，一般以9位或11位专家为宜；网站用户则主要由校内网站使用者组成，数量为50人。对打分情况进行汇总，并将其打分加权平均，然后根据指标的加权平均值对每个指标进行两两比较，根据各指标的重要性以及层次分析法判断矩阵的标度赋值含义，构造网站评价体系各层的判断矩阵。

（2）计算判断矩阵权重

可以利用Excel工具计算各个判断矩阵的权重系数（表2至表7）。其中，“按行相乘”使用Excel的Product函数，“开n次方”使用excel的Power函数，“权重Wm,n”为指标元素“开n次方”占判断矩阵中所有指标元素的“开n次方”的比例，“AWm,n”为矩阵行与权重列分别相乘的和，“AWm,n/Wm,n”为“权重Wm,n”除“AWm,n”的商。

（3）判断矩阵的一致性检验

由于高校网站种类繁多，样式各异，其网站的评价各项指标具有复杂性和多样性，在构建判断矩阵的赋值时掺入了不少人为因素，虽然是对各个专家和网站使用者的广泛调研，并加权平均，仍不可避免地在判断上存在一些偏差。因此，需要通过对判断矩阵进行一次性检验来验证基于AHP算法得出的网站评价指标体系的权重分配是否合理。检验判断矩阵一致性是通过技术整合评价指标体系的各个判断矩阵的一致性指标CI。其中CI=(λmax-n)/(n-1)，其中最大特征根λmax为判断矩阵中Awm,n/Wm,n的平均值。当CI=0时，当判断矩阵具有完全一致性，而λmax-n愈大，CI愈大，矩阵的一致性愈差。

表2 判断矩阵A及其相对权重向量

表3 判断矩阵B1及其相对权重向量

表4 判断矩阵B2及其相对权重向量

表5 判断矩阵B3及其相对权重向量

表6 判断矩阵B4及其相对权重向量

表7 判断矩阵B5及其相对权重向量

但是要求每个判断矩阵具有完全一致的形式的可能性不大，只需要求判断矩阵具有满意的一致性使AHP法得到的结果基本合理。为此，需要将CI与平均随机一致性指标RI进行比较，其中CI与RI的比率称为一致性比率CR，即CR=CI/RI。表8给出了平均随机一致性指标RI的值。当CR＜0.1时，则此判断矩阵具有满意的一致性，否则就需要对判断矩阵进行调整。

表8 随机一致性指标R I

根据表8的RI值，计算出网站评价体系各个判断矩阵的一致性比率CR值（表9）。由表9可知，所有判断矩阵的CR值均远小于0.1，满足判断矩阵整体一致性的要求，表明所构建的判断矩阵中各要素之间的逻辑关系成立，指标权重向量计算结果合理。

表9 判断矩阵一致性检验结果

根据各个判断矩阵的权重向量，可计算出每个指标的合成权重，并根据评价体系使用百分制以便于网站实际的评价工作及适应人们的使用习惯。根据上述计算结果，构建出高校网站评价体系中的各类指标及其权重指标，如表10所示。

总结

高校网站评价指标体系不可一蹴而就，而是一个不断发展和完善的过程。层次分析法作为一种科学的决策分析方法，在评价网站时能尽可能地客观、合理，但是其指标选取及指标之间重要性的比较，都是由人来决定，其主观因素占主导作用。虽然最后通过合理性一致性验证，但是网站评价体系是否好用，是否可以很好地评价网站，促使网站良性发展，还需在实际的评价工作中不断完善评价体系及使用不同的决策分析方法，提高高校网站评价体系的科学性和合理性。

表10 高校网站评价指标体权重分配

[1]付鑫金.大学网站综合评价研究——以山东省为例[D].山东理工大学，2009.

[2]郭向勇，傅国强，周玉芬.基于层次分析法的网络课程学习评价模型[J].电化教育研究，2008，（03）：75-80.

[3]王云娣.基于层次分析法的图书馆信息服务能力综合评价[J].浙江高校图书情报工作，2007，（06）：1-6.

[4]周梅群，吴华.教育网站评价指标体系设计之研究[J].电化教育研究，2004，（08）：53-57.

[5]邱建国，刘光.大学校园网站评价指标体系构建：现状、依据及内容[J].山西高等学校社会科学学报，2009，（10）：122-125.

[6]汪勇，魏巍.电子商务网站的层次分析法评价模型构建[J].湖北大学学报（自然科学版），2010，（01）：50-53.

Constructing an Evaluation Index System for Higher Education Websites Applying Analytic Hierarchy Process

Sun Yu,Hu Suwang and Li Guobin

With the rapid development and wide use of computers and communications technology,on the one hand,use of IT has become more and more popular in higher education institutions,with growing numbers of websites designed and developed,on the other hand,due to lack of unified overall plan,sound decision making and scientific evaluation systems,these websites are seriously underused,with low updating frequency and insecure environment.Aiming to promote a healthy development for these websites,the authors put forward a three-leveled evaluation index system for higher education websites,namely goal,criteria and alternatives.The criteria level includes website design,content,functions,security and access,each containing specific index.Analytic hierarchy process with both qualitative and quantitative methods is used in the study.

higher education websites;analytic hierarchy process;website evaluation;index system;weight distribution

G40-057

A

1009—458x（2011）12—0045—04

2011－06－30

孙雨，助理研究员，硕士；胡苏望，工程师，学士；李国斌，副研究员，学士。中央广播电视大学（100031）。

责任编辑 池 塘