教学网站评价指标体系的构建及评估方法

牛炎

摘要：该文从教学网站的基本功能、网站内容、学习效用、运营成本出发，运用层次分析法构建出网站评估体系的指标。通过创建评价指标的判断矩阵，对判断矩阵进行一次性检验，检验权重分配的合理性，最终根据权重分配结果构建教学网站评价指标体系。

关键词：教学网站；指标体系；网站评价；层次分析法

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2014）14-3299-06

Abstract： This essay introduces the construction of assessment index system for websites according to the analytic hierarchy process （AHP）. The research is based on the essential functions， the contents， the effect of learning and operation cost of the teaching websites. The judgment matrix is established， and via this establishment， a onetime examination of the matrix is conducted so as to test the rationality of the determination of weight factors. Finally， the construction of the evaluation index system for the teaching websites is completed according to the weight factors.

Key words： teaching websites； index system； website evaluation； AHP

当前，很多高校都在不断地加快教学网站的开发与应用，网站教学方式突破了时间与空间的阻隔，可以满足更多的教学需求。如何设计出一个高质量的教学网站，已成为提升学校竞争力的重要因素。如何评价一个教学网站的好坏，存在一个评价指标的问题，理解并掌握网站指标评价体系，对于开发教学网站资源具有非常现实的意义。但长期以来高校的教学网站建设存在诸多问题。例如，缺乏规划、网站建设重复、网站功能单一、网站安全性能不高、防御外部干扰能力弱、缺乏有效地安全预防措施和应急方案等。

通过构建教学网站评价指标体系，采用定性与定量相结合的“层次分析法”，合理地确定其中的各个指标，计算出各指标的权重分配，从而可以构建性能优异的教学网站。

1 如何构建教学网站评价指标

1.1 评价指标的概念

指标是指评定某种特定事物或概念的一组或一套特征值，该特征值即可称为事物的指标。指标可以用数字、符号或文字等形式来表示，通过它来判断目标事物的特征，作为衡量事物性能的参考依据。

1.2 建立教学网站评价指标体系的意义

教学网站评价指标体系是由反映教学网站总体要求下的若干相互联系、相互制约的指标组成的有机整体，用来反映网站的整体情况。根据评价指标体系可对网站进行评价，分析结果，找出薄弱环节，提出改进意见。教学网站评价指标体系是用来衡量教学网站性能的，反映使用户是否愿意使用该网站进行教学，网站设计人员也能依据其建立互动性高、具有吸引力的教学网站，通过网站评价指标系统的引导，能构建出适合高校师生使用的教学网站。

1.3 建立教学网站评价体系应满足的标准

为了全面、客观、科学地评价教学网站，在研究和设计评价指标时通常应满足以下特性：

1）简明性：指标内容要力求简单明了；

2）可行性：要能够实际应用在教学活动中；

3）信效度：要能测出真正的问题并具有高度的稳定性；

4）重要性：要能反映出重要的内容与主要特征；

5）适当性：要能指出当前的现况与潜在的问题；

6）可得性：指标的数据来源必须易于获取；

7）比较性：可适用于不同区域、单位及群体间的比较。

实际上，以上诸特性中，通常需根据使用目的对其重要性予以不同对待，各自分配不同的权重。

1.4 指标的结构与内容

根据上述标准，针对高校教学网站的特点，可规划出高校教学网站评价指标体系。该体系自顶向下可划分为目标层、准则层和指标层三个层次，如表1所示。

一级指标包括“内容指标”、“功能指标”、“技术指标”、“效用指标”和“成本指标”五个方面。再从这五个方面出发，将其分解成更具体的二级指标体系。网站评价总共分为5个一级指标、19个二级指标（见表1）。

下面介绍每个指标的含义及评价的具体内容。

1.4.1 内容指标A

“教学内容（A1）”，通常应该包括学习指南和学习资料。这里的学习指南给出远程教育学习的指导性意见，指明学员必须掌握哪些基础知识才能完成一门课程的正常学习，还需指明远程教育学籍管理办法、课程考核办法、教学计划、教学内容和课程安排依据等事项的说明；而学习资料则是指具体应该包括的教学文字材料、音频或视频等。

“教学资料的实时性（A2）”，反映教学资料的新旧程度，学员对教学资料的满意度；是否能为学员提供及时的辅导，对教学过程中产生的问题能否及时更新等。

“教学资料的丰富程度（A3）”，主要指教学资源是否充足、能否供学员方便地引用等。

“教师的教学水平（A4）”，反映教学内容是否符合教学对象的需求，教学上的重点和难点是否能够解释到位。endprint

1.4.2 功能指标B

“教学管理功能（B1）”，指教学网站能否正常地实现远程教学，提供相应的教学管理功能。

“在线考试功能（B2）”，考查是否能实现网上在线测试、自测练习和自动评分等功能。

“学员辅导功能（B3）”，主要评判网站的辅助教学模块的实施效果。

“师生互动功能（B4）”，反映网站所能提供的交互功能的程度，如指导学员学习、作业、答疑和讨论等。

1.4.3 设计指标C

“导航机制（C1）”，主要考查网站的导航机制是否顺畅可靠，是否提供有清晰的导航栏，链接是否正确无误，是否提供站点地图。

“信息检索（C2）”，评价网站是否提供全文和关键词的检索功能。

“系统安全稳定性（C3）”，评价网站是否有信息安全管理措施，能否定期排查不良信息。建立网络安全制度和安全防护等相关安全制度规范，安装防病毒系统并能不断的完善，定时排查服务器，扫描各个网站的漏洞信息并及时更新。

“系统兼容性（C4）”，主要考查网站是否兼容各种版本的浏览器。

1.4.4 效用指标D

“考试通过率（D1）”，用于直观地反映学生的学习效果。

“用户点击率（D2）”和“课程学习率（D3）”，用于反映该教学网站的访问量，校方可根据该指标的好坏来评估网站的效能。

“学员管理（D4）”，反映对参加远程教育的学生所应采取的管理制度。

1.4.5 成本指标E

教学网站在运行过程中要考虑到对成本的控制，包括网站的开发成本和维护成本等费用。

2 评估教学网站的方法

整体指标体系确定之后，采取层次分析法（AHP）计算各指标权重。AHP法是一种定量与定性相结合的系统分析方法，可分成四部分进行，分别为问卷设计、问卷实施分析、权重值计算和综合评价。

2.1 问卷设计

主要利用问卷调查方式咨询专家的意见，并据此构造两两比较的判断矩阵。在此环节，被调查者要反复回答问题：针对ai和aj两个元素哪一个更重要，重要多少？如表2所示，按1～9比例标度来评价指标的重要程度。

为了直观地表达各个指标之间的两两相对重要关系，可以采用表3所示的二维表结构来表示。该表将教学网站的五个一级指标名称分别作为“行”的标题ai（i=1～5）和“列”的标题aj （j=1～5）；而“行”与“列”的交叉处所形成的单元格记为aij ，aij 的取值为“ai / aj ”的比值。例如，当i=3、j=1时，由表3 可知，a31 代表“设计指标/内容指标”的比值 。aij 的值通过问卷调查表征求专家的意见获得，指标重要程度参照表2来填写，例如当“a31 =设计指标/内容指标”；即a31=C/A=4，由表2可知，表明该网站更加注重“设计指标”，即设计指标比内容指标重要。

被调查者在填写问卷前需要仔细阅读上表中的标度，以及各指标项的意义；在相应标度的单元格内参照表2填上代表指标间相对重要程度的比值，从而完成一级指标的问卷设计，用类似方法再完成另外5张二级指标间的重要程度调查表。

2.2 问卷调查实施

具体实施时，将设计好的一、二级指标重要程度调查表分发给各位专家填写，即对网站评价指标的重要性进行填写。为了保证调查的准确性，在AHP咨询过程中，可以针对不同准则请有关专家填写判断矩阵，不主张一个专家从头到尾地完成所有判断矩阵的填写，一般需多人参与，但用户可以控制在十几人左右。

2.3 利用AHP法计算权重

运用AHP法进行评价，分为三步完成：

2.3.1 根据系统设定的一、二级指标体系，利用问卷调查的结果数据，构造比较判断矩阵

比较判断矩阵的定义：

比较 n 个因子x1，x2，[…]xn对某因素 F 的影响大小，我们一般采取对因子进行两两比较的办法，用数字 1～9 及其倒数作为矩阵 A 的标度建立比较判断矩阵。

假设某层有 n 个因素 {x1，x2，[…]xn}，要比较它们对上一层某一准则的影响程度，确定在该层中相对于某一准则所占的比重，逐层比较相关因素。用 aij表示第 i 个因素相对于第 j 个因素的重要程度，而aji=1/aij。

[A=aijn×n=a11a12…a1na21a22…a2n…………an1an2…ann] ，A称为比较判断矩阵。

2.3.2 由比较判断矩阵计算被比较元素对于该准则的相对权重W

① 先计算判断矩阵每一行元素的积Mi，然后计算各行Mi的n 次方根值XWi，n表示矩阵的阶数，即[xwi=j=1naijn]

② 对所得的xwi进行归一化处理，得到相应的权重wi，即[wi=xwii=1nxwi]

2.3.3 判断矩阵的一致性检验

在比较矩阵元素相对权重时，采用了 1～9 的标度，这导致计算出来到权重存在一定程度的误差。因此，这里我们不能要求判断矩阵具有严格的一致性，而是允许判断矩阵在一定程度上的非一致性。因此必须考虑是否存在严重地非一致，以便确定是否可以接受这个检验结果。

为进行判断矩阵的一致性检验，需计算一致性指标：

设λmax为判断矩阵 A 的最大特征值，可以证明，当 A 是一致矩阵时，λmax=n；否则，λmax比 n 大得越多， 判断矩阵 A 的非一致程度越严重。

可以通过下式计算一致性评估指标CI（consistency index）：

[CI=λMAX-nn-1] n为判断矩阵的阶数

当CI 稍大于 0 时，A 具有较为满意的一致性；否则，A 的一致性较差。endprint

一般情况下，虽然CI 值能反映出判断矩阵 A 的非一致性的严重程度，但是不能说就可以肯定接受这个非一致性。我们还需要引入一个度量的标准，即所谓随机一致性指标 RI （random index）。它是用从 1～9 及其倒数中随机抽取的数字构造的 n 阶正互反矩阵，算出相应的CI ，取充分大的样本，通过计算得到样本均值，如表4所示。

由于 1、2 阶正互反矩阵总是一致矩阵，故 RI =0。当n≥3时，通过计算一致性比率CR，CR=CI/RI，当CR <0.1时，一般认为判断矩阵一致性可以接受；当CR >0.1时，则需要对判断矩阵做适当修正。

2.4 AHP_COMPUTER软件的使用

前面介绍AHP计算权重的方法很繁琐，实际上很少使用，而是使用一款称之为AHP_COMPUTER的软件来快速算出各个指标的特征向量（即权重），并可快速判断该矩阵是否具有满意的一致性，AHP_COMPUTER软件界面如下图所示：

该计算器操作简单，只要在软件中输入矩阵阶数和矩阵变量，点击“开始”按钮，便可以计算出权重，右边输出特征向量即对应指标项的权重值，各权重值相加应等于1；一致性检验指标给出该判断矩阵是否具有满意的一致性。

必须将所有的判断矩阵输入AHP计算器中进行权重计算，但并不是所有专家构造的判断矩阵都能通过一致性检验。因此，需采用多位专家的意见，然后再进行综合评价。即先让专家单独填写问卷，然后利用AHP计算器计算其构造的矩阵是否通过一致性检验，如果通过则保留，未通过则作废。若多位专家意见均未通过一致性检验，则需重新咨询或者适当修改判断矩阵，直至判断矩阵通过一致性检验为止，对于极端的专家意见则可去除之。

通过AHP计算器，得到各判断矩阵的最大特征根和各指标的权重W，以及各判断矩阵一致性检验结果。表5给出了一级判断矩阵的样例值及权重；表6～表10给出了二级判断矩阵的样例值及权重；表11列出了判断矩阵一致性检验的归纳结果。

2.5 形成综合评价指标体系总表

2.5.1 评价标准的确定

本指标体系采用量化评价标度，依据评分标准（优秀≥ 85，75≤良好<85，60≤基本及格< 75，不及格<60）对各个层次二级评估指标进行评分。

2.5.2 教学网站总体评估

网站总分=∑Yi?Wi，Wi为合成权重（Wi=一级指标权重[×]二级指标权重）

最后根据各判断矩阵（一级指标、二级指标）的合成权重，采用上述量化评价标度，给出网站的总体评估。如表12中的样例值所示，该教学网站获得了81.2分，达到“良好”等级。

3 总结

层次分析法作为一种科学的决策分析方法，尽管能够较客观、合理地评价教学网站，但其指标选取及指标之间重要性的比较，都是由人来决定的，人的主观因素占主导作用。虽然最后通过合理性一致性验证，但是教学网站评价体系是否合理，是否可以很好地评价教学网站，促使教学网站良性发展，还需在实际的评价工作中不断完善评价体系及使用不同的决策分析方法来提高教学网站评价体系的科学性和合理性。

参考文献：

[1] 白银，曹椅.国内教育网站评价研究概述[J].现代教育技术，2011（4）：107-111.

[2] 邱建国，刘光.大学校园网站评价指标体系构建：现状、依据及内容[J].山西高等学校社会科学学报，2009（10）：122-125.

[3] 孔维宏.论若干教育信息资源的特点和教学适用性[J].成人教育，2010（5）：56-57.endprint

一般情况下，虽然CI 值能反映出判断矩阵 A 的非一致性的严重程度，但是不能说就可以肯定接受这个非一致性。我们还需要引入一个度量的标准，即所谓随机一致性指标 RI （random index）。它是用从 1～9 及其倒数中随机抽取的数字构造的 n 阶正互反矩阵，算出相应的CI ，取充分大的样本，通过计算得到样本均值，如表4所示。

由于 1、2 阶正互反矩阵总是一致矩阵，故 RI =0。当n≥3时，通过计算一致性比率CR，CR=CI/RI，当CR <0.1时，一般认为判断矩阵一致性可以接受；当CR >0.1时，则需要对判断矩阵做适当修正。

2.4 AHP_COMPUTER软件的使用

前面介绍AHP计算权重的方法很繁琐，实际上很少使用，而是使用一款称之为AHP_COMPUTER的软件来快速算出各个指标的特征向量（即权重），并可快速判断该矩阵是否具有满意的一致性，AHP_COMPUTER软件界面如下图所示：

该计算器操作简单，只要在软件中输入矩阵阶数和矩阵变量，点击“开始”按钮，便可以计算出权重，右边输出特征向量即对应指标项的权重值，各权重值相加应等于1；一致性检验指标给出该判断矩阵是否具有满意的一致性。

必须将所有的判断矩阵输入AHP计算器中进行权重计算，但并不是所有专家构造的判断矩阵都能通过一致性检验。因此，需采用多位专家的意见，然后再进行综合评价。即先让专家单独填写问卷，然后利用AHP计算器计算其构造的矩阵是否通过一致性检验，如果通过则保留，未通过则作废。若多位专家意见均未通过一致性检验，则需重新咨询或者适当修改判断矩阵，直至判断矩阵通过一致性检验为止，对于极端的专家意见则可去除之。

通过AHP计算器，得到各判断矩阵的最大特征根和各指标的权重W，以及各判断矩阵一致性检验结果。表5给出了一级判断矩阵的样例值及权重；表6～表10给出了二级判断矩阵的样例值及权重；表11列出了判断矩阵一致性检验的归纳结果。

2.5 形成综合评价指标体系总表

2.5.1 评价标准的确定

本指标体系采用量化评价标度，依据评分标准（优秀≥ 85，75≤良好<85，60≤基本及格< 75，不及格<60）对各个层次二级评估指标进行评分。

2.5.2 教学网站总体评估

网站总分=∑Yi?Wi，Wi为合成权重（Wi=一级指标权重[×]二级指标权重）

最后根据各判断矩阵（一级指标、二级指标）的合成权重，采用上述量化评价标度，给出网站的总体评估。如表12中的样例值所示，该教学网站获得了81.2分，达到“良好”等级。

3 总结

层次分析法作为一种科学的决策分析方法，尽管能够较客观、合理地评价教学网站，但其指标选取及指标之间重要性的比较，都是由人来决定的，人的主观因素占主导作用。虽然最后通过合理性一致性验证，但是教学网站评价体系是否合理，是否可以很好地评价教学网站，促使教学网站良性发展，还需在实际的评价工作中不断完善评价体系及使用不同的决策分析方法来提高教学网站评价体系的科学性和合理性。

参考文献：

[1] 白银，曹椅.国内教育网站评价研究概述[J].现代教育技术，2011（4）：107-111.

[2] 邱建国，刘光.大学校园网站评价指标体系构建：现状、依据及内容[J].山西高等学校社会科学学报，2009（10）：122-125.

[3] 孔维宏.论若干教育信息资源的特点和教学适用性[J].成人教育，2010（5）：56-57.endprint

一般情况下，虽然CI 值能反映出判断矩阵 A 的非一致性的严重程度，但是不能说就可以肯定接受这个非一致性。我们还需要引入一个度量的标准，即所谓随机一致性指标 RI （random index）。它是用从 1～9 及其倒数中随机抽取的数字构造的 n 阶正互反矩阵，算出相应的CI ，取充分大的样本，通过计算得到样本均值，如表4所示。

由于 1、2 阶正互反矩阵总是一致矩阵，故 RI =0。当n≥3时，通过计算一致性比率CR，CR=CI/RI，当CR <0.1时，一般认为判断矩阵一致性可以接受；当CR >0.1时，则需要对判断矩阵做适当修正。

2.4 AHP_COMPUTER软件的使用

前面介绍AHP计算权重的方法很繁琐，实际上很少使用，而是使用一款称之为AHP_COMPUTER的软件来快速算出各个指标的特征向量（即权重），并可快速判断该矩阵是否具有满意的一致性，AHP_COMPUTER软件界面如下图所示：

该计算器操作简单，只要在软件中输入矩阵阶数和矩阵变量，点击“开始”按钮，便可以计算出权重，右边输出特征向量即对应指标项的权重值，各权重值相加应等于1；一致性检验指标给出该判断矩阵是否具有满意的一致性。

必须将所有的判断矩阵输入AHP计算器中进行权重计算，但并不是所有专家构造的判断矩阵都能通过一致性检验。因此，需采用多位专家的意见，然后再进行综合评价。即先让专家单独填写问卷，然后利用AHP计算器计算其构造的矩阵是否通过一致性检验，如果通过则保留，未通过则作废。若多位专家意见均未通过一致性检验，则需重新咨询或者适当修改判断矩阵，直至判断矩阵通过一致性检验为止，对于极端的专家意见则可去除之。

通过AHP计算器，得到各判断矩阵的最大特征根和各指标的权重W，以及各判断矩阵一致性检验结果。表5给出了一级判断矩阵的样例值及权重；表6～表10给出了二级判断矩阵的样例值及权重；表11列出了判断矩阵一致性检验的归纳结果。

2.5 形成综合评价指标体系总表

2.5.1 评价标准的确定

本指标体系采用量化评价标度，依据评分标准（优秀≥ 85，75≤良好<85，60≤基本及格< 75，不及格<60）对各个层次二级评估指标进行评分。

2.5.2 教学网站总体评估

网站总分=∑Yi?Wi，Wi为合成权重（Wi=一级指标权重[×]二级指标权重）

最后根据各判断矩阵（一级指标、二级指标）的合成权重，采用上述量化评价标度，给出网站的总体评估。如表12中的样例值所示，该教学网站获得了81.2分，达到“良好”等级。

3 总结

层次分析法作为一种科学的决策分析方法，尽管能够较客观、合理地评价教学网站，但其指标选取及指标之间重要性的比较，都是由人来决定的，人的主观因素占主导作用。虽然最后通过合理性一致性验证，但是教学网站评价体系是否合理，是否可以很好地评价教学网站，促使教学网站良性发展，还需在实际的评价工作中不断完善评价体系及使用不同的决策分析方法来提高教学网站评价体系的科学性和合理性。

参考文献：

[1] 白银，曹椅.国内教育网站评价研究概述[J].现代教育技术，2011（4）：107-111.

[2] 邱建国，刘光.大学校园网站评价指标体系构建：现状、依据及内容[J].山西高等学校社会科学学报，2009（10）：122-125.

[3] 孔维宏.论若干教育信息资源的特点和教学适用性[J].成人教育，2010（5）：56-57.endprint