基于网络信息计量学的网络课程评价方法的研究

曲郁生

(四川广播电视大学 教学处，成都 610073)

基于网络信息计量学的网络课程评价方法的研究

曲郁生

(四川广播电视大学 教学处，成都 610073)

利用网络信息计量学的原理和方法，借鉴网络课程评价规范标准，对网络课程的评价过程进行了研究，提出了一种计量型的网络课程评价方法，能较客观地反映网络课程的质量，有助于网络课程进一步的改进和优化。

网络计量信息学;网络课程;评价;网络影响因子;网络链接分析

随着现代远程开放教育的不断深入发展，网络课程在开放教学中得到了更加广泛的应用。网络课程作为支持开放教学的一种重要教学资源，其质量对现代远程开放教育中的课程教学效果具有重要的影响。因此，网络课程的质量评价就成为一项非常重要的工作。教育部全国信息技术标准化技术委员会教育技术分技术委员会于2002年制定了网络课程评价规范标准(CELTS-22)，从网络课程的课程内容、教学设计、界面设计和技术4个方面规范定义了具体的课程评价指标，为全面、客观和科学地评价网络课程质量提供了一个可借鉴的技术标准，这对网络课程的建设和课程质量的保障起到了很好的指导作用。本文借鉴网络课程评价规范标准(CELTS-22)并结合网络信息计量学的基本原理，对网络课程的评价过程进行研究，提出了一个计量型的网络课程评价方法，探讨如何对网络课程定向特征质量进行评价的问题。

1 研究的基本要素和核心概念

研究用网络信息计量学对网络课程质量进行评价时，针对的对象是网络课程，支持研究的基础是网络信息计量学的基本原理和方法，评价中所用的技术指标，来源于对教育部网络课程评价规范标准(CELTS-22)内容进行提取并加工后新生成的量化指标，主要评价方法采用的是网络信息计量学中的链接分析法，评价的工具选自于搜索引擎、专用研究工具、统计分析包和数据挖掘软件。除此之外，研究工作还涉及到以下5个相关基本要素和核心概念。

1)网络课程。网络课程作为研究的主体，是指“基于WEB的、以超媒体形式表现的，以异步学习为主的课程。它是基于WEB传输的为完成某学科或领域的教学目标而设计、组织起来的相对完整的学习经验体系，它包括围绕特定学习目标而设计组织的学习内容、为实施课程而设计的交互性教学活动，以及为评价课程效果而进行的测评等，是学习内容与学习活动的复合体。”［1］

本研究只限于对某门制作完成并已在网上运行的网络课程进行，评价的质量只是涉及课程内容、教学设计和课程影响力这3项。通过计量化评价指标的衡量，对网络课程的质量进行重点性的评价和分析，为改善和提高参评网络课程的质量提供客观的决策依据和途径。

2)网络信息计量学。网络信息计量学是指在互联网络环境下，以网络计量学和信息计量学理论为基础，对网上各种信息的组织、存储、分布、传递、相互引证以及功能的开发利用等，进行定量描述并进行统计分析和研究，以揭示其数量特征和内在规律的一门交叉性的边缘学科。它融合了信息技术、网络技术、计量学和统计学中的技术方法，广泛地应用在网络信息资源的挖掘、评价、管理和应用等方面。网络信息计量学通过对网络信息和网络结构单元信息计量问题的研究，能对网站的信息资源与网站的应用进行评价，为网站信息资源的合理组织、优化配制和有效利用提供必要的定量依据，以便实现改善和提升网站质量和运行效果的目的。

本研究的主要方法为网络信息计量学中的网络链接分析法。它运用网络信息检索技术和数据统计分析工具，通过对采集到的网络课程信息进行综合处理，以“网络链接”结点要素为桥梁，对网络课程的网络链接特征、链接对象、链接空间及方向进行分析研究，以得到的数量规律来揭示网络课程的影响、教学资源状况和互动学习程度，从而达到对网络课程质量评价的客观性要求。

3)评价标准。网络课程作为一种特殊的教育软件，可适用分析评价法、指标体系评价法、观察评价法和实验评价法对它进行评价。因此，评价网络课程的标准与所选用的评价方法有着密切的关联。本研究所用的评价方法源于网络信息计量学之中，而评价的网络课程又属于软件产品，由于考虑到指标体系评价法可作为网络课程评价的辅助方法之一，所以，在网络课程评价标准的量化指标设计时，将用指标体系法和网络信息计量学中的链接分析法相结合生成新的网络课程评价标准。

本研究中使用的网络课程评价标准，是参照了教育部网络课程评价规范标准内容后，借用了网络信息计量学中相关评价方法的计量指标，所设计出的用于量化网络课程质量的基础指标。该类指标只涉及到被评价网络课程在某些特定方面的性能质量。

4)计量指标。计量指标是指在网络信息计量学中，对网站进行定量化评价时所用的一些量化标准值，用它们来衡量网络课程的结构、访问量和覆盖范围等情况。这些量化指标可客观地反映出网络课程的局部质量问题。其中的网络链接和网络影响因子指标在网络课程质量的评价中具有非常重要的用途和价值。

5)网络影响因子。网络影响因子(WIF)是“在某一时间内，来源于外部和自身内部指向特定国家或网站的网页数与该国或网站中拥有的网页数之比。”它包括了外部网络影响因子、内部网络影响因子和总的网络影响因子3种，是评价网站影响力度的重要度量指标，在网络课程质量评价指标体系中占有较大的权重位置。

由于对网络课程评价方法的研究是基于网络信息计量学原理和方法，在研究时选择的样本空间、辅助工具和技术方法等均应符合该研究领域的范畴。所以，对研究过程中用到的基本要素和核心概念，需要作一些必要的拓展，以便满足研究的基本需求。

2 网络课程信息的计量化评价过程研究

网络课程信息的计量化评价过程研究，是指在网络信息计量学原理的指导下，采用网络信息计量学中所提供的特定方法，对在进行网络课程评价时，如何解决评价标准、计量方法和软件工具等基本要素的设计、选择和应用的问题。力争实现网络课程评价过程的简便化、客观化、准确化和自动化。由于网络课程评价的一般过程是:制定评价指标体系;确定评价主要方法;选择评价使用工具;进行评价并分析结果。所以，研究工作按照评价工作的进程，从以下4个方面来进行。

2.1 网络课程评价指标的制定

网络课程的评价指标设计可以从不同的角度来考虑，即能够全面反映网络课程质量的总体性指标和体现网络课程某些侧面特征的个体性指标。由于研究主要是从网络课程几个不同侧面的质量来进行的评价，所以，首先要从教育部网络课程评价规范标准(CELTS-22，2002)中抽取部分相关的约束性和非约束性指标，规范出评价网络课程质量的指标体系所属范围，然后再根据评价课程方法所具备的计量指标，将两者作一个映射转换处理，并计算出各指标的权重，最后生成一张具有网络信息计量特征的评价表，用它来量化被评价的网络课程在某个侧面或具体特征上的质量情况。表1为供研究所用的评价表，它列举出了评价指标的名称、意义和主要目标。

表1 网络课程质量评价量化指标

2.2 网络课程评价方法的应用

网络课程从它的组成结构和内容来看，其实质是一个建立在互联网上传递教学信息的网站。因此，可以借用网站评价的常规方法来对它进行评估。如网上问卷调查法、专家评级法和网络信息计量法等。选择研究网络信息计量法中的网站链接分析法评价网络课程的意义在于:该评价方法具有客观规范、量化程度好、可信度高、易于自动化的优点，对网络课程质量的评价能提供较好的辅助决策依据。应用链接分析法进行网络课程的评价时，要经过样本选择、原始数据采集、网络链接抽取和数据分析整理4个阶段。如何在各阶段中完成既定的任务，应注重以下的影响因素和相应的解决办法。

1)样本空间的定位:网络课程的样本空间定位是与课程质量评价的规模和量化指标有关，参评的指标项目数越多，指标量化的程度越高，对样本空间的要求就越严格，而评价的难度也就相应增大。应依据网络课程评价的项目范围和指标量化度来定位参评网络课程样本空间的大小，使该样本区间既能满足测评数据的采集要求，又易于用软件工具自动地快速进行测评。

2)数据采集的方法:原始数据的采样精度将直接关系到网络课程质量评价的可信度，应选用覆盖率广和数据采样性高的搜索软件来完成网络课程原始测评数据的采集。在使用这类工具软件进行数据采集时，要掌握运用好搜索策略算法，避免重复采集数据的现象出现，尽量达到“突出重点，覆盖全面”的数据采集目标。

3)网络链接的搜寻:链接是网络分析的基本元素，由于网络课程中链接形式的多样化，很难全部解析和抽取出网络课程中各类文件中的链接成分，这会给评价网络课程质量的数据分析带来不利的影响。对于网络课程里的静态网页，用“网络爬行器”软件工具可以实现链接成分信息的有效搜寻和抽取;但对于网络课程里由脚本语言生成的动态网页，或是后台服务器上存储的数据，需要开发专用的搜索工具来进行处理。因此，当能获得一个完整的网络课程系统软件时，可以采用直接从中提取链接信息和原始数据的办法;如无法获得则可借助嵌入到网络搜索软件中的各类文件标识解析插件，在原始数据的采集过程中，抽取、过滤和统计网络链接数据信息。

4)数据的处理与分析:网络课程质量评价的实质是对采集到的原始数据的处理和分析。由于在数据采样中存在误差，所以必须对采集的原始数据先进行净化处理，清洗过滤掉无关和冗余的数据，然后再作进一步的统计、比对和分析。数据分析常遇到对链接、行为、关联以及聚类等关系的分类计算，其结果常常是作为网络课程质量评价的重要参考指标。例如:统计访问网络课程用户的行为数据流量，可以分析得出网络课程的活跃程度、用户需求和资源利用率等情况，这在评价网络课程的结构和可用性方面具有较高的实用价值。所以，在网络课程的评价数据处理与分析中，应选择好合适的数据处理与分析软件工具，针对网络课程质量评价项目的不同，筛选具有代表性的样本数据，并多次地进行数据的过滤，这样才能使分析的结果和推断更加准确和客观。

表2 网络课程质量评价常用软件工具

2.3 网络课程评价工具的选用

根据网络课程质量评价的不同要求，评价的过程可以在线或离线进行。在线评价与离线评价在评价数据的采集方式上是不同的。前者要在网上搜寻，而后者则是利用下载软件，将需要评价的网络课程直接下载到客户机上，然后再进行数据的收集。运用网络链接分析法对网络课程进行评价时，除需要有满足各种不同数据采集方法的采集工具之外，网络链接分析工具、数据统计分析工具和数据挖掘分析工具也都是网络课程评价时必备的软件工具。因此，在网络课程评价工具的选用上，应遵循操作方便、功能强大、适用性好的基本原则来进行软件工具的选择。表2为研究中常用的软件工具。

2.4 网络课程评价结果的分析

由于网络课程质量的评价方法应用了网络信息计量学的基本原理，所以，评价产生的数据结果也与网络信息计量学的计量指标意义关系密切。通过网络信息计量学的方法评价得到的数据，主要是从网络计量学的角度来反映网络课程资源的类型、网络课程链接的程度、网络课程的影响力等方面的价值情况。尽管这些计量指标和教育部的网络课程评价规范标准(CELTS-22)中的指标有所不同，但是从中可以客观地发现网络课程的可用性、学术影响力、资源价值和学习行为与需求等问题，从另一个不同的侧面来观察和评价网络课程的质量，减少主观因素对评价结果的影响，间接地实现了对网络课程质量的评价。从对最终评价结果的分析，研究得出以下3点结论:

1)用网络信息计量法来评价网络课程的质量，主要适合在网络课程的可用性、更新率、交互性、权威性和资源配置等个性化特征面的定量评价上。如果要全面评价网络课程的整体质量，还需要结合应用其他的定性评估方法。2)在网络课程质量的评价过程中，网络信息计量法具有操作方便、客观性好、易于自动化和效率高的特点。但是对评价所用原始数据质量要求较严格，数据的采集和清洗开销较大，尤其在有网络课程交互性质量测评要求下，数据的采集与处理更为复杂，因此，目前还不太适应结构组织复杂、动态交互性高的网络课程质量的评价。3)网络课程质量评价的数据统计分析表明，使用链接分析法的效果与搜索引擎的质量直接相关，同时网络课程评价的原始数据主要由教学网页的嵌入数据和用户行为信息数据两大类组成，所以，在原始数据的采集地点上，应从日志文件和Cookies内获取更丰富的分析数据。

3 网络课程计量化评价研究的应用实践

为了进一步论证用网络信息计量学方法评价网络课程质量研究的可行性，笔者以四川广播电视大学制作的网络课程“美学原理”为对象模型，进行了模拟化的阶段性研究工作。应用网络信息计量学的方法，在获得该网络课程质量评价所需的原始数据基础上，阶段性地评价了该网络课程的部分质量情况，并根据评价产生的量化数据指标做出了相应的结论。研究的主要步骤是:

1)用在线搜索引擎ALTRA Vista和离线浏览器Offline Explorer采集网络课程中的部分数据。2)用链接分析工具WebStat抽取和分类统计课程链接数据。3)用统计分析软件SPSS对获取的数据进行综合处理，得到初评结论。4)用数据挖掘工具SAS Mine作相关分析，建立辅助的决策模型。5)初评结论的终审和网络课程质量评价结论的撰写。

目前，笔者正对阶段性的研究成果进行分析总结，为今后该研究项目的继续深入推进做技术上的预测评估和全面论证。

4 结语

客观和准确地对网络课程质量进行量化性的评价，是网络课程资源建设中的一个重要的工作环节。在网络课程质量的评估工作中，研究一种科学化、标准化、自动化的有效评估方法，能准确地发现网络课程制作和运行中所存在的问题，及时地对网络课程资源进行更新替换，为开放课程的学习提供更多优质的学习资源和更佳的支持服务，保证电大现代远程开放教育的教学质量。

［1］教育部教育信息化技术标准委员会.CELTS-22(WD1.0)网络课程评价规范［S/OL］.(2002-09-05)［2011-12-01］.http://www.celtsc.edu.cn/680751c665875e93/680751c665876863/7f517edc8bfe7a0b8bc44ef7-celts-22/?searchterm=网络课程评价规范.

［2］庞景安.网络信息资源的计量与评价［M］.北京:科学技术出版社，2007.

［3］段宇峰.网站链接分析与网站评价研究［M］.北京:北京图书馆出版社，2005.

［4］王满，徐朝军.网络课程资源自动化评价研究［J］.现代图书情报技术，2010，9(1):88-93.

［5］滕霞，段崇江，张建伟，等.网络课程评价标准的研制［J］.现代教育技术，2003(1):5-11.

Research on Evaluation Method of Web-Based Courses Based on Webmetrics

QU Yusheng
(Teaching Affair Office，Sichuan Radio and TV University，Chengdu 610073，China)

The evaluation of web-based courses is studied in this paper.The method and concepts of evaluation is reviewed briefly.The focus is then concentrated on quantitative evaluating process of webbased courses，including evaluation indexes and methods，result analysis and application case.The presented results are beneficial to optimizations and improvements of web-based courses.

Webmetrics;web-based course;evaluation;web impact factor;web link analysis

G434

A

1008-5440(2012)01-0057-04

2011-12-05

曲郁生(1954-)，男(汉族)，重庆人，副教授，学士，研究方向:计算机信息管理与教育技术。