精品课程智能评价系统设计*

杨 艺， 余 鲁

(重庆工商大学 a.计算机科学与信息工程学院，重庆400067；b.数学与统计学院，重庆 400067)

精品课程智能评价系统设计*

杨 艺a， 余 鲁b

(重庆工商大学 a.计算机科学与信息工程学院，重庆400067；b.数学与统计学院，重庆 400067)

精品课程建设是高等学校教学质量与教学改革工程的重要组成部分，各个学校在这些年相继建设积累了一定数量的精品课程和建设经验，但是在如何评价精品课程方面作的工作却相对较少；依据课程与评价的相关理论，对精品课程体系的评价主体、综合评价指标、评价方式、评价模型等进行了梳理归纳和分析，结合《国家精品课程评估指标体系》和学校具体情况构建了公正、客观、有效的综合评价指标体系，进而对各种指标赋予权重，运用模糊综合评价与评价主体打分相结合的方法构建了综合评价的评价模型，并讨论了评价系统的智能功能设计，最后用具体实例对评价系统的工作过程进行解析说明；旨在利用信息技术提高评价工作的效率和可信度。

精品课程；设计；智能化；评价系统；评价指标体系

自2003年4月我国开始启动实施国家精品课程建设项目以来，初步形成了“校级-省级-国家级”三级精品课程共享体系，旨在提高精品课程的示范带头作用。同时教育部从2003-2010年并行地发布了7个《精品课程评估指标体系》，尽管历年来《国家精品课程评估指标体系》经过了数次修订，但都体现出“总体稳定，适当调整”的特点[1]。目前，各省市都在教育部的引导下开展了省市级精品课程的评估和遴选工作，其评估指标体系大都直接以《国家精品课程评估指标体系》为准绳，也有部分省市以其为主要参考，根据自身状况进行局部调整。针对高校精品课程评价，已经有一些学者开展了有关的研究，内容主要集中在评价指标体系的确定、评价工具应用、评价方法及评价模型的设计等几个方面[2-4]。这些研究都强调评价指标的动态合理调整，评价主体多元化，评价实施的过程及多种评价方法的结合，但是对评价系统的系统研究还很匮乏。即从评价指标入手，分析评价主体、设计评价模型，到选择评价方法和评价系统的开发，这样的研究文献相对较少，并且从实际调研结果中也可看出高校精品课程评价工作还处于自动化程度相对较低的状况，更谈不上智能化的评价。

实践中存在的问题以及相关研究的不足使得对精品课程评价功能进行系统设计显得尤为重要。为了以评价促建设，促进教学水平普遍提高和优质教学资源的开放与共享，设计一个具有一定的科学性，可操作性，以及可推广的在线精品课程评价系统，能大大提高评价工作的效度和信度，对高校开展同类课程评价具有借鉴和参考价值。将在国内外已有研究的基础上，结合信息技术研究精品课程评价系统的具体设计方案。

1 评价因素的选择及分析

(1) 评价主体的界定。以往对评价主体的研究都将焦点集中在教育专家或教师上，而少有考虑学生、管理人员以及社会领域专家。从分析课程体系评价价值链中所存在的价值主体来看，课程体系评价涉及的利益相关者主要包括课程的使用者：学生和教师，课程的建设者：专家教师、一般教师和教育管理者以及课程评价者：专家、教师和学生，在这个完整的价值链中，三者参与了课程体系评价的价值创造，这种价值最终通过教育评价者的评价活动得以实现。其中使用者，建设者，评价者三者的身份相互交叉、重叠，作用相互渗透、融合。

由于参评人员的身份和资历不同，对精品课程了解程度和经验也不同，个人的表决权重也应有所不同，在设计评价系统时应针对不同参评人员设计对应的表决权重。这点可在参评者在线打分前的注册环节，并在本人不知情的情况下自动赋给。

(2) 评价指标体系分析。2003-2010年，虽然教育部发布的7个指标体系各有不同，但是体系的框架变化不大，第一部分综合评估，总体上由“教学队伍”、“教学内容”、“教学条件”、“教学方法与手段”、“教学效果”五个一级指标组成，合计100分。另外包含一个内涵不断丰富的附加特色项目，分值也是100分。在7个评估指标体系的前100分指标项中，各一级指标的权重有一定的调整，从2009年开始，所有上述5个一级指标的权重均为20%，显得更为均衡，但是在二级指标上存在变化。后100分的附加特色项目从2003年的“课程特色”到“特色、政策支持及辐射共享”，反映出该项指标内容由简单到丰富的演进过程。

指标层次结构内第一层次的各条指标即一级指标，它反映了国家精品课程的主要属性和特征，它既是课程的评价指标，又是二级指标的评价对象。第二层次的各条指标即二级指标，是一级指标的主要属性的反映。其中前一部分综合评估共设了5个一级指标，15个二级指标和主要观测点，基本上涵盖了课程计划的全部过程，后一部分特色及政策支持部分又弥补了综合评估部分。在评价实施过程中，将某些评价观测点细化，形成符合自己省市特色和课程建设目标的评估指标体系。

(3) 评价方式选择。为了保证评价的客观，精品课程评价方式可以综合问卷调查，小组讨论，过程参与等几种形式来考虑，要结合量化评价与质性评价来实施。事实上，任何一种评价方式都不能解决评价中的所有问题，它们都有自己的优点与缺点。因此，从实践出发的精品课程评价，应该把几者有效地结合起来，形成取长补短、相互融合的态势，按照评价目的和评价对象的不同特点，选择适当的评价方式，以获得全面准确的评价结果。

(4) 指标权重设定。2010年国家精品课程评审标准中没有给出各个观测点的权重，但是权重的变化会引起评价结果的变化。因此，为了提升精品课程整体的评价质量，有必要设定各个指标的权重。有关文献中比较认同集中专家力量利用层次分析法审定指标权重[6]，同时还要注意专家的专业组成应包括精品课程所在学科、信息技术、教育管理学等领域，并配合使用座谈、访谈、观察等辅助手段慎重设定权限。

2 评价模型设计

一个好的评价系统需要建立在一个客观科学的评价模型上。在进行评价模型设计时，既考虑国家精品课程评审方案，又结合学校自身特点细化指标项，设定权重，确定计算方法，其目的是使评价工作更易于执行，评价结果更客观准确[7]。

在评价系统中，评价模型处于核心位置，它将决定选择那些评价主体对哪些指标进行评价以及采用哪种算法计算评价结果，系统评价模型中各要素及其时序关系如图1所示。

图1 评价模型及时序图

2.1 开列评价指标集

评价指标分为综合评审与特色、政策支持及辐射共享两部分，各100分。评价指标体系中前一部分计26项和后一部分3项评价观测点集，列于表2中。表2的指标体系框架主要参考2010年国家精品课程评审标准[8]，对具体评价观测点做了适当调整，在这套指标体系的基础上做评价模型的设计工作，具有一定的代表性和应用价值。

2.2 设定评价观测点权重

为了保证精品课程整体质量评价效果，应该组织专家组审定各个观测点的权重。按照每个二级指标来设定权重。对应表2中第i个评价观测点ai的权重值ci，可以理解为每一个评价观测点在该二级指标下n个评价观测点中的重要性体现，则每个二级指标下的n个评价观测点权重组成权重向量：

Cj=(ci)1×n

(1)

式(1)中，Cj表示第j个二级指标的权重向量；ci表示第j个二级指标下的第i个评价观测点地权重；n表示第j个二级指标下评价观测点的个数。

评价观测点权重是专家组意志和倾向性的集中体现，它们的设定是否合理，直接影响精品课程的评价结论。某些二级指标下只有1个评价观测点，则权重为1。

2.3 确定评分等级和建立评价矩阵

参考国家《精品课程评估指标体系》中A-E5个评分等级，再设置评分等级对应分值表{A，>=90；B，90～80；C，80～70，D，70～60，E，<60}确定评分等级。接下来选择各类评价主体根据评估指标体系进行评分，建立评价矩阵：

Wj=(wi/m)n×5

(2)

式(2)中，Wj表示评价主体对第j个二级指标的评价矩阵，矩阵的一行表示对某一评价观测点ai，判定对应评价等级的主体人数比例[3]；wi表示对某一评价观测点ai，评价主体分别判定对应5个评分等级的人数；m表示评价主体总数；i表示评价观测点序号；j表示二级指标序号；n表示二级指标下的评价观测点个数。

2.4 计算某类评价主体评价分值

(1) 计算评价矩阵W与权重向量C的积U。计算矩阵如下：

Uj=Cj×Wj=(ci)1×n×(wi/m)n×5=(uj)1×5

(3)

式(3)中：Uj表示某类评价主体对第j个二级指标的5个评分等级的评价向量，即在5个评分等级中，评价主体的看法更集中于哪一个等级；uj表示评价向量Uj的元素，即评价主体对5个评分等级的评分倾向比例。如法炮制，其他二级指标的评价向量也同样计算。

(2) 计算综合评价值S。分别计算综合评审评价值S′和政策支持及辐射共享评价值S″。

(4)

式(4)中，Mj是第j个二级指标的分值，如表2所示；K是A、B、C、D、E五个等级的系数，分别为1.0、0.8、0.6、0.4、0.2；根据国家《精品课程评估指标体系》设置的综合评审占80%，特色、政策支持及辐射共享占20%的比例，计算综合评价值S，为精品课程的最后评分。

S=S′×80%+S″×20%

(3) 计算精品课程最终评价等级。通过第1、2步的计算可以得到各类评价主体评价精品课程的最后评分，再根据各类评价主体的表决权重计算精品课程最终评分，表1所示是本校针对精品课程评估由专家讨论制定的评价主体表决权重表。

表1 评价主体的表决权重表

再根据上述评分等级和对应分值表将量化的评分结果转化成定性的评价等级。

表2 精品课程评价指标及等级记录表

续表2

一级指标二级指标评价观测点三级指标及其权重(ai,ci)i=1,2,…,29分值(Mj)j=1,2,…,15评价等级ABCDE1.00.80.60.40.2教学方法与手段20分教学设计教学理念(a18,c18=0.55)教学设计(a19,c19=0.45)8分1031241351254733151800教学方法与教学手段多种教学方法的使用(a20,c20=0.35)使用效果(a21,c21=0.35)信息技术的应用(a22,c22=0.30)12分1031291381351461263716292597000教学效果20分同行及校内督导组评价校外专家评价与声誉(a23,c23=0.50)校内督导组评价与声誉(a24,c24=0.50)4分921101281126368171000学生评教学生评价意见(a25,c25=1)8分12911636190录像资料评价课堂实录(a26,c26=1)8分10515032130特色、政策支持及辐射共享专家依据《2010年度“国家精品课程”申报表》所报特色及创新点打分(a27,c27=1)40分12712135170所在学校支持鼓励精品课程建设的政策措施得力(a28,c28=1)30分13011842100辐射共享措施有力,未来建设计划可行(a29,c29=1)30分10014542130

3 评价系统智能功能评析

高校精品课程评价系统的主要功能是进行评价主体的信息注册、评价主体表决权重设定、评价主体评分数据采集、评价指标及评价观测点分值和权重设定以及评价结果计算、查询、统计。要实现评价系统的智能化，则其功能应该随评价需求的动态变化而自动调整，这就要求在分析设计时采用基础数据项活动设置的思路，并在设计时对一些主要因子预留扩展空间[9]。

(1) 灵活设置基础数据项。对一些和评价计算相关的基础数据，如不同评价主体类别对应的表决权重不相同，其值直接影响评价主体类别对整个评价分值的贡献度，就不能将分值在计算公式中做“死”。在进行数据库结构设计时，应该设计评价主体类别、评价主体类别表决权重两个数据项并关联之，便于以后评价政策发生变化时可以通过微调表决权重或增加评价主体类别及对应权重来应对变化。同理，五个评分等级A、B、C、D、E所对应的百分制分数段也应该活动设置。总之，所有评价计算需要用到的基本数据，都要做“活”，而不能因为一些局部需求变化对系统“大动干戈”而无法使用。

(2) 人性化的容错设计。评价工具的基础数据大部分来自人工录入，难免不发生一些有意无意的错误。在进行设计时，要尽可能考虑到未来可能发生的错误，在一些关键环节给予出错提示，再次确认，自动中断等形式的警示。比如设定评价观测点权重值时，一个二级指标下的n个评价观测点权重之和为1，当不等于1时，系统就应该给出出错提示，以帮助识别并改正错误。

(3) 智能判断非法评价结果。评价工作中虽然制定了严格的纪律规章，但终究是以评价主体对客体的主观评价为主，难免在评价过程中出现虚假和舞弊数据，那么这种靠制度不能完全约束的弊端可以通过技术手段加以弥补。通过有针对性地生成非法数据特征库，对一些选项类同或具有某种规律性的评价数据进行智能筛查和分析，区别处理，提高评价结果的可信度。

(4) 智能处理统计评价结果。系统根据评价主体的评分记录，设计算法自动计算评价分值给出评价结果。并针对不同层次，不同类别的使用者设计不同内容选项的查询、统计和汇总输出。这种灵活的查询统计既能实现个性化的查询需求又能实现数据的分级保密。

4 在线评价实例解析

评价系统可以实现各类评价主体在线评价精品课程，评价的过程趋于透明，评价结果趋于公开，可供精品课程的使用者和建设者参考。下面以本校“统计学”精品课程评价为例对系统的评价过程进行解析。

(1) 基础数据设置。在评价前，系统根据表1设置“统计学”精品课程评价主体类别、评价主体类别表决权重和最少评价人数；根据表2设置各级评价指标及其权重以及A、B、C、D、E5个等级。

(2) 评价人员登录系统在线评分。为简单起见，此例只选择了一类评价主体——300名学生参与精品课程评价。学生在登录系统时，系统自动识别评价者的类别并自动赋给表决权重。每个学生根据对精品课程的判断，在线填写评价等级记录表(表2)，即选定表中每个评价观测点对应的评价等级，表2中每个评价观测点对应5个等级下的数字表示选定对应等级的学生人数。

(3) 异常评分处理。各类评价主体在在线评分时，有可能带有主观倾向，评分表现异常。比如学生在评分时，可能由于对任课教师不满或对该门课程不感兴趣，对表2中的二十几个评价指标项全评最差，反之，全评最优，系统需要预先考虑到这些异常情况，设计评分异常筛查程序，自动过滤，根据约定规则选择重评、丢弃、忽略等措施进行修正。经过异常评分处理后的数据才进入到自动计算环节。

(4) 系统自动计算得分。系统根据前述评价模型中的计算算法对在线评分表中获得的数据和已经设置的基础数据进行自动计算。以“课程负责人与主讲教师”这个二级指标为例进行说明。

根据学生对该二级指标下3个评价观测点的评分情况建立一个3行5列的评价矩阵

(5)

式(1)中第一行数值(0.467 0.39 0.137 0.006 0)，即是300学生中对“教师风范”a1评价观测点选定五个等级的人数比例，同理得到剩下2行的数值，分别表示300学生中对“学术水平”a2和“教学水平”a3评价观测点选定五个等级的人数比例。评价观测点a1-a3的权重向量为：

(C1)1×3=(0.3 0.35 0.35)

则评价向量

(U1)1×5=(C1)1×3×(W1)3×5=(0.393 5 0.364 45 0.206 65 0.035 4 0)

由此可得综合评价分值

如法炮制，可以分别求得前100分其余11项二级指标和后100分3项二级指标的综合评价分值，分别逐项相加得到综合评审评价值S′和政策支持及辐射共享评价值S″，并最终得到该门精品课程的最后评分。

5 结束语

作为一种依据相对权威的指标体系，相对合理而便捷的开放式的在线精品课程智能评价系统不局限于某一门精品课程，还可以延展到其他一些课程评价上。对于精品课程评价的实施过程完全可以利用计算机编程，借助互联网实现，并且对在互联网上收集到的评价数据随时保存和有效管理，根据精品课程评价的发展趋势，适时地修改软件评价模型参数，也就会产生不同的评价结果。系统作为一种非单纯唯数据的评价系统，对于持续地研究精品课程的评价，积累不同时期的评价结果而用于精品课程研究的分析预测，继而真正发挥其示范带头作用，也具有一定的现实意义。

[1] 周光礼，张文静.国家精品课程建设七年回望—一个政策评价框架的初步运用[J].高等工程教育研究，2010(1)：36-45

[2] 赵小虎.精品课程评估指标体系的比较研究[D].北京：北京中医药大学硕士学位论文，2009

[3] 李兴敏. 网络课程评价工具设计[J].中国电化教育，2009，268(5)：72-75

[4] 葛斌，吴志华.课程质量评价的选择策略之一：课程效能评价[J].教育科学，2012，28(1)：27-31

[5] 朱捷. 高校课程体系的评价指标体系的研究[D].上海：华东师范大学，2007

[6] 郭向勇.基于层次分析法的网络课程学习评价模型[J].电化教育研究，2008，179(3)：72-75

[7] 毛居华，覃文圣，许建华，等.数字资源评估体系及其应用研究[J].中国电化教育，2012，304(5)：71-77

[8] 2010年度国家精品课程评审指标(本科)[DB/OL]. http：∥www.cmu.edu.cn/course2006/jpkc/upl_files/20103211322909.doc，2012-10-25

[9] 李火光.国家级精品课程网站网络资源评价指标体系研究及辅助评价系统设计[DB/OL]. http：∥www.doc88.com/p-40713402359.html

Keywords：quality course；design；intelligence；evaluation system；evaluation index system

Design of Intelligent Evaluation System for Quality Courses

YANGYi1,YULu2

(1.School of Computer Science and Information Engineering, Chongqing Technology and Business University, Chongqing 400067, China；2. School of Mathematics and Statistics, Chongqing Technology and Business University, Chongqing 400067, China)

Quality course construction is an important part in teaching quality and teaching reform project of colleges and universities, each college and university accumulates a certain amount of quality courses and construction experience in these years, however, there is relatively short of results on how to evaluate quality courses.According to the related theory on courses and evaluation, this paper summarizes and analyzes evaluation subject, comprehensive evaluation index, evaluation method, evaluation models and so on of quality course system, constructs fair, objective and effective comprehensive evaluation indicator system based on National Excellent Course Assessment Index System and the real situation of colleges and universities, further gives weight to each indicator, sets up the evaluation model of comprehensive evaluation by the combination of fuzzy comprehensive evaluation and evaluation subject scoring, discusses intelligent function design of the evaluation system, and finally uses real example to illustrate the working process of the evaluation system in order to use information technology to improve the efficiency and credibility of the evaluation work.

1672-058X(2013)10-0096-07

2013-03-13；

2013-04-15.

重庆市教育委员会项目资助(113063).

杨艺(1971-)，女，副教授，从事数据处理、电子商务技术研究.

G443

A

责任编辑：代小红

校对田静