目标导向的课程质量评估方法及系统实现

张 伟,柳玉辉

(1.东北大学 信息科学与工程学院， 沈阳 110819; 2.东北大学 研究院，沈阳 110819)

计算机工程

目标导向的课程质量评估方法及系统实现

张 伟1,柳玉辉2

(1.东北大学 信息科学与工程学院， 沈阳 110819; 2.东北大学 研究院，沈阳 110819)

根据国际工程教育评估组织ABET将评价重点放在学生“学到了什么”的精神，本文提出了依据学生在各种场合表现出的实际能力来评价一门课程的教学质量的“以目标为导向”的方法，并实现了课程评价信息系统。该方法的评价逻辑是：从学生学到的能力评价课程目标达成度，从课程目标达成度评价专业培养水平。该方法的优点是，不需要增加额外的测试，即可以定量评价课程质量，并促使教师主动改善课程设计。

ABET标准；课程质量评价系统；专业质量评估

课程建设是学校教学工作的一项经常性基本建设，是学科专业建设的基础性工程，是教学工作的核心内容之一。加强课程建设和评估，尤其是专业学位课程建设和评估，对于进一步深化教学改革，提高教育教学质量和办学水平，培养高层次、高素质、有创新精神的科学研究和工程技术方面的高级专门人才具有重要意义[1]。

随着我国本科生的数量逐年提高，高等学校教学质量问题日益成为全社会关注的焦点。首先，由于连续大规模扩招导致教育资源不足成为制约学校保证人才培养质量的瓶颈；其次，课程评价内容单一，特别是只关注对学生课程成绩的评价，忽视了能力的培养；评价只关注结果不关注过程；有时也忽略了课程目标与专业培养目标的联系和贡献。第三，大学生所学习的课程的培养效果和培养质量评价标准和方法如何适应目前扩招的形式，并且在质量评价的“数据化、文档化”方面与国际接轨，都是十分值得探讨的课题。本文的研究正是在这样的背景下开展的[1-3]。

从国外情况看，ABET鉴定要求工程技术类专业用直接或者间接的评估方法测量专业的培养效果。为了保证评估更加可信，评估过程至少需要采用一种以上的直接评估方法来对培养效果进行测量，以避免引入太多的主观性。这就促使各个学校积极探索可靠但不复杂的直接评估方法。在这个探索的过程中，国外很多大学开发了一种基于课程评分的直接评估方法，目的是探索专业培养效果评估的可行性与可靠性。一开始的时候，教师们认为课程评分一般来说并不是评价专业培养效果的理想指标，因为教师评分标准与过程的不同会导致评分结果的变动。但是，事实上成绩平均积点(grade point average，GPA)已经得到了各高校及企业雇主的广泛认可，并且它将作为唯一被普遍接受的测量学生学业成就的指标而继续存在。在这个事实的启发下，大学充分利用课程评分的结果开发了对专业培养效果的直接测量方法。

为了评估学生的专业学习效果，必须搜集学生的能力达到了专业培养目标的各种证据。这些证据只能是能够证明学生能力的作业、具有特定标准的出口测验、资格考试等等，不论口试还是笔试。如果专业培养效果评估与成绩平均积点计算之间并不协调，那么就说明这两种评价体系之间出现了脱节，即专业培养效果评估更加关注整体的效果，而课程评价更加关注课程的学习效果。按照ABET体系开展的课程质量评估，更注重课程目标与专业培养目标的呼应，并且强调数据化和文档化[4-7]。

1 目标导向的课程(目标)描述

本文参考ABET的基本框架，就我校计算机专业本科生学位课程培养质量评估方法进行改革研究，包括三个方面的内容：(1)课程目标的识别(文档化，数量化)；(2)依据学生的学习结果，对课程目标的实际达成度进行评价(包括实际能力水平与预设培养目标的达成度进行测量与分析)；(3)形成文档化和数量化的课程质量评估报告。

课程目标是课程设计中，期望学生通过该课程学习达到的具体领域的知识和能力的水平，这些目标的制订既依据专业培养计划也依据企业用人岗位的要求。

在ABET评估中，重点评估学生学到了什么(包括知识、素质和能力)，因为课程评估是专业评估的基础，所以每门课程都必须有明确的可度量的目标。以一门课程为例，其课程目标通常以下列方式描述：

课程描述说明：

a.给出了建议的课程大纲的格式，如果采用不同的格式，请注意包含必须的信息。

b.并不要求所有的CS专业课程都要覆盖算法、数据结构、软件设计、编程语言概念、计算机组成与构造这5方面的知识。

c.在鉴定专家访问期间至少要出示如下课程材料，如果这些材料被放在网站上，请指出网址，并且使专家现场鉴定期间可以访问：

c1、课程名称、代码、学分、周学时；

c2、教材及其他教学材料；

c3、教师姓名及联系方式；

c4、教学进程表(书面，如果仅有电子形式请指出URL地址)；

c5、教案(授课目标、教学方法、评估方法，这些是如何有助于培养目标实现的)；

c6、本课程的教授政策；

c7、相关教学材料及学习材料位置说明文件；

c8、为学生布置的任务、项目、测试、考试及其他学习材料；

c9、学生的作品、作业及试卷批改结果；

c10、给学生的结果反馈记录；

c11、与学生进行的任何沟通、研讨、团队工作的电子记录；

c12、课程效果的评价记录，包括学生调查、学生成绩分析等；

c13、调查结果分析记录等。

下面以《面向对象程序设计》课程为例，说明如何按照上述标准格式描述课程目标。

课程描述(Course Descriptions)举例：

面向对象程序设计 4(3，2)

课程介绍：

本课程旨在介绍当代问题的解决方法与编程方法，课程重点为算法概念及软件生命周期的概念。课程内容也包括相应工具的使用及对计算机给社会所带来的影响的研究。主要面向CS专业或相关专业学生。

课程类别：CS专业本科生必修课。

课程教材：(略)。

课程目标与预期授课结果：

学生修完该课程后将达到如下

1.能够理解用计算机程序来解决一个实际问题的基本过程；

2.能够理解面向对象编程的解决问题的基本概念；

3.能够应用一种计算机编程语言尤其是JAVA来实现简单的计算机程序；

4.能够在Eclipse环境中进行JAVA编程.

先修课程：

《离散数学》，或者在本校数学水平测试中取得满意的分数，或者由教师同意。

课程主要知识点：

·面向对象程序基础

·对象和类

·理解对象定义

·对象交互

·对象组

·更复杂的功能

·类设计

课堂授课与实验安排：

课堂授课：周3学时；动手实验：周2学时

课程对专业培养目标的贡献：

·公共教育目标1：对计算机科学与编程的介绍是宽基础面的计算机相关专业的基本部分；

·公共教育目标2：课程会介绍给学生一种高级编程语言为学生的后续学习和将来工作做准备；

·公共教育目标3：课程会为学生提供一个书面表达设计思想的学习机会；

·CS专业本科生专业教育目标1：学习本课程使学生在当前和未来的信息化建设当中能够应用理论、技术、方法、工具和能力构建功能有效的、可靠的高质量计算机系统；

·CS专业本科生专业教育目标2：课程中以小组为单位的项目实践能够使学生锻炼团队工作的能力。

计算机对社会及职业道德所带来的影响：

计算机对社会及职业道德的影响讨论在学生第一堂课的作业中就做了要求，学生可以向有实际项目经验的人去咨询但一定要由他们自己写出来。

问题分析与设计：

学生需要学习根据面向对象范例去解释需求。理解一个方案是如何解决问题的比建立一个方案更重要。

程序实现：

学生要写9～10个程序，每个程序都要应用在课程中学习的一个新的设计要素。一个程序一般要求1周以内完成，在每周的实践课上学生可以修改他们的程序。

课程负责人：(略)

课程描述撰写人及撰写日期：(略)

可以看出，课程目标重点是描述学生应该学会哪些知识和能力，其标准是课程负责人根据业界与学术界的对于工程职业共同要求制订的。

2 目标导向的课程质量评估及系统实现

每一门课程都应该有一套定义完善的、文本化的、可测量的学习课程学习目标描述，而且这些目标要与专业培养目标相呼应：课程目标要支持专业培养目标。

课程教学质量(即课程效果)主要通过测量学生学到的知识和能力来获得，测量方法主要包括作业、测验、实验项目以及期中与期末考试，据此，教师根据评分数字，测量学生在每一门课程的每一项课程目标的掌握水平和达成度。

《面向对象程序设计》课程有4项课程目标，分别编号为1到4，课程评分将被用来对专业培养效果进行评估，表1显示的是根据对全体学生的能力测试计算，得到的各项课程目标的达成度。该课程使用的测量手段包括作业、测验、实验项目以及期中与期末考试。由教师确定各项测量手段对于四项课程目标学习效果的贡献率(见表2)，并用来指导设计具体的测试。

表1 各课程目标的达成度

表2 各种考核对课程目标学习效果的影响权重

注：上表中最后一行“总计”为一个学生在课程目标i上最多可以得到的分数。

课程总体分析：

学生总体表现是良好。在实验室中，学生获得优秀的人数多于其它考核的人数，而目前考核的结果中，对实验室成绩权重偏低；明年考核应提高实验室成绩权重。

单项课程目标分析：

(1)能够理解用计算机程序来解决一个实际问题的基本过程：

该课程目标达成度为81.2%，主要贡献来自于作业、实验和期末考试。学生表现令人满意，以后继续保持，并进一步提高这项能力。

(2)能够理解面向对象编程的解决问题的基本概念：

该课程目标达成度为42.3%，主要贡献来自于作业、期中和期末考试。教学效果一般。

改进措施：明年应强化面向对象编程和类的概念教学内容，同时调整Rubrics设计，也调整实验室成绩对该课程目标的影响度。

(3)能够应用一种计算机编程语言尤其是JAVA来实现简单的计算机程序：

该课程目标达成度为75.5%，主要贡献来自于作业、实验、期中和期末考试。教学效果中等。

改进措施：明年应安排更多教学课时和实验题目(尤其是综合实验项目)，提高学生实际编写JAVA程序的能力。

(4)能够在Eclipse环境中进行JAVA编程：

该课程目标达成度为85.3%，主要贡献来自于作业、实验和期末考试。教学效果良好。

以上对课程学习效果及专业培养效果的计算可以通过开发一个简单的Excel程序来完成。在评估过程中我们已经意识到，要使得评估工作取得成功，首先要想办法使得评估过程本身不过于繁琐，尽量减少对教师额外增加的负担，因此评估方法要尽量的直接、简单。

在传统的评分系统中，教师只要给出一名学生的总成绩即可。而在本文所提出的评估方法中，教师必须对各项评分对于特定课程目标的培养效果的分值进行额外的计算。一旦每一门课程的学习效果数值提交到系里，系里的专业评估委员会就能够用表3所示的“专业培养目标与课程目标的关系”的方法[7]计算出每一项专业培养效果的达成程度，并做出评价比较。

表3 专业目标-课程目标映射表

这种新的评估方法使我们可以详细分析哪一项专业培养效果、甚至哪一门课程需要进一步的提高，这就提高了分析结果的可用性。

我们按照“以学生学习效果度量课程目标达成度”-“以各课程目标达成度度量专业培养目标达成度”-“以专业培养目标达成度评估专业培养质量”的数据关系，设计并实现了一个课程质量评估系统[8-14]。

3 结论

根据国际工程教育评估组织ABET将评价重点放在学生“学到了什么”的精神，本文提出了依据学生在各种场合表现出的实际能力来评价一门课程的教学质量的“以目标为导向”的方法，并实现了课程评价信息系统。该方法的评价逻辑是：从学生学到的能力评价课程目标达成度，从课程目标达成度评价专业培养水平。该方法的优点是，不需要增加额外的测试，即可以定量评价课程质量，并促使教师主动改善课程设计。

通过上面的评估过程可以看出，本文所提出的评估方法要做到可行、可信，必要前提是课程评分过程的客观、公正。教师必须紧紧围绕课程学习效果来制定评分方法，必须有能够有效评价学生学习表现的评分标准。为了使本文所提出的基于课程评分的直接评估结果更为可靠，教师们必须对于培养目标的达成承担更多的责任，并紧紧围绕专业培养效果来制定、执行其对课程学习效果的测量。也许完全按照分数的权重分配来设计作业或问题会有一定困难，但这不是关键因素，只要选定的测量手段能够相对合理地反映出与权重分配的一致性。要求教师在制定测量手段的时候更加的积极、主动，承担起更多的专业培养效果评估的重任，这会有效推动教与学的提高，从而提升整个专业的培养效果。

[1]李雁冰.课程评价论.上海：上海教育出版社[M].2002:47-65.

[2]顾佩华，沈民奋，陆小华译.重新认识工程教育-国际CDIO 培养模式与方法[M].北京：高等教育出版社，2009:5-40.

[3]代林利.大学内部学术质量保障体系的系统建构(以悉尼大学为例)[J].比较教育研究，2006(3):32-35.

[4]陈加荣,葛锁网.高校内部教育质量保障体系构建的研究[D].扬州：扬州大学硕士论文，2005:38-43.

[5]张伟.基于ABET的高校教学质量体系构建及教师教学质量评估[J].辽宁大学学报，2008,35(4):370-376.

[6]张伟,巫家敏.应用型大学内部教学质量保障之组织体系的探索与实践[J].辽宁大学学报，2009，36(1):89-96.

[7]张伟,王丽云.CDIO教学改革中的教学质量评估系统[J].辽宁大学学报，2013，40(3):213-219.

[8]教指委编，高等学校计算机科学与技术专业发展战略研究报告及专业规范(试行)[M].北京：高等教育出版社，2006:19-331.

[9]刘乃嘉，刘启新,蒋东兴.高等学校知识管理系统模型[J].工业技术经济，2005,24(1):105-106.

[10]陈华光.知识管理系统的设计与实现[J].科技资讯，2006,6(17):132.

[11]周晓庆.知识管理系统和CIMS系统的构建与设计[J].计算机应用，2005,25(9):2054-2056.

[12]陆晶，赛英.基于C/S体系结构的数据挖掘平台的设计[J].计算机工程与设计，2005,26(3):598-600.

[13]Greg Buczek.即时应用 SQL Server 2000[M].北京：人民邮电出版社,2001:1-12.

[14]郑莉，张瑞丰.C++案例教程[M].北京：清华大学出版社，2005,32(12):601-700.

(责任编辑：刘划 英文审校：刘敬钰)

Anoutcome-orientedcoursequalityevaluationmethodanditssystemimplementation

ZHANG Wei1,LIU Yu-hui2

(1.College of Information Sci.and Eng.,Northeastern University,Shenyang 110819,China; 2.Research Academy,Northeastern University,Shenyang 110819,China)

In accordance with the change of ABET Engineering Criteria 2000(ABET EC2000),which emphasizes what knowledge and skill a student really learns from a course,an outcome-oriented course quality evaluation method is proposed and an evaluation system is implemented in this paper.By integrating the grades of students′ performances in various occasions of a course such as project practices or medterm exams,the outcomes of the course(i.e.,the course quality)is numerically measured in this evaluation method.Not only the course quality evaluation result can be used to effect continuous improvement of the course but also to estimate the extent to which the program educational objectives are being met.

course quality evaluation;ABET engineering criteria;program quality management and evaluation

2014-07-12

东北大学“985工程”(项目编号：26311005)

张伟(1962-)，男，辽宁沈阳人，教授，主要研究方向：计算机理论，人工智能，E-mail：zhangwei@ise.neu.edu.cn。

2095-1248(2014)05-0061-06

G4，TP319

A

10.3969/j.issn.2095-1248.2014.05.012