虚拟示波器实验教学自动评分系统的设计
2013-07-05石竹玉
石竹玉,朱 俊
(武汉大学 物理科学与技术学院,湖北 武汉430072)
0 引言
随着高校实验学生数目的增加和远程教育的发展,如何利用计算机代替人工准确迅速地测评学生的知识水平和实验操作技能日益成为研究热点[1]。早期自动评分系统主要针对已有标准答案的客观题型进行评分,例如,文献[2]给出的操作题评分系统,就是通过自动评分系统取出数据库标准答案表中每题操作对象各项属性的值与学生操作文档中相应对象属性的值进行比较从而完成评分过程。随着研究的深入,也出现了主观操作题的评分系统,文献[3]中给出的基于程序理解的编程题自动评分方法,将学生编写的程序标准化之后,再根据其系统依赖图,完成与标准答案的匹配,从而产生其评分。
然而,当我们需要对学生操作仪器进行测评时,现有的评分系统不能满足我们的需求,这是由于常规仪器,如示波器等缺乏对操作过程的记录。因而我们需要引入虚拟仪器,这样才可以把学生的实验操作全过程转化为数据流记录下来,作为评分的基础。教师在人工评阅过程中,会根据经验通过观察学生操作的部分动作,给出实验操作评分。而基于虚拟示波器实验教学的测评,则运用LabVIEW 软件,结合人工评判的思维过程未进行。本文设计一种虚拟示波器实验教学的自动评分系统,以期寻找一种能自动表述与测评实验中的示波器操作过程,使实验操作过程的计算机评分可以部分地取代人工评阅过程。
1 自动评分系统的模型构建
为了建立较为合理的评分标准,我们以布卢姆教育目标分类学为理论基础,将示波器实验教学目标细分,并结合人工评价的思维过程,探讨在示波器教学过程中所涉及的知识点与相应的学生认知水平的关系,从每一个亚过程的评分细则,来逐一完成整个实验操作的评分,形成我们的评分模型。
1.1 布卢姆教育目标分类学
布卢姆教育目标分类理论以知识维度为纵轴、认知过程维度为横轴,构成了一个二维24 格的分类表[4]。其中,知识维度分为事实性知识、概念性知识、程序性知识和反省认知性知识。认知过程维度分为记忆、理解、运用、分析、评价和创造。将布卢姆理论应用于示波器实验教学中,我们需要把学生所要掌握的知识水平程度定义为教学目标,通过细分知识点及与此知识点对应的认知程度,制定出测评标准。也就是说,我们可以将知识点分为四类,并对每一类中所涉及的难度进行六个层次的量化。如果只做到了记忆、理解与运用,则被认为是低层次思维方式;如果能做到分析、评价和创造才能被称为达到了高层次的思维方式。
1.2 事实性知识
知识维度中的事实性知识就是学生通晓一门学科或解决其中的问题所必须知道的基本要素。在示波器实验中,学生首先需要了解幅度、频率、周期、触发和同步等最基本术语,做到记忆、理解与运用等低层次思维方式;比较深入的学习还需要知道相位、触发源、触发选择与触发极性等术语,做到对结果进行分析时用到这些术语;要达到高层次的思维方式还需进一步知道亮度、聚焦、波形线宽、输入方式选择等相关术语,做到能准确描述测量过程,必要时可创造特定的术语来解释实验结果。
1.3 概念性知识
知识维度中的概念性知识就是在较大结构中表述其基本成分之间的关系。我们以正弦信号周期为例,最基本的要求是知道周期是正弦信号幅度的重复时间,周期与频率互为倒数。比较深入的学习应该知道不同起始点(及终点)对周期测量的影响,可以用不确定度来分析与评价所测量周期的过程;更深入的学习应该做到从模型的高度去理解周期,对任何实际信号而言,周期是一个理想化的结果,它不仅有测量仪器本身所致的误差、信号中噪声所致的误差,还有模型误差。
1.4 程序性知识
知识维度中的程序性知识就是研究方法和运用技能、算法、技术和方法的标准。我们还以测量正弦信号的周期为例,在示波器实验中,学生应首先做到操作规范,即读数时应做到波形稳定,扫描微调置于校准状态等;高层次的学习要知道如何测量才能使其结果误差最小,比如正弦波的幅值要适中,取正弦波中部作为其测量周期的起始点与终点,被测周期应尽量处于示波器的中部等;同时还应知道输入的信号大小会对测量结果产生影响等;除此之外还知道用李萨如图形等一些其它方法间接测量周期。
1.5 反省认知性知识
知识维度中的反省认知性知识就是一般认知和有关自己的认知意识。反省认知性知识能够增强学生的能力,是学会如何学习的重要基础。具体表现为学生的操作过程有目的性,有关键性动作。
我们仍以掌握使用示波器测量正弦信号的周期为例,对学生的基本要求是学生需要能理解实验步骤,能处理一些简单的问题,得到正确的测量结果;进一步的学习需要理解实验目的,充分利用实验条件来提高实验精度,知道如何科学并完整地表述实验结果,特别是在增加特定的步骤来增强实验结果的可信度时,若遇到困难,则能将该困难迅速定位,知道在何处可以得到帮助,并提出解决问题的方法。
1.6 人工评分思维
本文设计的自动评分系统旨在取代实验教学中的人工评价,所以以布卢姆分类学为理论依据的同时,结合人工评分的思维也是必不可少的。
在示波器的使用实验中,传统的评价是分为两部分的,一部分是来自学生所写的实验报告,数据是否准确;另一部分是学生的实验操作分,教师对学生操作评价主要基于以下五点:①规范性;②熟练程度;③动作相关性;④目的性;⑤合理性,即旋钮调动有先后顺序、有效且合理。
1.7 评价模型中的模块划分
作为实验指导教师在考查学生实验过程时,我们应当:①看学生的实验结果(事实性知识)是否合理;②看学生的评述(概念性知识)是否合理;③看实验过程(程序性知识)是否合理;④看学生所写的总结(反省认知性知识)是否合理,并结合教师的主观感受,综合起来给学生一个比较客观的实验分数。
基于以上所述实验检查过程,该自动评分系统评分过程具体分为以下四个模块:①事实性知识和概念性知识评分(基本分数);②程序性知识评分(操作不规范扣分);③反省认知性知识的评分(创新操作的加分);④加权求和统计处理模块。
该系统是从分类学的角度出发,对虚拟示波器自动评分系统进行模块划分,不同的模块代表不同知识的评述。这样的模块化处理,一方面降低了编程的复杂度,便于程序的测评,另一方面也容易将此程序推广到其它实验之中。
2 评分标准的实现
本文评分系统的主要设计思想是关键数据匹配[5]。利用计算机记录下学生实验中的测量结果的同时,也记录下学生实验操作全过程所产生的数据流。这样,测量过程中的操作就可以用过程中产生的数据流来表征。根据人工评分经验中所要注意的规范动作,以及具有研究特质的共性动作作为参照模型,我们将学生操作的数据流与表征关键动作数据流进行匹配[6],我们按照匹配程度的不同给出评分,前三个模块伴随实验过程同步进行,实验结束后通过模块四加权求和给出最后的总成绩。其流程可见图1。
图1 评分系统流程图
2.1 事实和概念性知识评分
对学生实验成绩的评价,部分由评分系统的模块一来实现。我们将学生在实验中测得的数据与由系统产生的标准数据进行对比,按匹配程度差距大小来进行评分[7]。
在程序设计中,由于多次涉及到数据读取的同步性问题,就需要准确得到学生读取数据时其示波器的状态。程序的具体实现是利用一个移位寄存器和一个比较函数比较前后的数据所实现的。当输入数据发生变化时(即学生输入数据的时刻)可以得到一个结果信号,利用此信号作为继电器的控制信号,从而能得到此时的示波器相关数据。
例如,在学生输入“信号幅度”数据时,此模块使信号输入至“幅值频率测量函数”,即系统获得在输入时刻的实际电压幅值,将学生输入与系统生成的这两值相减形成差值,此差值的绝对值大小即表征了实验测得数据的准确度,并以此作为不同等级的评分标准。然后利用条件结构嵌套完成了60 分以下,60 至70 分,70 至80 分,80 至90 分,90 至100分五个分数段的评分。
2.2 程序性知识评分
模块二对该部分学习成果的评判是根据学生在实验中测量时的操作是否规范来评分的。在该模块中,首先设置了一些规范模型,并将这种规范模型的操作量化为数据,再将学生的实际操作产生的数据流和规范模型进行比较,如果有差距则进行扣分,过程中不规范动作越多扣分越多。根据人工评分的经验,具体给出以下几种标准规范操作的模型:
(1)在学生输入数据的时刻记录下来每个操作旋钮的状态是否符合读数时要求的标准状态,若有一个不规范的操作就记录一个1。例如,在读取波形周期时扫描微调应该处于校准状态,该过程由图2所示的程序框图来完成此功能。
图2 按键状态标准的评分程序
(2)要求读周期等时波形必须是稳定的,即每一帧相同的X 序列值对应的Y 轴幅值应该相同。如果将每一帧的各个相同的X 值对应的Y 值都进行比较,其运算量会很大,且存在量化误差,所以本程序采取提取数组控件提取数据的一列,即只取一个X 值,例如记录X =1 时各帧对应的一系列Y 值,利用一个移位寄存器和一个比较函数逐一比较这一系列Y 值是否相等。具体过程由图3所示的程序框图来完成判断波形稳定功能。考虑到人眼观察时的视觉误差等主观因素,经过大量实验,并参考相关文献[7],我们认为设置容忍度为波形的1%较为合理。如果在容忍度之外就记录一个1。
图3 判断波形稳定的评分程序
(3)在使用示波器读取波形周期的时候,正弦波的幅值应该适中,取正弦波中部作为其测量周期的起始点与终点,也就是说被测周期应尽量处于示波器的中部,应该使波形中心线与网格的零线重合读取交点之间的距离,而不是读取两个波峰(或波谷)上的点之间的距离。该模型的具体量化是采用“数组提取控件”提取最大值和最小值,对比最大值与最小值的绝对值,在容忍度内相同则说明满足条件。如果在容忍度之外就说明存在一个不规范操作,就记录一个1。该过程由图4所示程序框图来实现其读数位置的判定。
图4 读数时波形位置选取的评分程序
2.3 反省认知性知识评分
在目前,大多数自动评分系统是通过搜索关键词(静态数据)进行匹配来实现评分的,本文模块三的设计以此为基础进行发展,采取搜索关键动作(动态数据)匹配法:先根据人工评价的经验给出具有高层次学习效果的共性操作,并将这些创新实验动作量化为数据,再将学生实验操作时产生的数据流与设定的关键动作量化后的数据进行比较,按照匹配程度来进行评分。这个模块的加入使该评分系统更加客观和完备,满足实验教学中的评分需求。具体有以下四种。
(1)技巧性—在测量读数之前,相关旋钮的调节应具有先粗调后细调的动作,有一个这样的动作就加1 分。我们知道,如果我们不断地调节一个旋钮,这个动作量化为数据流后就是一个振荡波形。显然,先粗调后细调的动作所对应振荡波形的峰峰值越来越小。我们通过一个移位寄存器和一个比较函数来判断其调节过程是使旋钮值增大还是使旋钮值减小,+1 表示调大过程,-1 则为调小过程,再将这±1 通过另一个移位寄存器和比较函数,此时就产生了数据波形的峰值,进而就得到了峰峰值。若该峰峰值变小,则说明有先粗调后细调的动作。具体过程的程序框图如图5所示。在图5中,我们引入了时间延迟,其目的在于提高判断的准确性。
该波形若为一纯衰减波形,即该旋钮一次调节到位,我们也将其加1 分。具体过程类似上述判断。
图5 技巧性评分的程序框图
(2)相关性—有意识的将几个相关联的物理量旋钮协同调动,规律而反复的操作以便发现相关物理量之间的关系。例如在研究触发电平与信号幅度之间的关系时,需要将Y 轴衰减与触发电平交替调节。通过提取所有旋钮动与不动来形成一个操作相关数据流,该数据流的特点为旋钮标号呈交替出现。通过两个移位寄存器的二次移位,则能判断出是否存在两个旋钮之间的协同调节,具体判定过程的相关性的评分程序框图如图6所示。如果结果输出为逻辑1 即证明有一个这样的反复调节动作。
图6 相关性的评分程序
(3)目的性—在研究波形稳定与触发电平之间的关系中,如果有不断地调节触发电平,就能观察到波形稳定与不稳定之间变化。有连续几个这样的动作与相应的结果,则认为学生的实验操作是具有目的性的。具体实现是利用移位寄存器和比较函数同时监测触发电平旋钮与波形稳定的数据情况,将两者通过“与逻辑”的两个输入端,若输出1 则说明通过调节触发旋钮以后波形由不稳定变稳定(或反之)。图7表明了波形稳定与触发电平调节过程中的时序逻辑关系,定义对于波形逻辑1 表示稳定,触发电平有调动时为逻辑1。当与逻辑输出连续三个1 时说明有连续三次反复这样的动作组合,我们则认为这样的操作具有目的性,这时使用写入函数记录一个1。具体的目的性动作评分程序框图如图8所示。
图7 波形稳定与触发电平调节的时序逻辑
图8 目的性动作的评分程序
(4)熟练程度—实验操作是一个熟能生巧的学习过程,动手能力较强操作熟练的学生通常可以体现出操作较快的共性。例如较快获得稳定的波形。图9为对学生操作熟练程度的评分程序。图示程序的具体实现是利用时间计数器读取所用时间,控制计时停止的功能是利用一个while 循环结构,和波形稳定时产生的信号来实现的。我们根据人工教学的经验设定一个时间,如果学生所用时间比这个短,我们就加1 分。
图9 熟练程度的评分程序
2.4 总分统计
模块四中的总分处理程序框图,如图10 所示。首先读取前三个模块所生成的文件,将模块三里面的所有加分采用“数组求和控件”将和求出来,模块二也采用此方法求出,因为是扣分,还要加一个取反函数将其取为负数,最后利用一个加法函数控件,将前三个模块的分数统计求和,得到最后的总分并通过写入函数记录下来,其中默认各项得分的权重为1,这样评分过程就完成了。
图10 模块四中的总分处理程序
3 结语
本文设计的自动评分系统基于我们实验室的虚拟示波器实验教学,以期解决传统实验模式下动态操作评分不可计算机化的困难。
我们在做电子线路实验的学生中按照实验操作水平能力分梯度的选取了15 名,按照实验讲义进行测试,其结果表明最好成绩得分为110 点,最差成绩为70 点,平均成绩为94 点,区分度比较明显,能反映学生的实验操作能力。该测试结果的评分积点略高于我们的预期值,这是由于部分学生刻意增加得分积点。另外,测试结果表明该系统大大增加了教师评分的客观依据性。
该系统是以布卢姆分类为基础,并引入了大量的人工评价标准,这使得在系统中需要完善大量的系统参数,如各操作过程中权重参数的选择(目前在程序中都选为1),这些还有待于进一步完善。另外,如何处理在操作过程中产生的大量的数据流还有待研究。
在布卢姆的分类理论中还对情感领域的教学目标进行了讨论,在人工评价过程中,教师对学生的动机、态度、习惯和兴趣等也非常在意,但在我们的评价体系中却几乎没有反映。本文设计的评分系统毕竟是一个理想化模型,仍存在一些不足,例如在判断学生操作熟练程度时做得快不一定就一定是掌握得最好的,因此该评价方法仍需进一步改进。
[1] 何克抗,许骏. 计算机辅助测评(CAA)研究新进展—技能性非客观题的自动测评[J],上海:开放教育研究,2005,11(2):78-83
[2] 宗德才. 操作题自动评分系统的设计与实现[J]. 北京:计算机工程与设计,2010,31 (5):1156-1160.
[3] 马培军,王甜甜,苏小红. 基于程序理解的编程题自动评分方法[J]. 北京:计算机研究与发展. 2009,46(7):1136-1142.
[4] L.W.安德森等编著,皮连生主译. 学习、教学和评估的分类学-布卢姆教育目标分类学修订版(简缩本)[M]. 上海:华东师范大学出版社,2008:25-28.
[5] 郭扉扉,尹文生. 改进型单向贴近度主观题自动评分算法的研究[J].长沙:计算机工程与科学.2011,33(7):172-177
[6] Chiou C K,Hwang G J,Tseng J C R. An auto-scoring mechanism for evaluating problem-solving ability in a web-based learning environment[J]. 德国:Computers and Education,2009,53(2):261-272.
[7] 张爱华,于忠党. 电路实验结果的机器评价研究[J],北京:实验技术与管理,2010,27(3):46-49