本科生毕业论文指导工作评价量表设计
2014-01-31李兴国左振华
李兴国,左振华
(江西科技学院 管理学院,江西 南昌 330098)
指导学生毕业论文工作是各专业人才培养教育过程中一个重要教学环节,是学生达到学业水平的一个不可或缺的标志。其工作效能直接影响人才培养的质量水平,以学生视角,依据评价量表从多个方面来综合评价,可较客观的从总体上反映专业教师指导学生毕业论文的工作质量与水平。
一、毕业论文工作评价量表构建
以江西某学院为例,通过设计《教师指导本科生毕业论文工作量表》,并验证其有效性,以实际测量途径,从多方面来对教师指导工作进行客观评价,研究教师指导本科生毕业论文工作质量情况,为学院教学规范管理与保证教学质量工作提供客观依据。
(一)量表设计情况
为从总体上了解本科生对教师毕业论文指导工作的状况,选择和确定影响教师指导工作评价的主要因素维度来测量,课题组成员首先通过查阅相关文献资料,并与学院部分教学管理者、指导教师进行了访谈,设计了教师指导毕业论文工作评价调查样表(简称:量表);然后通过发放调查表来征询部分教学管理者、教师意见,对调查表反复进行修订,形成了量表。该表为长式量表,分4大因素:指导资格、指导态度、指导方式、指导效果;每个因素下又细分为5个子因素,针对每个子因素实行量化数值:1-5,分别表示完全不满意、不满意、一般、基本满意、完全满意,逐一递增,对子因素实行单项选择。
(二)问卷调查
为检验量表测量的实效性,课题组选择了经管类专业毕业生进行了抽样问卷调查,随机发放问卷40份,有效问卷为34份。利用SSPS13.0软件进行了数据处理分析,以期验证量表的实效性,同时力图发现其存在的缺陷,并进行因子修正,不断完善量表设计中因子的解释度,直至量表总体具有一定的代表性。
二、问卷信度与效度分析
(一)信度分析
信度是指测量工具和测量结果之间的稳定性和一致性。信度包括内在信度和外在信度两类。内在信度指的是调查表中的一组问题是否测量的是同一个概念,即这些问题之间的内在一致性如何。内部一致性常用Cronbach's Alpha值来表示。Cronbach's Alpha的值一般介于0和1之间,越接近于1,说明信度越高,Cronbach's Alpha系数的值如果介于0.80-0.90之间则表示信度非常好,如果位于0.70-0.80之间则表示信度比较好,如果介于0.60-0.70之间表示信度可以接受,0.60以下表示信度不好。我们对问卷进行了信度分析,结果见表1、表2。数据越能显示出所测量指标的真正特征。通常用内容效度和结构效度两个指标来分析效度的高低。
表1 总体信度分析
1.内容效度分析。对本次研究而言,在内容效度上,由于在量表设计过程中,我们首先是通过参考国内外相关文献,然后经过对教师和学生进行访谈,并与相关专家共同商议后设计出初始量表,在一定程度上保证了量表包含了论文指导工作的各个方面,量表的题项也能够清楚地反映出所要测量的概念和内容。并且对初始量表进行了预测试和分析后,针对分析的结果对量表进行了修改,使量表确实符合了实际的要求,所以,总的来说本次研究中的量表是具有较好的内容效度。
2.结构效度分析。在结构效度检验方面,目前大多数研究采用因子分析对调查问卷的结构效度进行检验,通过因子分析来评价问卷内部因子与其反映的结构间的关系。在进行因子分析之前,要分析数据是否适合做因子分析,即检验KMO值。
衡量数据是否适合进行因子分析,KMO测度值必须大于或者等于0.7。同时还要进行Bartlett球体检验,Bartlett球体检验主要是分析各测量题项的相关矩阵是否是单位矩阵,其原假设为相关系数矩阵为单位矩阵。当Bartlett统计值的显著性概率小于等于0.001时,拒绝原假设,说明统计数据具有相关性,适宜做因子分析。为此,课题组对问卷总体指标进行因子分析,共提出5个因子,问卷总体KMO and Bartlett's值如表3。
表2 信度分析结果表
从表1数据的分析结果看,对20个子因子进行总体信度测量,该问卷总体信度非常好,Cronbach's Alpha系数达0.883。从表2数据的分析结果看,各个变量的Cronbach's Alpha系数在0.7-0.9之间,表明各变量信度比较好,问卷的内部信度一致性较高。说明本研究中的问卷量表测度是比较可靠的,问卷量表信度是符合分析要求的。
(二)效度分析
效度是指样本能在多大程度上反映了我们想要测量的指标的真实情况,效度越高,表示所收集到的
表3 问卷总体KMO and Bartlett's值检验
从表3数据的分析结果看,KMO值为0.516小于0.7,说明问卷整体做因子分析不适合,为了分析本问卷因子存在的问题,分别对每一个变量做KMO and Bartlett's值检验和因子分析,结果如表4。
在社会行为科学研究中,大多数学者都认为因子负荷量值大于0.4,该因子就可以被认为是有效的。每个变量的度量指标对研究变量总的解释程度都在60%以上,可以认为样本数据具有较好的信度与效度。从表4数据的分析结果看,各因子的Bartlett球形鉴定显著性为0,可以进行总体因子分析。从因子负荷量值看,20个子因子的负荷量值皆大于0.4,说明问卷中的20个子因子是有效的,能够满足因子的解释。从变量解释度看,三个因子:指导资格、指导方式和指导效果的被解释度在0.53-0.65之间,基本可以接受。从KMO值看,三个因子:指导资格、指导方式和指导效果的KMO值在0.7-0.83之间,信度比较好。
表4 变量的因子分析、KMO值检测结果
以上三个因子的变量所设计的题项都具有较好的信度与效度。但仍有一个因子——指导态度的KMO值偏低,仅有0.529,该因子分析不满足条件。同时该因子对应的变量解释程度也偏低,仅为0.49369,未过一半。表明该因子的题项不能代表解释因子,说明该变量的题项设计的不够合理,影响了样本数据的效度,需要修订该因子及其题项,改善因子分析条件和提高变量解释度。
三、结论
通过设计有效量表,采取问卷调查的形式,对收集的数据进行统计处理,来检验量表的信度与效度。研究发现,我们设计测量量表其信度是可以接受的,但是测量量表的效度不太理想。测量量表效度不理想的主要原因在于指导态度这一变量中题项设计的不合理。为了提高量表设计的可靠性、合理性与可测性,我们将主要从这一变量着手进行改进。
本量表设计虽然存在一定的缺陷,但未来我们将进行改进,以便满足学生评价要求,客观评价教师的指导工作,以期提高学院的教学管理水平,确保论文指导质量。
[1]张静.本科毕业设计(论文)问卷调查分析[J].西安建筑科技大学学报,2011(8).
[2]段蕊.教师在指导本科毕业论文过程中的作用[J].中国校外教育,2009(12).
[3]乔军,孟庆玲.提高本科毕业论文质量的几点思考[J].教育探索,2011(9).
[4]陈忠秀.浅谈如何发挥指导教师在本科毕业论文(设计)中的作用[J].淮南职业技术学院学报,2003(1).
[5]金素梅.提高本科毕业论文质量的管理途径探索[J].周口师范学院学报,2011(7).