基于多元回归方法的高职实训课程效能评价实证分析

吴志华?杨莹

摘 要 以5所高职院校样本为数据来源研究高职实训课程效能水平。采用多元回归技术，从课程教学因素和背景因素两个角度出发研究实训课程对高职学生实践能力发展的影响。结果表明：在课程教学层面，实训课程物力条件对课程效能影响最大；在学生背景层面，学生高考入学成绩与学生职业能力发展无显著相关性。此外，在提高学生职业能力进步幅度方面，不同学校间相同专业存在明显差异；增值评价结果与一般测评结果存在较大差异。

关键词 效能评价；高职院校；实训课程；多元回归

中图分类号 G712 文献标识码 A 文章编号 1008-3219（2015）08-0056-05

近些年，高职院校越来越重视实训课程建设，重要举措之一就是加大实训课程资金投入。但这种投入能否取得预期效果，需要科学的评价。以效能评价对课程进行评估是一种较为科学、有效的评价方法。课程效能评价是指在一定投入条件下，课程对学生产生影响程度的价值判断[1]。与传统课程评价不同，这种评价不仅考虑课程的“产出”，还要计算课程的投入量和其他影响因素，以使评价更加客观、科学、公正。效能评价在教育领域的应用正逐渐受到关注，已有学者做了这方面的尝试性研究[2]，但把效能评价应用到课程评价的研究还鲜有涉及。本研究以“净影响”理论为框架，运用多元回归技术建立高职实训课程效能评价模型，旨在为高职院校专业实训课程提供科学的评估方法和检测实践样本。

一、课程效能评价的理论基础及相关问题

课程效能评价的理论基础就是“净影响”思想，其源于科尔曼（1966）的研究结论，学校课程对学生学业成绩影响是有限的[3]。这种思想认为，学生的发展是受多方面因素影响的，除课程教学因素外，还有学校环境因素和家庭经济状况、父母的学识水平等因素。这种思想下的评价与一般的课程评价分析模型不同，属于教育生产函数模型。“净影响”评价就是将课程对学生发展的影响从这些诸多因素中分解出来，进而测量出单一课程实施对学生的进步影响[4]，也就是获得的“纯”课程影响。以此试图发现不同学校同一课程或同一学校不同课程的学生是否比其他学校或课程获得相对较大的发展。

在教育研究领域，尤其是在学生的心理和行为表现研究中，由于受个体差异、各种潜在心理变量、环境变量和测量方法等因素的影响，探索行为变量与心理变量、环境变量或其他刺激变量之间的函数关系显得十分复杂。课程效能评估就归为这一复杂函数关系中，其需要满足一个必要条件：将学生个体发展变化与特定的课程或学校联系在一起。这将涉及统计函数模式有效性问题。比如学生的发展是受多个因素的影响，这些因素的影响是交互的，可能会互相促进，也可能相互干扰。

但这些变量之间却可能存在类似于某种函数关系的主要关系趋势。如果用这种函数关系式或函数曲线近似地描述和表示这种主要关系趋势，就可以近似地解释诸多变量之间的因果关系，这种方法就是统计学中的“回归分析”方法[5]。实训课程效能评价模型就是通过回归分析法建立回归方程，找出多种课程影响因素对学生职业能力发展的影响度和影响趋势，以课程产出——学生职业能力发展为因变量，实训课程教学和背景因素为自变量，建立自变量对学生能力发展影响的回归曲线，即课程效能的“回归模型”。课程效能值应当是学生职业能力实际测量值与考虑课程投入和有效因素后的期望值之差的估计值，即回归分析中的残差。

二、研究数据和方法

在辽宁、黑龙江采用分层抽样方式，抽取5所高职院校。其中，国家示范性高职院校2所，企业创办的高职院校3所。从中选取共有度大的8个专业：汽车检测与维修专业、数控设备应用与维修、机械设计制造、模具设计与制造、烹饪工艺与营养、交通运输、生物技术及应用和计算机设计，每个专业选取两门实训课，共16门实训课程为评测样本。对参与16门课程的学生、教师随机抽样，共选取接受完实训课程的大三学生1228人和实训教师78人。

（一）信息收集及方法

评测实训课程表现的“效能”时，需要收集学生职业能力发展水平和影响因素信息两大部分资料。在参考“美国职业能力标准”和实地调查基础上，经T检验和因子分析，构建了高职院校实训课程效能评价指标体系，包括两部分：课程效能影响指标（26项）和学生职业能力发展指标（14项）[6]。

1.学生职业能力发展水平

关于职业能力的含义，学者给出明确的解释“能明确区分在特定工作岗位和组织环境中杰出绩效水平和一般绩效水平的个人特征”[7]，根据这一含义和参考我国职业能力标准，我们确立了学生职业能力的基本领域范畴。经T检验得出学生职业能力发展评价指标，分为能力习得、能力操作、能力物化三个维度共14项指标。操作能力维通过“中级技师资格鉴定”对学生现场操作情况进行打分；能力习得维各指标不能现场打分，将通过访谈由任课教师依据平时上课记录打分；能力物化维通过学校教务部门协助收集真实数据。每项指标评判分值从低到高依次为1至5分。共观察、记录有效学生人数1081人。

2.课程效能影响因素

包含影响课程质量的学校可控因素和不可控因素，即课程教学因素和背景因素。在效能评价时，课程教学可以作为学生能力发展状况的对照信息，以解释造成课程效能高低的潜在因素；背景因素会对学生进步有影响，可以将其作为统计分析上的控制变量[8]。

3.背景情况

包括学生入学成绩和学校课程背景、学生家庭背景等共10项指标。课程背景包括学校性质（公办和民办）、课程开设年限、声誉、学校地位以及政府支持度。入学成绩指标（2个）通过学校记录查阅并做标准化处理，家庭状况（3个）和课程背景（5个）数据来源主要通过材料收集、调查表打分。回收有效打分表1244份（1093份来自学生，151份来自教师）。

4.课程教学因素

包括5个二级维度（师资水平、资金投入、管理性因素、教学方法、学生学习主观性）、16项指标。其中，学习主观性是指学生对实训课程学习的态度和愿望。学习主观性信息在参考Schwarzer，R编制的《一般自我效能感量表》基础上[9]，通过自编问卷获取。为避免由于文字理解而造成的偏差，实施过程采用现场填答的形式，共发放问卷1208份，无效问卷14份。其他信息获取采用材料收集、现场观察、调查表打分以及访谈法。

（二）数据处理及模型构建

考虑到自变量指标过多不易分析，会影响结果的准确性以及可操作性，本研究将先做两个模型进行分析。模型一：课程教学因素对学生职业能力发展影响的校正模型；模型二：背景因素对学生职业能力发展影响的校正模型。通过对这两个模型的分析，最后建立模型三：高职院校实训课程效能评价模型。

模型一——课程教学因素对学生职业能力发展的影响。多元回归数学模型为：Y=a1+β1x1+β2x2 +β3x3+β4x4+β5x5。β是偏回归系数，表示其他自变量不变时，某一自变量变化所引起因变量变化的比率；Y为因变量，指学生职业能力发展；x为自变量，是课程教学因素，x1-x5分别代表物力因素、管理性因素、学生主观性因素、师资因素、教学及考核因素。

模型二—— 背景因素对学生职业能力发展的影响。多元回归数学模型为：Y=a2+β6x6+β7x7+β8x8。Y为因变量，指学生职业能力发展；x为自变量，x6-x8分别代表专业课程背景、学生家庭背景和学生入学成绩。

模型三—— 高职院校实训课程效能评价模型。多元回归数学模型为：Y=a+b1X1+b2X2 。Y因变量，代表学生能力发展；X为自变量，X1、X2分别代表课程教学因素和课程背景因素。

数据统计均采用SPSS10.0软件进行操作。

三、结果及分析

（一）课程教学因素与课程背景因素对学生职业能力发展有显著影响

从模型三中各变量的标准化回归系数来看，课程教学因素为0.577，背景因素为0.363，且影响度均达极显著水平（P<0.01）。说明课程教学因素、背景因素对职业能力发展有主要影响，课程教学对学生能力发展影响更大。

课程教学因素中有四个因素，即物力因素、师资水平、教学因素、学生主观性对学生能力发展有较大影响（F值显著水平P<0.01）。其矫正回归系数分别为0.534、0.496、0.388、0.294。说明物力因素影响最大，其包括实训设备、工具、实训场地、实训材料，是实现职业活动正常实施的基本物质保障。学生主观性（自我发展意识、学习态度、努力程度）是影响能力发展的又一个重要因素。调查发现，学生缺乏自我发展意识或无主动性的参加实训课很容易造成消极、任务式的学习。著名学者McClel.land（1973）认为，社会角色、特质和动机、情感因素，对人的行为与表现起着更为关键性的作用[10]。国外许多职业院校提出了用于弥合这个断点和促进习得者对实践主动性提升的战略。一些研究人员也开展了实践活动干预课程和教学研究，以及为习得者提供更广泛的接触职业背景实习和进行有兴趣的学习机会[11]。这种以实践基地和以激发学生实训激情为基础的实用性学习情境，可以被视为与学生职业能力发展的积累和经验息息相关。

背景因素中，从逐步回归的结果看，只有学校课程背景进入了回归方程，影响度达极显著水平（P<0.05），其β值为0.856。说明在学生实训能力发展中影响明显的是学校课程背景因素。这些因素对专业课程质量的影响主要体现在课程人力、物力的积淀和经验的积累上。本研究中，学生家庭背景和学生入学成绩变量没有进入回归方程，说明学生学习成绩和家庭背景对于学生实训能力发展影响不大。这与以往学生学业评价影响因素的研究有很大差异。如A W. ASTIN的研究显示，高校学生入学成绩与其在校的学习进步有很大关系[12]。再如Thomas.s研究认为，学生的家庭社会经济地位、性别、种族、所使用的母语和流动性等，对其学习进步有显著影响[13]。这说明，职业能力发展与学生学业进步不同，后者多依赖于外在的支持和环境的浸染，而前者更多的是依靠自身的动力和专业性活动的参与，与外在背景因素关系不大。这与访谈和现场观察相吻合，访谈的79名教师中，有77人认为学生入学成绩与职业能力发展无关，62人认为家庭背景对学生能力进步影响不大。

（二）效能评价与学生能力水平评价结果有很大差异

以5所高职院校均开设的汽车检测与维修专业实训课程为例，进行效能评价。把5所学校汽车检测与维修专业影响因素数据分别输入模型三，求出每所学校职业能力发展指标应然得分Y′，然后单独计算每所学校的实际值Y，见表1。

结果显示，课程效能评价结果与以学生能力发展结果评价存在很大差异。以学生能力水平绝对值结果进行的学校排序，从高到低依次为G2、G1、S1、S2、S3，而排除投入等影响因素的课程“净影响”，排序从高到低分别为G2、S1、G1、S2、S3。从中可以看出，S1上升幅度最大，增值0.26，从最后上升到第二位；而G1增值为-0.19，从第二位下降至第三位，实际值Y小于应然值Y′，效能为负数。调查显示，物力上，国家示范性高职院校获得的资金投入远远高于企业创办的高职院校，这也说明G1课程还有上升的空间。课程效能增高或降低的原因还需要进一步探寻，以便切实提高实训课程效能。

（三）同一所学校不同专业实训课程效能存在较大差异

鉴于各高职院校专业、课程及内容设置差异较大，不宜对各院校所有实训课程效能进行评价，本研究仅以黑龙江的一所高等职业院校S1校为例，对其8个不同专业实训课程效能进行评价。把8个专业影响因素数据分别输入模型三Y=0.899+0.723X1+0.477X2，求出每个专业实训课程学生职业能力发展应然得分Y′，然后单独计算每个专业的实际值Y，见表2。

结果显示，在S1校的8个专业中，有5个专业的能力发展实际值Y大于应然值Y′，表明课程效能都较高。有2个专业的能力发展实际值Y小于应然值Y′。在8个专业中，汽车检测与维修技术专业的值最大，增值幅度达0.65，而模具设计与制造专业课程效能最低，为-0.32。

四、思考及后续研究

（一）课程效能评价将促进高职学校均衡发展

传统的仅以学生学习结果为评价指标不利于高职学校的健康发展，对企业办学校更加不公平。本次调查发现，课程背景因素变化一个单位会影响学生学习结果变化0.477个单位。说明课程效能差距不是完全由课程教学控制的，也有课程背景因素的影响，这些因素包括课程开设年限、学校地位以及政府支持度等。如果对学校课程的评价仅考虑“结果”不考虑“课程背景”差距，对大部分高职尤其是对民企办的学校是不公平的。这种过于简单化的评估手段容易导致高职过于关注课程外在的物质投入和政策倾斜，使得高职学校差距越来越大。实行课程效能评价将有效引导学校从重投入、重硬件建设转到重过程、重教学管理，有助于学校提高效能，避免浪费、不计成本的盲目投入行为，特别是对于那些缺乏政府支持、基础条件较差而仍然投入了大量工作的高职学校，效能评价利于激发民企办高职的热情，促进高职有序、均衡发展，实现效益最大化。

（二）建立效能评价指标，补充和完善现有学校评估指标体系

效能评估是对现有评价指标体系的补充和深化。一个真正高质量的学校课程在传统评价和效能评价中都是最好的，如G2；反之，一个低水平的学校课程在两种评价中也仍然是较差的，如S3。当前高职学校课程评估指标体系存在指标单一化，只关注结果不考虑过程，只关注书面成绩忽视操作过程和实践成绩的问题。效能评价包含指标多样化，即包含课程的“产出”，也包含课程的“投入”，还包含课程外的影响因素。但由于效能评估需要的数据极其繁杂，数据处理要求也很高，需要专业团队参与，因此用这一评价方法完全代替传统方法也不现实。但这一方法可以作为一种补充，进一步完善现有课程评估体系。目前，效能评价在美国越来越受到政策制定者的青睐并引起了一些学者的支持，政府已要求增加效能生长模型的适当年度进步评估计划的实施[14]。

（三）以增值评价为导向，促进学校特色发展

效能评价不仅是对学校整体课程的评价，还可以评价学校内部不同课程、不同人群的效能。如本研究分析结果也显示，部分学校在不同课程上有较高的效能，如有的学校可能整体效能不高，但可能某一课程有较好的效能，这将利于引导高职向多元化发展。

由于课程效能的评价研究极其复杂，加之调查环境所限，本研究还需要进一步充实和完善。后续研究将关注三方面问题：一是扩大信息收集数量和质量。由于目前收集数据机制不完善，从多个地区进行较大范围的区域性高职实训课程效能评价信息收集条件尚不完全成熟，所以数据精确性有限，下一步将扩大研究范围和探讨获取数据可靠性的方法。二是对高职院校课程评价将分类或分级进行，如按照示范性高职院校与非示范性高职院校建立不同的评价模型。三是课程效能评价信息数据的稳定性。需要进行3年以上长期跟踪才能得出更为合理、真实的结论。

参 考 文 献

[1]弗兰西斯科·索夫，杨燕燕.课程效能评价—以“教育效能与教育评价”为例[J].外国教育研究，2005（5）：57-60.

[2]汤林春，梁玲玲. 学校效能评价的尝试[J]. 上海教育科研，2005（4）：24-26.

[3]Coleman，J.S，ECampbell，C Hobson McPart-land，AMood，F.Weinfeld，and R.York.Equality of Educational Opportunity[Z].1966.

[4]Llaap scheereus，Gees Glas and Sally M.Thomas.Educational Evaluation， Assessment，and Monitioring， a Systemic Approach[M]. Swets & zeitlinger publishers， 2003.

[5]张厚粲，徐建平.现代心理与教育统计学[M].北京：北京师范大学出版社，2009.

[6]杨洋，吴志华. 高职院校实训课程效能评估指标的构建[J].中国高等教育评估，2011（1）：42-45.

[7][10]McClelland D.C.Testing for Competence rather than Intelligence[J].American Psychologist，1973（ 28） .

[8]萨丽·托马斯，彭文蓉. 运用“增值”评量指标评估学校表现[J].教育研究，2005（9）：20-27.

[9]Schwarzer，R， Mueller J， Greenglass E.Assessment of General Perceived Self-efficacy on Theinternet：Data Collection in Cyberspace[J].Anxiety， Stress and Copying，1999（3）：145-161.

[11]Bouillion， L. M.， & Gomez， L. M. Connecting School and Community with Science Learning：Real World Problems and School-community Partnerships as Contextual Scaffolds[J]. Journal of Research in Science Teaching， 2001（8）， 878.898.

[12]Alexander W. Astin.Assessment for Excellence： The Philosophy and Practice of Assessment and Evaluation in Higher Education[M]. Second Edition. Rowman & Littlefield Publishers， 2012：42-45.

[13]Thomas.s.Dimensions of Secondary School Effectiveness： Comparative Analysis Across Regions.School Effectiveness and School Improvement，2001（3）：295-296.

[14]Finbarr C. Sloane ， Jennifer Oloff-Lewis， Seong Hee Kim Value-added Models of Teacher and School Effectiveness in Ireland： Wise or Otherwise？[J]. Irish Educational Studies，2003（32）：1， 37-67.