学生职业能力测评实证研究

摘 要：学生的学业能力评价是研判全国技工院校一体化课程教学改革试点工作成效的重要契入点。通过对广州市工贸技师学院等学校试点班和非试点班学生的职业能力测评和自主学习能力调查，发现试点班学生的职业能力水平显著高于非试点班、自主学习能力优于非试点班，表明一体化课程教学改革试點富有成效。

关键词：职业能力测评；实证研究；技工院校

作者简介：辜东莲（1965-），女，湖南常德人，广州市职业技术教研室副研究员，研究方向为职业教育课程与教学。

基金项目：人力资源和社会保障部职业能力建设司“技工院校一体化课程教学改革评价研究”（人社职司便函[2012]16号），主持人：辜东莲。

中图分类号：G710 文献标识码：A 文章编号：1001-7518（2018）04-0131-05

一、问题的提出

2009年人社部正式启动汽车维修等5个专业的一体化课程教学改革，2010年在全国30所技工院校的中级层次新生班开展试验；2012年起，受人社部委托，广州组建技工院校“一体化课程教学改革评价”研究课题组，选择试点院校，对学生学业效果进行持续跟踪分析和总体研判。为此，课题组围绕“学校人才培养与企业人才需求的契合度”问题开展研究，并为“学生职业能力培养与企业职场职业能力要求”是否匹配等后续问题提供必要的实证支撑。具体研究内容包括：梳理分析文献资料，构建学业评价模型的理论基础，建立测评模型；制定测评方案及测评技术，设计调查问卷，检验分专业试题与问卷的信效度；预测与修正，施测与组织，数据分析等。

二、研究过程与方法

（一）研究过程

1.预测阶段：设计研究方案，开发预测评试题，对广州市工贸技师学院等3所院校的汽车维修等4个专业的学生实施了预测评，并对预测评数据进行处理分析。根据预测情况，修订测评方案，以确保正式测评的效果。

2.测评阶段：选择山西、成都、宁波、承德和黑龙江等地5所技师学院的试点班和非试点班第3年学生作为测评对象，确定汽车维修等4个专业试点班和非试点班的495名学生进行职业能力与自主学习能力测评。职业能力测评选用企业真实工作任务为载体，学生在完成任务的过程中不仅要独立编写任务解决方案，全面细致地阐述理由，还要将方案付诸实践，以检验与评价解决方案的可行性，做好过程记录并对结果进行分析，经历完整的职业行动过程。学生自主学习能力调查采取调查问卷的方式，问卷共74道题，重点考查学生的学习动机和学习策略。

3.分析阶段：测评结束即进行阅卷和数据统计分析，根据4个试点专业测评试题的评分标准，从4个方面统计试题中各评分点的得分情况，再利用SPSS软件对统计数据进行检验，检验指标主要有：t值、F值、标准差和显著性等。研究累计统计了371个评价点，生成6.8万个统计数据，形成了30余万字的测评总报告，包括4个测评专业分报告以及8所试点院校19个试点教学班和每一名学生的成绩报告。

（二）研究方法

1.文献法：通过梳理分析文献资料，构建一体化课程学生学业评价模型建立的理论基础。建立符合国家中级层次职业资格标准、真实工作情境中的职业能力要求、科学客观的“学生职业能力测评模型”，将其转化为可操作的“测评方案”，并具体落实在各专业的命题思路及评价标准上。

2.测量法：开发测试题目，对试点专业学生的职业能力水平进行测评。从测评命题到测评组织与管理均由第三方组织实施，通过测评结果归纳分析学生职业能力各维度的达成情况，再对一体化课程教学改革试点班与非试点班的综合情况进行横向对比，从而分析一体化课程教学改革的效果与存在的问题。

3.调查法：调研技工院校一体化课程教学改革的情况，为一体化课程学生学业评价模型的建立提供实践基础。设计学生自主学习能力问卷，调查分析一体化课程教学改革对学生自主学习等素养的影响。

三、研究成果

本研究借鉴国际前沿“职业能力与职业认同感测评项目（COMET）”的职业能力测评模型，结合我国技工院校教学特点设计了针对性的测评模型、测评方案及测评技术，研究发现：一体化课程教学改革，有助于提高技工院校学生的自主学习能力和综合职业能力，一体化课程教学改革对促进学校内涵发展，提高学校办学质量的效果初显。

（一）开发了职业能力测评模型及测评方案

本研究设计的测评模型详见图1[1]，其设计以“COMET职业能力测评模型”为基础，遵循从初学者到专家的职业能力发展规律、学习者的认知规律，从职业人职业效度的视角来评价学生的职业能力水平，同时兼顾特定工作领域的职业能力特征、技术标准、社会规范，对学生是否达到教育目标、是否符合职业标准的要求进行测评。

本测评模型的创新点是充分结合了国家中级层次职业资格标准和真实工作中的职业能力要求，设计了明确具体、可操作的三维评价指标体系。其中，职业内容维度为从初级工到高级技师各自的胜任任务特征，本研究的测评对象中级工层次的职业能力维度以功能性能力为主，以过程性能力和设计能力为辅，需胜任程序性任务，职业行动维度包含了从明确任务与获取信息、制定与确定方案，到实施方案与检查控制，再到评价反馈等阶段，构成完整的职业行动过程，并伴随职业素养的相关要求。

本研究开发了测评方案，以任务测试的方式进行，分纸笔测试和实操测试两部分，要求学生独立编写任务解决方案，全面细致地阐述采取方案的理由，付诸实施，进行检验，对解决方案予以评价，以此学生经历一个完整的职业行动过程。测评方案丰富了“COMET测评方案”，避免了因仅采取纸笔测试而对学生职业能力测评所带来的局限性。

（二）开发了符合职业人职业能力要求的测评技术

本研究的测评技术包括以第三方评价为主的测评命题、施测管理与数据分析、报告撰写。

命题方面，测评试题来自真实的工作任务，符合国家中级工层次职业资格标准要求。在完成测评任务的过程中，学生可现场查阅教材、学材、行业企业技术标准与工作手册等资料，收集信息完成方案的编写和任务实施、进行质量监控与评价反馈，与企业实际的工作过程与工作要求完全一致；同时测评要求学生理解自己的职业行动并对自己的行动负责。测评试题中的各测试环节的内容衔接相关性显著，纸笔测评与实操测评存在显著相关。

测评实施方面，学生需按照真实职业情境中的工作要求，综合运用知识与技能去完成任务，解决实际问题；测试任务体现了系统化的工作过程，即有完整的工作过程结构、全面的工作要素及工作过程知识，全方位对学生综合职业能力发展水平实施评价，突出功能性能力的同时兼顾了过程性、设计性能力的要求。从测评结果看，绝大部分测试学生均能完成，同时因测试内容具有一定的开放性，故每个学生编写的方案卷会略有不同。

数据分析方面，对纸笔测评的综合职业能力、实操测评主要指标和平均得分率、平均分、职业行动及试题相关性等方面进行统计分析，分析维度设计科学，过程严谨。本研究获得的数据准确、图表丰富、内容详实、分析严谨，结论可信度高。

（三）发现了测试学生职业能力与真实工作要求的差距

研究显示，测评样本在纸笔测评的综合职业能力、总平均得分率、职业行动等维度的平均得分率与真实职业工作要求差距较大，尤其是纸笔测评方面、职业行动维度的制定、方案确定和评价反馈方面以及纸笔测评的综合职业能力方面等3项差距尤为明显。

表现在平均得分率方面：本研究测评495名学生的平均得分率为64.23%，其中纸笔测评为51.65%；在职业行动维度，“明确任务与获取信息”为62.29%、“制定与确定方案”为46.58%、“实施与检查控制”为68.98%、“评价反馈”为57.61%、“职业素养”为80.75%；学生纸笔测评的综合职业能力维度为50.44%（详见图2、图3和图4[2]）。

表现在答卷中：测评学生普遍存在纸笔能力较实操能力弱且两者显著相关的情况，书面和口头表达能力、分析问题的能力均不强。从不同专业来看，数控专业测评学生自主获取信息、制定加工工艺及零件检测技术等方面能力欠缺；汽修专业测评学生在解决汽车故障问题时表现出阅读理解能力和故障诊断能力不足；钳加工专业测评学生在掌握与实际职业情境联系紧密的知识、加工与测量工件、工时制定的经济性等方面能力较弱；电气专业测评学生对本职业的工程圖纸要求不熟悉。

图2 试点班和非试点班测评学生总分及纸笔、

实操成绩的平均得分率

图3 试点班和非试点班测评学生职业行动

维度的平均得分率

图4 试点班和非试点班测评学生纸笔测试的

综合职业能力维度的平均得分率

（四）诊断了测试学生的多维度职业能力水平

测试结果显示，在总分、纸笔与实操成绩、职业行动、纸笔测评的综合职业能力维度上，试点班学生测评的平均得分率显著优于非试点班。

表现在：学生职业能力测评共计4个专业8套题、3个对比项目24个对比组的得分情况，其中19组呈现显著性差异，试点班学生的平均分均高于非试点班，尤其是在纸笔测评项，试点班与非试点班学生差异明显。

职业行动维度共计4个专业8套题、5个项目40个对比组，其中25组呈现显著性差异，试点班学生的平均分均高于非试点班，尤其是在“明确任务与获取信息”“制定与确定方案”“实施与检查控制”和“评价反馈”等4项，试点班学生明显优于非试点班（详见图3）。

纸笔测试综合职业能力维度共计4个专业8套题、3个项目38个对比组，其中28组呈现显著差异，试点班学生的平均分均高于非试点班，特别是在功能性能力和过程性能力2个测评项，试点班学生与非试点班学生差异大（详见图4）。

实操测试共计4个专业8套题、8个对比组，其中5组呈现显著性差异，试点班学生得分均高于非试点班，试点班学生的实操测试表现较好。

表现在答卷中：测评学生普遍存在纸笔能力弱于实操能力且两者显著相关，但试点班的差距小于非试点班；试点班明显优于非试点班，具体表现在阅读理解、实操准备、工具使用、操作规范性与条理性方面，分析问题、获得工作过程知识能力方面，质量意识、安全意识和成本意识方面，班级成绩分布均衡等方面。分专业表现在数控专业的数控编程基本功、完整加工过程的熟悉程度，汽修专业解决维修故障问题的方案制定水平，钳加工专业与职业情境联系紧密的复杂信息获取、知识掌握及应用能力，电气专业PLC的程序设计质量。

（五）检验了测试学生的自主学习能力水平

从试点班和非试点班的整体比较来看，自主学习情况的差异明显：250名试点班学生优于245名非试点班学生（详见图5[3]）。表现在：学习动机和学习策略各项上，除控制因素和复述项外，其余各项均具有显著差异，且试点班学生问卷成绩高于非试点班学生；在元认知的自我调节策略上，除了设计阶段的过程性能力、检查和评价阶段测评项之外，其余各项均呈现显著差异，且试点班学生问卷成绩高于非试点班学生。4个专业试点班学生其自主学习情况相对接近，但在4个专业非试点班学生之间，其自主学习情况的差异较大。

测评学生学习策略维度的得分要高于动机维度的得分，在动机维度量表中，测评学生在价值因素的得分高于期望因素；在学习策略维度量表中，测评学生在认知和元认知策略上的得分要高于资源管理的得分（详见图6[4]）。

值得关注的是，试点班学生在学习动机和学习策略各项上的同伴学习平均分最高，而在时间管理项得分最低；在元认知自我调节策略方面，技能学习策略平均分最高，而设计阶段的功能性能力得分最低，总结和反思平均分亦较低。本调查研究反映出一体化课程教学改革的效果（如交流与合作的小组学习愿望强烈，而对时间管理的愿望较低），同时反映了当前技工院校学生的自主学习能力特征（如控制因素和复述愿望低）。

图5 试点班和非试点班测评学生在学习动机和

学习策略各项上的平均分

图6 试点班和非试点班测评学生在元认知

自我调节策略各项上的平均分

（六）揭示了技工教育三个“强调与忽略”的辩证关系

本实证研究揭示了当前技工院校的教学过于强调学校教学环境下书本知识的学习，忽略了与知识学习显著相关的真实情境下的职业工作要求；过于强调技能操作的娴熟，忽略了与技能显著相关的工作过程知识的学习；过于强调学校培养具有“工具”惯性思维的技术工人的办学观念，忽略了学校培养综合发展、能够不断自我更新的技术人才的办学理念。研究结果体现出试点院校在服务行业企业的办学理念、服务学生的教育理念、人才培养与评价标准的研究等方面存在不足，说明技工院校的教师、学生的综合职业能力与综合素养的专业化提升还有很大的空间[5]。

四、效果与反思

（一）研究效果

本研究建立的测评模型、测评方案与技术手段，对一体化课程教学改革的实证研究具有开创性的意义。研究表明：在设计导向的职业教育思想指导下开展的技工院校一体化课程教学改革，以实践专家访谈会提炼的职业典型工作任务为课程内容，以职业情境下的学习任务为教学载体，采取工作过程系统化的教学原则和行动导向的教学方法组织教学，实现了学习与工作的充分融合，在显著促进学生职业能力发展的同时，学校的人才培养有效实现了与企业的人才需求相对接。本研究以丰富而可信的数据说明了一体化课程教学改革取得的积极成效，揭示了三个“强调与忽略”的辩证关系，提供了深入推进一体化课程教学改革有益建议，对我国技工教育改革具有重要的参考价值。

该成果已应用于广州市技工院校课堂教学质量诊断、中高级工毕业考试改革、师资队伍建设工作，应用在2015年人社部办公厅颁布的汽车维修等两个试点专业《国家技能人才培养标准》和《一体化课程规范》研制中，主要观点被人社部《技工教育“十三五”规划》、广东省人社厅《广东省技工教育创新发展行动计划（2016-2020年）》等重要文件采纳，体现了教育研究辅助行政决策的价值。

（二）研究反思

本次测评历时一年，組织管理工作量大且要求高。全面开展大规模的学生职业能力测评仍面临诸多挑战。

1.测评题目开发难度高。本测试不仅需要寻找与被试职业能力发展水平相当的一组测评题目，而且题目需要符合行业企业的工作要求，同时题目之间需满足信度与效度及等值的要求，对于分专业的测评标准及试题的开发与建立、命题人员的能力水平等都有严格要求。

2.测评组织实施成本高。由于真实性、开放性的测试任务通常没有标准答案，也无法预测学生的方案编写情况。如在考场资源的准备过程中，工位设备设施材料的准备需非常全面周到，以免出现学生方案编写可行，却因缺乏某些条件而无法实施的情况，增加考试成本。

3.对考评员能力要求高。真实性、开放性的问题对考评员的综合素养与综合职业能力提出了很高要求。如测试题目的真实性，测试过程的开放性，测试答案的多元性，考评员在过程评价中需要对学生综合职业能力与综合素养的表现非常敏感，这对考评员评价的信度效度提出了挑战。

（三）需进一步探索的问题

1.将一体化课程教学改革提高到促进技工院校内涵发展的战略高度，加快完善相关配套政策。各级主管部门、技工院校加大产教融合、校企合作等政策扶持力度，加大对一体化课程教学改革的重视程度与投入力度，加强世界技能大赛的评价标准引入一体化课程教学的转化研究，塑造技工教育的课程教学品牌。

2.加强技能人才标准研究，加快教学资源保障机制建设。坚持“以学生为中心”的教育理念，注重学生职业生涯的可持续发展，技工院校的人才培养标准要对接职业情境中的综合职业能力要求。加强分专业的国家技能人才培养标准的设立和技工院校一体化课程规范的开发，教材学材及数字化教学资源的建设，大力推动技工教育校内外配套软硬件资源等系统建设，切实提高技工院校培养适应产业发展变化的复合型技能人才的能力。

3.强化师资综合职业素养与能力，促进教师专业化发展。在积极扩充一体化师资队伍数量的同时，更加注重提高师资队伍建设的整体质量。要加强技工院校师资标准、企业实践、职称政策等方面的研究、制定与执行，明晰教师阶段性发展职业能力要求，全方位、多渠道优化教师的专业化成长通道。

4.建设第三方评价机制，完善职业能力测评模型。扶持与建设技工院校人才培养质量第三方评价机构，定期组织评学、评教和评管，并向社会发布质量报告，逐步形成第三方评价监控机制与评价激励制度。要加强一体化课程教学改革评价标准的研究，依据产业、职业对不同层次技能人才的要求完善职业能力测评模型。推进一体化课程教学改革评价的常规化、科学化，规范技工院校的办学行为和教学标准，切实提高技工教育的办学质量。

参考文献：

[1][5]辜东莲.一体化课程教学改革学生职业能力测评实证研究[M].北京：中国劳动社会保障出版社，2013：43-44，127.

[2][3][4]辜东莲，陈彩凤.有了职业能力才有更好未来——技工院校一体化课程教学改革学生职业能力测评研究结果发布[J].职业，2013（12）：11-14.

责任编辑 韩云鹏