从测量目标和效度看技能测试的挑战与发展

刘英霞 杜永贵

摘要：职教高考技能测试是高职院校招生考试的重要组成部分，其测量目标的达成度和测试效度关系到考生的切身利益和招生的公平性。目前，技能考试在实训测量目标、可测量性、区分度、测试项目设计等方面面临挑战，从教育测量角度透视技能考试的科学性，对测试的难度、区分度、效度和信度进行分析，通过实证研究，从优化考试内容、考试方式、考试标准等方面提出技能考试的发展策略。

关键词：测量目标;效度;技能考试;挑战;发展

中图分类号：G710    文献标识码：A    文章编号：1672-5727（2022）01-0069-06

考试招生制度是我国的基本教育制度，也是人才培养的枢纽环节。《国家职业教育改革实施方案》明确提出了要“建立‘职教高考’制度，为学生接受高等职业教育提供多种入学方式和学习方式”。《国务院关于深化考试招生制度改革的实施意见》要求招生考试要体现科学高效，提高选拔水平，指出要改革考试形式和内容，加快推进高职院校分类考试。“十四五”时期，我国将建立职教高考制度，把中等职业教育、职业专科教育、职业本科教育在内容上、培养上贯通起来。在我国，教育测量理论很早就开始指导高考改革与实践[1]。技能考试是高职院校招生考试的重要组成部分，技能考试目标的达成度和考试效度关系到考生的切身利益和招生的公平性。从教育测量理论的视角，通过对技能考试进行科学性分析，优化技能考试的内容和方式，有助于形成分类考试、综合评价、多元录取的考试招生模式，为全社会有需要的学习者搭建进入职业院校学习的桥梁。

一、职教高考技能考试现状分析

职教高考制度是职业教育类型特征的重要表现，国家进行职教高考改革是为学生能接受高等职业教育提供更多的入学方式，促进教育公平。职教高考将赋予高校更多的自主权，同时也为考生提供了更多的选择。而技能考试作为技术技能人才培养的重要“入口”，关系到高职院校的技能供给质量和服务经济社会发展的水平。随着职教高考改革进程的不断加快，技能考试在技术技能人才评价中发挥着越来越重要的作用。

（一）从国家政策看，职教高考是一项制度设计

职业教育作为一种类型教育，构建纵向贯通的现代职业教育体系，需要一个与之相适应的选拔人才的考试制度设计。建立分类考试、多元录取的“职教高考”制度，畅通了职业教育体系内部升学通道，为学生搭建多样化选择、多路径成才的立交桥。党中央、国务院高度重视考试招生制度改革工作。高等职业教育的考试招生改革大致可以分为三个阶段：

第一阶段是纳入全国统一高考。自1952年我国确立统一全国招生考试制度以来，高职教育作为专科层次教育，纳入全国统一高考，并按照分数高低，分层分批录取为本科和高职。

第二阶段是实施分类入学考试。《国家中长期教育改革和发展规划纲要（2010—2020年）》提出了改革考试招生制度;2011年，教育部发布《关于推进中等和高等职业教育协调发展的指导意见》提出，要积极推广“知识+技能”的考试招生模式;2013年，教育部出台《关于积极推进高等职业教育考试招生制度改革的指导意见》，提出“逐步与普通高校本科考试分离，重点探索‘知识+技能’的考试评价办法，为学生接受高等职业教育提供多样化入学形式”。

第三阶段是实行“文化素质+职业技能”考试招生模式。2014年，国务院发布《关于深化考试招生制度改革的实施意见》，明确“实行‘文化素质+职业技能’评价方式”。同年，《国务院关于加快发展现代职业教育的决定》提出，要健全“文化素质+职业技能”、单独招生、综合评价招生和技能拔尖人才免试等考试招生办法，为学生接受不同层次高等职业教育提供多种机会。2019年發布的《国家职业教育改革实施方案》提出，完善“文化素质+职业技能”的考试招生办法。在国家政策指导下，各省高职考试招生制度改革不断深化和完善，多元化考试招生模式逐步形成。

（二）从考试改革看，职教高考采用试点先行

2007年，教育部批准江苏、浙江、湖南、广东4省8所国家示范性高职院校进行“单独招生”试点，开创了我国高职院校“单独招生”的新时代。山东省2012年正式启动职教高考（山东省称为“春季高考”），技能考试共涉及17个专业类别的276个专业;2021年春季高考技能考试涉及18个专业类别。目前，山东省春季高考继续沿用技能考试单独进行的方式，而江苏等省份的高等职业院校（含部分应用型本科院校）对口招收中等职业学校毕业生时，除按专业类实施通用专业技能省级统考外，还将学业水平考试技能成绩同时作为学生对口升学考试技能成绩的一部分计算在内。

（三）从考试模式看，职教高考采用“知识+技能”的方式

职教高考采用文化素质考核与职业技能考核并重的方式，突出了实用导向[2]。以山东省为例，春季高考分为“知识”和“技能”两部分。知识部分由省考试院统一命题、统一组织考试，考试科目为语文（满分120分）、数学（满分120分）、英语（满分80分）、专业知识（满分200分）。技能考试部分由主考学校负责命题并组织考试，2021年山东省的技能考试分别由30所高职院校作为主考学校，满分为230分，知识和技能的占比为2.26∶1。

二、职教高考技能考试面临的问题

技能考试作为职教高考改革的重要环节，突出了职教高考和普通高考的区别，彰显了职业教育面向人人、面向市场、面向能力的类型属性特征。从近10年技能考试的实施情况以及在教师和学生中的调研来看，技能考试在试点省份稳步推进，畅通了职业教育纵向贯通的渠道。以山东省为例，从不同生源占比及变化趋势来看，2014—2018年普通高考招生规模占比由55.21%逐年上升到58.95%，呈现基本稳定但缓慢上升的趋势，依然是考试招生的主渠道，有效保障了高职院校的生源，为高职院校的高质量发展提供了有力支撑。从录取人数来看，从2012年的2 607人增加到2021年的45 442人，从而解决了技术技能人才学业成长路径不畅、高层次技术技能人才短缺问题，满足了产业转型升级对高技能人才的迫切需求，为学生根据个人兴趣和爱好选择专业和学校创造了条件，为更多青少年走技能成才、技能报国之路奠定坚实基础。但是，从测量目标和效度视角分析，技能考试在目标达成度、区分度等方面还面临一些挑战。

一是技能考试的测量目标达成度面临挑战。技能考试的目标是实现适应需求、因材施考、因材施教，科学选拔人才。这体现在三个方面：一是满足区域经济社会发展和产业转型升级的需要;二是适应高职院校特色发展定位的需要;三是适应学生个性化发展的需要，提供鉴别其知识、能力、素质等方面差异的考试内容[3]。目前，技能考试在实现测量目标方面还存在一定困难，主要表现为：考试内容与产业发展、企业职业岗位要求结合不够紧密;考试内容与专业人才培养目标吻合度不高;考试内容对考生的学情考虑不充分，学生差异化发展、个性化成才体现不足等。调研数据显示，有36%的考生认为技能考试能满足个性化发展需要;有18%的考生则认为技能考试对学习基础、特长等差异性体现不足。

二是技能考试的可测量性面临挑战。考试内容、过程和结果可测量是保证考试质量及有效性的基本要求。技能考试以实操为主，主要考核学生的实践能力和职业素养，因此，技能考试通常采用过程评价和结果评价相结合的方式。过程评价主要是由评定员根据考生现场操作和表现进行评分。在考试过程中，考生的操作是否规范、是否达到指定的熟练程度等指标，均受主观因素影响，使考试标准量化困难，从而影响职教高考的公平性。调研数据显示，仅有47%的考生认为技能考试能够体现测试的公平性;有40%的考生认为技能考试能反映出自己的技能水平;有15%的考生则持否定态度，认为技能考试难以准确地鉴别出技能水平高低。

三是技能考试区分度面临挑战。区分度是表征测试质量和有效性的重要依据。但是，目前有些专业大类的技能测试为了便于考试评分和组织管理，技能考试偏简单，难以体现本专业大类的核心技能，考生分数相对集中，不能将不同水平的考生区分开来，不利于学生创新能力和创新思维的发挥，在一定程度上影响了技能考试的权威性。调研数据显示，有超过57%的考生认为技能考试比较简单;有12%的考生持否定态度，认为技能考试难以准确地鉴别出技能水平高低。

四是技能考试测试项目面临挑战。职业教育是面向能力的实践教育，对选拔的生源除了要求具备必须的理论基础外，还要具备一定的实践操作能力。以山东省为例，技能考试最初是通过笔试完成测试，2014年开始实施现场实操测试，重点考核学生的实践动手能力和职业素养。如商贸类专业侧重于商品促销方案策划、业务单证缮制等，可通过上机考试完成;电工电子类专业侧重于焊接、组装、设计、调试等，通常在实践教学场所动手操作完成。由于受命题质量、测试场地、测试经费等条件限制，不同专业技能测试局限于固有的面试、上机考试、现场实操等大众化的考试模式，表现为考试方式僵化，不利于选拔出创新型、复合型的技术技能人才。调研数据显示，有42%的考生认为技能考试形式多样化;有20%的考生则认为技能考试形式单一，不利于发挥个人的优势特长。

三、职教高考技能考试的科学性分析

本文将经典测量理论应用于技能考试分析，从教育测量视角透视技能考试的科学性，满足难度、区分度、效度和信度等技术指标的要求，以提高考试的可靠性，保证“职教高考”作为制度设计的权威性。

（一）难度：要能充分适合被测试者的能力水平

难度是指测验的难易程度，通常用通过率作为难度系数P来定量描述被测试者完成项目作答任务时遇到的困难程度。P的最小值为0，最大值为1。通常将P≤0.4定义为难，将0.4

技能考试的难度受被测试者个体特征、测试方式、测试环境等多种因素影响。技能考试的主体以中等职业学校毕业生为主，其学习行为具有动手能力强、逻辑思维弱、创新能力强、学习需求多元化等特征。针对被测试者的学情特点，如果在真实或模拟的情景化職场环境中，采用实践操作的形式完成技能测试，将在一定程度上降低测试的难度。因此，技能考试的内容要在深入分析研究被测试者学习心理特征和行为特征的基础上，科学设计测试题目结构和题目类型，并设定恰当的测试方法，使考试的难度系数P控制在0.4～0.7之间，且在0.5左右，保证测试的适当性和有效性。

（二）区分度：要能准确鉴别被测试者技能水平的高低

区分度是指测试在多大程度上能将水平不同的被测试对象区分开的量度，通常用D表示，取值范围在-1～1之间。D值越大，区分度越高，越能反映出被测试者的真实水平。当D取0～1的值时，表示正区分，即高水平的被测试者得高分，低水平的被测试者得分低;当D取-1～0的值时，表示负区分，即高水平的被测试者反而得分低，而低水平的被测试者得分高;当D=0时，表示高水平的被测试者和低水平的测试者得分没有差异。根据美国教育测量学家埃贝尔提出的区分度标准[4]，D的取值在0.40以上，则认为测试的区分度较好。

技能考试的区分度是衡量技能测试质量的重要标准和依据。技能考试以学生的能力本位为导向，注重职业能力评价，要求被测试者在设定的情境中，运用已有的知识和具备的能力完成设定的任务。评价过程侧重被测试者知识和技能的掌握程度、分析问题和解决问题的能力、交流与合作的能力，以及批判性思考问题的能力。因此，技能考试内容和方式要充分考虑上述因素，科学设定测试的区分度，合理区分被测试者能力的不同水平，选拔出合适的技术技能人才。

（三）信度：要能稳定呈现被测试者技能的实际水平

信度是测试的可靠性程度，是指测试能否稳定地反映被测试者的实际水平，通常用rxy表示，取值范围在0～1之间。任何一个测试都会受到相关因素的干扰，从而在不同程度上影响测试的信度。测试的信度通常用信度系数来表示，信度系数越大，测试的可信程度越高。美国学者德维利斯认为，信度系数在0.7～0.8之间时，表示测试的信度很好;信度系数在0.8以上时，表示信度非常好。

技能考试通常是在特定的实践环境中进行，以表现性评价的方式完成，考试过程受被测试者生理因素和心理因素、考试的难度和方式、考试的时段和时长、考试环境和测试设备、评分人员的言行和评分方式等的影响，从而导致测试结果的不稳定，影响考试的信度。因此，要科学设计技能考试的命题、测试过程以及考核评价，以最大限度避免被测试对象因特质不同、测试时间不同、测试环境不同等因素带来的误差影响，保证技能测试结果的公平和公正，为选拔适应需求的技术技能人才提供客观有效的依据。

（四）效度：要能有效反映被测试者的能力建构

效度即有效性，是指所测量到的结果反映所想要考察内容的程度。效度是与测量目标紧密联系的，反映了测试预期目的的达成度，测量结果与要考察的内容越吻合，则效度越高。美国心理学会发行的《教育与心理测量的标准》将效度分为内容效度、结构效度和效标关联效度。本文进行内容效度的研究，通过专家分析的方法，定性分析测试题目对测试内容范围的代表程度。

技能考试的目的是为适应产业转型升级和学校特色发展选拔技术技能人才，因此，技能考试的内容要适应新业态、新技术、新规范、新职业发展，遵循技术技能人才成长规律和能力建构过程，契合专业人才培养目标。高质量编制考试试卷、规范考试过程、科学统计分数，确保考试内容达到测试目标，有效反映被测试者能力的建构。

四、技能考试实证分析

以2021年山东省某专业类技能考试为例，对考试的难度、区分度、信度和效度进行定量和定性分析。试题共分两部分，包括填空、上机操作等题型，均以客观评分为主。本次考试共有3 466人参加，满分230分，平均分145.5分。从考生中随机抽取578人进行分析，考试成绩频率分布曲线如图1所示。

从图1看出，考生的成绩分布合理，符合偏右的正态分布，大部分考生成绩在141分以上，占到总人数的64.3%，技能考试分数分布整体良好。

（一）难度分析

由于本次技能考试人数较多，且分数为连续变量，因此难度系数采用分组法计算。首先将测试总分按从高到低的顺序进行排列，从最高分开始依次向下选出全部试卷的27%作为高分组（本次测试选择578×27%=156人），从最低分开始依次向上选出全部试卷的27%作为低分组，计算P值：

其中，PH、PL分别为高分组、低分组的难度系数，XˉH、XˉL分别为高分组、低分组被试者的平均分，X为该测试的满分。

技能测试是常模参照测验，其目的是尽可能体现被测试者的个体差异，要求测试结果尽量拉开距离。本次技能测试P=0.588，在0.4～0.7范围内，且接近0.5，说明本次技能考试难度适宜，能体现被测试者实践动手能力的不同层次，测验分数基本呈正态分布。

（二）区分度分析

测试的区分度和难度密切相关，当测试的难度适中时，才能使区分度达到最大值。采用分组法计算本次技能测试的区分度：

其中，H、L分别为该测试的最高得分和最低得分。

由于技能考试的目的是选拔合格的技术技能人才，因此，要求区分度越高越好。本次测试D=0.38<0.40，区分度接近于0.4，说明测试基本能鉴别被测试者的技能水平，但区分度不够高，出现分数过于集中的现象。

（三）信度分析

由于本次技能测试不可能重复测验，因此，采用奇偶分半信度来估算测验的信度系数：

其中，X、Y分别为奇偶次测试得分。

用斯皮尔曼—布朗公式进行校正，得到一致性系数 rtt为：

技能考试是大规模选拔性的技能测验，要求具有较高的可靠性。本次测试的信度系数 rxy=0.81>0.80，且校正后内部一致性系数较大，说明整个测试信度很高。

（四）效度初步分析

对技能考试来说，所要测试的内容依据是职业岗位（群）和专业人才培养方案，实际测试的内容是学生对知识和能力的运用与表现，如果技能考试的题目能恰当地反映职业岗位能力、专业人才培养目标和学生的个性化发展需求，则测试具有较高的内容效度。本文采用专家分析法研究技能考试的内容效度，根据本次技能测试的目标和被测试者的学习行为特征制定评定量表，由行业企业专家、专业负责人、课程专家、考试专家等50名专家组成的专家组，根据量表的内容对考试的效度进行判断分析，结果如表1所示。

数据显示，本次技能考试的试题一，有62%以上的专家认为能与人才培养目标吻合、与职业岗位契合、与被测试者学情适合，但是，有4%的专家认为和被测试者的学情基本不适合，需要引起足够重视。对试题二来说，72%以上专家均持肯定态度。总体来看，本次技能考试题目分布基本合理，具有较高的内容效度。

（五）结论

通过分析发现，虽然本次技能测试难度、信度均在合理范围内，但是，测试的区分度存在一定问题，需要进一步论证测试项目的设计和优化，并加强技能测试的流程管理，减少分数集中的现象。通过调研发现，专家对测试内容的效度基本持肯定态度，但仍有4%的专家认为专业人才培养目标和学生的个性化发展需求吻合度不高。同时，专家普遍认为技能测试的能力构建是深层次问题，测试中的技能操作過程符合度、覆盖度与测试目标尚有差距，需要在后续的测试中引起高度重视。

五、职教高考技能考试的发展策略

能力本位评价是职业教育作为一种教育类型的重要特征，因此，技能考试要从分析各专业大类对应岗位群的职业能力入手，分专业大类建设技能考试试题库，并确保不同专业、不同工种或科目的测量基准和难易程度相当[5]，通过优化考试内容、考试方式、考试标准等，提高技能考试测试目标达成度和效度。

（一）优化考试内容，完善技能考试难度和区分度

考试内容的优化能提高技能考试的区分度，使测试具有适中的难度，提高测试的可测量性，实现选拔合适技术技能人才的目的。一是技能考试要选择职业岗位真实的工作项目（任务），适应技术进步和生产方式变革需要，通过设计多个可供选择的不同测试项目，保证测试具有良好的难度和区分度。二是技能考试内容要依据招生专业（群）的人才培养方案，与人才培养目标和培养规格吻合，将专业知识、技能和素养融入到不同的测试项目中。三是技能考试内容要契合被测试者学习基础、学习习惯、思维方式等差异化学情特征，注重服务其全面发展和个性化成才，拓宽职业空间[6]，使被测试者能根据个人的兴趣爱好，选择发挥个人技能专长的测试项目。

（二）优化考试方式，提高技能考试效度

技能考试单一固化的考试模式在很大程度上限制了技术技能人才的入口质量，从而影响考试的效度。美国哈佛大学教授加德纳将多元智能理论定义为在某种社会或文化环境的价值标准下，个体用以解决自己遇到的真正难题或生产及制造出有效产品所需要的能力。技能考试要以多元智能理论为指导，根据每个被测试者都具有自身优势和特点，并有自己独特的表现形式，以学生的能力本位为导向，注重考试的针对性和专业性，使学生在设计的真实或模拟的工作岗位情境中，运用已有的知识解决某个新问题、创造某个作品、完成一个生产过程、模拟一项经营服务等，测试学生知识与技能的掌握程度，以及分析问题、解决问题、交流合作和批判性思考等能力，提高技能考试效度，选拔出适应产业发展需求的技术技能人才。

（三）优化考试标准，提高技能考试信度

我国已经进入新的发展阶段，产业升级和经济结构调整不断加快，新产业、新业态、新商业模式不断涌现，对技术技能人才的能力结构和素质结构提出了新的要求。因此，技能考试的标准要契合职业能力标准，提高技能考试信度。技能考试要有相关行业和企业全程参与考试命题和标准制定，使技能考试标准与职业岗位要求相匹配，从“入口”解决校企合作不紧密的问题，从根本上实现学校、学生和企业共赢、共生。同时，技能考试标准要与职业技能等级证书标准结合，与职业资格证书标准结合，确保技能的实用性及有效性。另外，技能考试标准要以质性评价与量化评价相结合，并以量化评价为主，减少评分人员主观因素的影响，确保技能考试的公平性和公正性。

参考文献：

[1]雷新勇.教育测量理论应用于高考改革实践若干问题的探讨[J].中国考试，2020（1）：7-12.

[2]陈虹羽.类型教育视角下职教高考制度建设的逻辑要求、难点及对策[J].教育与职业，2021（5）：13-20.

[3]吴根洲.职教高考的适应性与选拔性[J].职教论坛，2021（6）：49-52.

[4]朱德全.教育测量学[M].北京：中国人民大学出版社，2016.

[5]卢斌，陈少艾，吕金华，等.基于高考改革的“技能高考”模式研究与实践成果[J].中国职業技术教育，2016（8）：5-9.

[6]刘英霞，亓俊忠，丁文利.系统论视角下高职学校高水平专业群组建逻辑与成效探析[J].职业技术教育，2020（14）：25-29.

（责任编辑：张宇平）