APP下载

基于认知诊断的学习进阶模型构建
——以义务教育阶段概率概念为例

2022-02-20李衍勋

济宁学院学报 2022年6期
关键词:进阶测验概率

李衍勋 丁 锐

(1.中国基础教育质量监测协同创新中心 东北师范大学分中心,吉林 长春 130024; 2.东北师范大学 教育学部,吉林 长春 130024)

一、引言

概率是学生从确定性思维向不确定性思维过渡的桥梁,是义务教育阶段数学学科四大版块之一“统计与概率”的重要组成部分,也是大数据时代公民数据分析能力的底层逻辑。《义务教育数学课程标准(2022年版)》(下称《课标》)对5—9年级学生作出了概率学习的安排,并强调经历简单随机事件发生概率的计算过程,尝试用概率定量描述随机现象发生的可能性大小,理解概率的意义。然而,诸多研究一再表明,自学前到高中阶段,学生在概率认知方面始终表现出不同程度的错误[1]13,造成概率学习效率低下的问题。提高学生概率学习的效率,需要以学生的认知发展为依据,为其提供进阶式的学习内容。“学习进阶”可作为问题解决的有力抓手。

学习进阶是指学生概念学习过程中一系列渐趋复杂的思维路径[2]213,揭示了概念理解日臻完善的过程[3]41。它不仅能展现学生概念学习的阶段(进阶水平),还可以描绘概念学习的轨迹(学习路径),对课程设置和教学实施均有十分重要的意义。构建概率概念的学习进阶,需要探索学生概率概念的认知过程,把握学生概率概念的认知规律,了解学生概率概念的认知结构,这对进阶测评提出了更高的要求。进阶测评是构建学习进阶必不可少的重要环节,传统的概率进阶测评以能力为取向,构建的学习进阶不能深入反映能力背后的认知因素、解释概念发展的多路径现象,存在深入性不强和解释力较低的缺陷。因此,有必要在概率进阶测评中引入认知诊断理论,开发认知取向的测评工具,诊断学生的概率发展水平。

认知诊断理论(Cognitive Diagnostic Theory,简称CDT)是一个更加关注测评的特质内容本身意义的理论,它通过分析被试在解决实际问题任务中的表现来判断其对领域知识属性的掌握状态和模式[4]14。领域知识属性即认知属性,它是认知诊断理论中最基础的概念,是指那些会影响人外显行为表现的潜在的、内隐的心理特质,包括知识、策略、技能等[4]18。认知属性是认知诊断测评目标领域的内容维度,这些内容维度之间可能是相互独立的关系,也可能是相互关联的关系(例如某些属性的习得需要以另外一些属性的掌握为前提)。因此,在测评工具的开发阶段,需要将认知属性组合为体现认知操作过程的、有一定层级关系的认知过程模型。基于认知过程模型,编制反映信息加工过程的测验试题,再使用心理测量模型分析数据,即可诊断出学生的知识状态与认知结构,也称为属性掌握模式[5]76;在对群体知识状态聚类分析的基础上,根据嵌套关系,可以得出学生概念认知发展的路径(学习路径),增强测评结果的解释程度,实现深度测评。

事实上,概率测评研究经过数十年的积累,现有成果为认知属性的提取和过程模型的构建提供了充分的理论依据,使概率概念的认知诊断进阶测评成为可能。尽管已有研究者成功对中高年段学生实现了认知诊断测评并构建了学习进阶模型[6]148,但是当前相关研究依旧较少,对义务教育阶段关注不够。因此,本文以《课标》安排的义务教育阶段5—9年级学生为对象,基于认知诊断理论开发进阶测评工具,对947名5—9年级学生概率概念的认知发展状况开展诊断性评估,旨在探究该阶段学生概率发展的规律和特点、找出存在的不足,为概率概念学习进阶的构建提供实证依据,为认知诊断理论在基础教育领域的实践提供参考。

二、研究设计

(一)测评对象

在山东省济宁市整群抽样,为保证被试群体的一般性,选择教学水平中等的两所公立学校的947名5—9年级学生参加测试。所有被试均为有效被试,其中5年级207人,6年级212人,7年级205人,8年级184人,9年级139人。

(二)测评工具

自编《5—9年级学生概率概念认知诊断测验》。在9个情景下共设置20道试题,纸笔测验形式闭卷作答,0-1计分方式对属性掌握情况判分,掌握计1分,未掌握计0分,判分标准经专家焦点小组讨论后拟定。

1.测评工具的开发模型

5—9年级学生概率概念认知过程模型为本研究测评工具的开发模型,模型包含的认知属性及其层级关系如表1及图1所示。

表 1 5—9年级学生概率概念的认知属性

图 1 5—9年级学生概率概念的认知过程模型图

该模型基于已有研究[6]84初步构建,在此基础上征询数位中小学一线高级教师及数学教育领域专家学者的意见,修订后得到一致认可。继而采用口语报告法和访谈法,获取10名学生和5名教师的反馈,对模型进行初步的质性检验。最终提取了随机性、样本空间、概率估计、概率比较4个认知属性,构建了“三层级分支型”的属性层级关系,生成了5—9年级学生概率概念认知过程模型。

2.测验Q矩阵及试题

Q矩阵是认知加工模型与题目认知属性的矩阵表达,是认知诊断测验编制蓝图[7]4的依据。Q矩阵完备需要符合两个原则,一是测验应能实现对每个认知属性的诊断,二是测验应能实现对每个认知属性的多次测量(至少三次)[8]25。5—9年级学生概率概念认知过程模型包含4种认知属性,选择4种测验项目考核模式作为测验Q矩阵的编制基础。依据属性层级,每种测验项目考核模式对应3—7道测验试题,实现对每个认知属性的多次测量。同一测验项目考核模式下编制的试题仅语料不同,考察属性一致,表2为反映全部试题与认知属性关系的Q矩阵。

根据测验Q矩阵,参考不同版本教材及以往测评工具,编制《5—9年级学生概率概念认知诊断测验》,即本研究拟开发的测评工具。首先,对试题情境进行梳理,了解义务教育阶段概率相关试题惯常出现的情境信息,为本研究编制此类试题提供参考,避免陌生的试题情境对学生的理解产生干扰,从而影响其作答反应,弱化试题对目标认知属性的测量效果。其次,基于测验项目考核模式,在初步拟定的试题情境下生成试题属性表,包括试题情境、试题代码、测量属性、试题类型、测验项目考核模式等。最后,根据试题属性表中提供的试题信息,本研究逐一编制了对应的测验试题,按照不同的测验项目考核模式,选取部分试题在此进行详细说明。因属于跨年级的纵向测量,为保证“量尺”一致性,5个年级均采用相同的测验试题(部分试题见表3)。

表 3 5—9年级学生概率概念认知诊断测验题目举例

3.测评工具的质量

(1)属性提取合理性检验

属性提取合理性检验目的是验证认知诊断目标中的重要属性是否提取完备,采用线性回归分析的方式,用提取属性对题目难度的解释度为量化指标,以题目难度为因变量、测验Q矩阵的列向量为自变量,进行线性回归分析[9]19。若其解释度达到60%以上,即可认为提取的认知属性基本可靠[9]19。根据分析,题目难度(因变量)显著性检验的F值为43.612,p=0.000<0.001,即本研究提取的认知属性对题目难度的解释度达到显著性水平;R2值为0.871,即提取的认知属性对题目难度的解释度为87.1%[10]2561,高于60%,符合要求。由此表明本研究所提取的4个认知属性基本可靠,能够很好地预测题目难度,属性提取合理性得到验证。

(2)层级关系合理性检验

层级关系合理性检验目的是验证属性层级关系是否符合知识逻辑关系、心理认知顺序等,使用“层级一致性指标”(Hierarchy Consistency Index,简称HCI)分析[11]429,HCI指标的本质是观察学生真实的项目反应模式与属性层级关系下理想反应模式之间的匹配程度,取值范围在-1到1之间,值越大则表示拟合效果越好。若HCI指标达到0.6以上,则被认为建立的属性层级关系是合理的,超过0.7则代表非常好的模型和数据拟合[12]205。本研究得到的HCI指标均值为0.816,说明属性层级关系的模型数据拟合情况较好,学生真实的项目反应模式与属性层级关系下理想反应模式之间的匹配程度较高,即本研究构建的属性层级关系合理。

(3)测量学标准检验

在信度方面,4个认知属性的Templin信度指数分别为0.982、0.944、0.847、0.932,均值为0.926,所有指数均大于0.7[13]251,表明测评工具内部各题目一致性程度较高,信度较好;在项目拟合指标方面,20道试题的RMSEA值均小于等于0.1[14]315(其中19道小于0.1,仅1道等于0.1),表明全部试题拟合效果良好;在区分度方面,认知诊断试题区分度介于-1到1之间,值越大则质量越好,超过0.4则视为质量较高[10]2561,本研究全部试题区分度均大于0,半数大于0.4,这说明区分度较好;在被试拟合效果检验方面,分析表明,96.4%的样本被试拟合参数大于-2,即96.4%的学生作答反应良好[10]2561。

综上所述,本研究生成的5—9年级学生概率概念认知过程模型属性及其层级关系合理,具有较好的解释和预测效果,在此基础上开发的测评工具符合心理与教育测量学标准,可用于测评该学段学生概率概念的认知发展。

(三)测试实施与数据处理

测试时间为6月,测试学校5—8年级均已完成本学期教学任务,9年级已完成义务教育阶段全部学习任务,所有年级均具备测试条件。采用“随堂测验”的方式,试卷由教师当堂发放并回收,全程在教师监督下进行,并提前告知学生结果仅作研究使用,不与奖惩挂钩,因此试卷回收率均为100%,数据规模符合预期。在使用flexCDMs认知诊断平台对AIC、BIC和偏差值综合考量的基础上,选择LLM模型分析数据,诊断5—9年级学生概率概念的认知发展水平。

三、结果说明与进阶构建

(一)属性掌握模式的整体情况

使用LLM模型分析测验数据,得出属性掌握模式。属性掌握模式是K维的0-1向量,0表示未掌握属性,1表示掌握属性。除全部掌握模式外,不同掌握模式反映学生所犯不同类型的错误[5]79。根据分析,5、6年级均有11种掌握模式,7年级有8种,8年级有5种,9年级有4种,随着年级的增长,学生错误掌握模式整体呈现下降的趋势,表4列出了5个年级全部的15种属性掌握模式的基本情况。

表 4 5—9年级学生概率概念15种属性掌握模式的基本情况

5年级学生有三种主要掌握模式,分别是:(1101)占比29.72%,这种学生已经掌握了随机性、样本空间和概率估计,尚未掌握概率比较;(1001)占比23.11%,这种学生目前仅掌握随机性和概率估计,尚未掌握样本空间和概率比较;(1100)占比16.51%,这种学生仅掌握随机性和样本空间,概率估计和概率比较方面仍需进一步发展。

6年级学生有两种主要掌握模式,分别是:(1101)占比39.13%,这种学生掌握了随机性、样本空间和概率估计,下一步只需重点培养概率比较;(1111)占比20.77%,这种学生已完全具备该年段概率概念所有认知属性,概率认知方面不存在短板。

7年级学生也有两种主要掌握模式,分别是:(1111)占比55.12%,这种学生已掌握全部认知属性;(1101)占比31.71%,这种学生除概率比较能力较差以外,其余认知属性表现理想。

8、9年级学生均只有一种主要掌握模式(1111),其中8年级该模式占比为85.87%,9年级为76.26%,略有下降,经事后检验,下降并不显著。这种学生概率认知发展良好,在随机性、样本空间、概率估计和概率比较方面均有不错的表现,满足课标提出的学业要求,能够胜任下一阶段概率概念的学习。

比较发现,未掌握一种认知属性的学生随年级增长而减少,掌握全部认知属性的学生随年级增长而增多,说明学生概率概念的认知水平随着年级的提高逐渐完善。

(二)概率概念学习进阶的构建

本研究以属性掌握个数为标准划分进阶水平,在学习路径的基础上构建5—9年级学生概率概念的学习进阶模型,并给予不同水平的描述。

1.进阶水平的划分

从已有研究来看,进阶水平的划分没有固定的标准。本研究基于进阶测评的结果,在对不同知识状态(属性掌握模式)聚类分析的基础上,按照认知属性的掌握个数划分不同的进阶水平,并呈现群体的水平分布(见表5)。

表 5 进阶水平及群体分布

由表5可知,该学段学生的15种知识状态(属性掌握模式)按属性掌握个数划分为5个进阶水平,根据群体分布情况,近半数(45%)学生概率概念的发展达到最高进阶水平,处于中高进阶水平(水平3至水平5)的学生累计占比为94%,参与测试的学生整体水平较高,概率认知状况良好。

2.学习路径的描绘

学习路径侧重学生学习内容的认知发展过程,即不同学习知识或技能习得的先后顺序,与学习进阶的本质具有内在一致性。它建立在两个假设基础之上:一是学生的学习是循序渐进的,是由一个个属性逐渐掌握的;二是群体中不同学生之间的知识状态由低到高的发展,视作学生知识获得从无到有的发展过程。在认知诊断理论下,学习路径是指在一定的群体中,通过群体意识抽象出来的假设学习路径,是不同水平的学生在属性获得过程中呈现出来的知识状态嵌套关系[15]55。本研究基于测评结果描绘了5—9年级学生概率概念学习路径图,见图2。

图 2 5—9年级学生概率概念学习路径及进阶模型图

图2显示,知识状态(1101)和(1100)相比,处于知识状态(1101)的学生不仅掌握了知识状态(1100)的所有属性,还掌握了其它属性,可记为(1100)包含于(1101)。也就是说,这两个知识状态之间存在嵌套关系,即存在(1100)→(1101)的学习路径。照此梳理,可知图2中存在一条(0000)→(1000)→(1100)→(1101)→(1111)的学习路径(图2中显著加粗的路径),该路径展现了学生概率认知发展的其中一种过程,根据聚类后不同知识状态的学生数量表明,这是一条学生人数最多的主要发展路径(学习路径)。同时,图2中还显示了一条次要发展路径,即(0000)→(1000)→(1001)→(1101)→(1111)的学习路径(图2中加粗不显著的路径)。相比主要路径,次要路径学生数量略少,但显著多于图2还呈现的其它潜在发展路径。学习路径图表明,学生概率概念的认知发展具有多样性。

3.学习进阶的构建

在进阶水平和学习路径的基础上,根据对应关系,构建5—9年级学生概率概念学习进阶模型(如图2所示)。

4.进阶水平的描述

(1)水平1

该水平学生尚未掌握义务教育阶段概率概念的任一认知属性,无法解决该阶段的任何概率问题。

(2)水平2

该水平学生处于概率学习的进阶起点,在概率表现方面呈现出4种状态。绝大多数学生只掌握了随机性,能够区分必然事件、随机事件和不可能事件,另有极少部分学生各自分别在样本空间、概率估计和概率比较方面有所表现,需要注意这部分学生的知识状态,按照其潜在发展方向施加教学。

(3)水平3

相对水平2,处于水平3的学生在概率学习方面取得进一步发展,该水平也是学生概率发展过程中知识状态种类最多的阶段。在总共呈现的5种知识状态中,学生分布最多的是(1100)和(1001)。知识状态(1100)的学生在掌握随机性的基础上进一步掌握了样本空间,能够列出简单随机事件的所有可能结果;知识状态(1001)的学生则是掌握了概率估计,能够列出比较简单随机事件的概率大小。

(4)水平4

从图2可以看出,学生概率学习在由水平3向水平4进阶的过程中,知识状态的种类开始趋向收敛。其中,知识状态(1101)的学生分布显著多于其它3种,该状态学生已完全掌握概率认知模型一、二层级的全部3种认知属性,能够解决有关随机性、样本空间和概率估计的相关概率问题。该状态是学生概率概念学习进阶过程中的“集合点”,绝大多数学生在该状态下完成“集合”,为概率比较的学习打下基础。

(5)水平5

处于该水平的学生已经完全具备了义务教育阶段概率概念的全部认知属性,在随机性、样本空间、概率估计和概率比较方面均有不错的表现,满足《课标》提出的学业要求,为下一阶段的概率学习做好了认知准备。

综上所述,本研究基于认知诊断的视角开发测评工具,构建5—9年级学生概率概念的学习进阶模型。进阶模型中既包含了以往概率研究揭示的学生主流发展过程[16]29(即模型中加粗的路径),又在此基础上呈现了其它潜在的概率认知发展路径,拓展了学习进阶对学生概率认知发展的解释面。同时,以认知属性为最小结构单元表征学生的认知结构(知识状态),深化了学习进阶的诊断力度,切合了学习进阶的本质特征。基于属性个数划分进阶水平,将学生每一属性的习得视为其认知发展过程的一次跃迁,划分依据客观且合理。研究过程融合了验证性和演进性进阶研究范式,保证了进阶模型的结构效度。因此,本研究构建的学习进阶可为5—9年级学生概率概念的学习提供参考和依据。

四、讨论

尽管概率概念属于贯穿整个基础教育阶段的数学核心概念,但无论是在TIMSS、PISA等大型国际测评项目,还是在我国基础教育质量监测中,都发现:与“数与代数”“图形与几何”等部分相比,学生在“概率与统计”部分表现不佳。以往的研究多为对单一知识点的考察,对概率概念的内部结构关注度不高[6]4,因此,基于认知诊断的概率概念学习进阶的构建有其必要性和紧迫性。事实上,学生概念的进阶学习是一个复杂的过程,需要深入、精细地施加教学影响,才能有效地促进进阶水平的提升。因此,关注概率概念的内部结构、构建认知取向的学习进阶,成为教育测评研究和数学教育研究的共同使命。

(一)基于认知诊断的概率概念学习进阶是新一代测验理论在概率研究领域的应用

自新一代测验理论诞生以来,最具代表性的成果就是认知诊断理论。当前,认知诊断理论在概率研究领域应用较少,处于起步阶段,存在较大的探索空间。本研究基于认知诊断理论开发测评工具,对学生的认知发展实施了深度测评,在此基础上构建的学习进阶模型,不仅与以往研究结果相互印证,还在此基础上丰富了诊断信息,提升了解释效力,既做到了对学生知识状态的剖析和群体水平的定位(基于属性掌握模式),又实现了对个人过往认知过程的追溯,并预测其未来可能的认知发展方向(基于学习路径图),可作为教师补救性教学或学生个性化学习的依据,进一步提升概率学习的效率,展现了认知诊断理论在数学教育领域和基础教育阶段的良好应用前景。

(二)基于认知诊断的概率概念学习进阶揭示了学生概率认知的发展特点

本研究构建的进阶模型揭示了义务教育阶段学生概率认知“分层级多路径”的发展特点,大致分为三个层级,有两条明显的发展路径。具体而言,学生掌握“随机性”之后,在向下一认知属性发展的过程中出现了分岔,大部分学生按照研究的理论构想,先发展“样本空间”,后发展“概率估计”;还有相当一部分学生实际情况并非如此,而是先发展“概率估计”,再发展“样本空间”。本研究认为,这与我国学生计算能力普遍较强有关,侧重计算的“概率估计”与侧重列举的“样本空间”对部分被试学生而言难度差异并不显著,因此在学习路径图中出现了两条较为明显的路径:一条正如预期假设,从“随机性”到“样本空间”再到“概率估计”最后到“概率比较”,这是学生人数较多的主要路径;另一条则是从“随机性”到“概率估计”再到“样本空间”最后到“概率比较”,这条路径上的学生人数仅次于主要路径,显著高于其它潜在路径。两条路径均是以“随机性”为起点,先后分别掌握“样本空间”和“概率估计”,最终习得“概率比较”。所以,实际测评结果印证了预先构建的理论模型,即存在“随机性”为第一层级、“样本空间”和“概率估计”为第二层级、“概率比较”为第三层级的5—9年级学生概率概念“三层级分支型”认知过程模型,且主要发展路径与模型假设相同。在层级关系下,义务教育阶段学生概率概念发展路径呈现复杂的网状结构。

(三)基于认知诊断的概率概念学习进阶有助于强化认知证据的概率概念补救教学

“基于证据”的教学是对教学工作的新要求,是源于对传统教学方式和样态的反思。基于证据的教学是指为解决特定教学问题而运用一些证据验证假设、发现并得出解决问题方案的一种教学范式[17]20,它可以提高教学效果的科学性和稳定性,在补救教学方面尤为必要。补救教学作为一种事后的诊疗式教学,强调教学测评和教学施救的紧密结合,通过“测评—施救—再测评”的循环模式,加深对学生学习状况的了解,并实施针对性的补救措施,进一步缩小不同学生在学习上的差异[18]33。认知证据的补救教学就是以学生的认知状况为证据实施的补救教学,相比以往的补救教学,具有两点优势:一是证据驱动的教学方式更有利于增强教学活动的科学性,提高补救教学的效率;二是与传统补救教学以“知识点”为单元不同,认知证据的补救教学以最小教学单元为认知属性,因此可以深入细致地发挥补救教学的效果。本研究认为,认知诊断理论可为认知证据的补救教学提供理论支持。因为补救教学的诊断工作就集中在对学生认知的诊断上,运用认知诊断理论开发进阶测评工具诊断学生的进阶水平能够很好地为补救教学提供科学依据和基本思路。本研究基于认知诊断理论构建的概率概念学习进阶是概率概念补救教学的有力抓手,提供的进阶结果可作为判断教学效果的认知证据。因此,应用本研究构建的学习进阶,有助于强化基于认知证据的概率概念补救教学、促进学生概率认知的全面发展,维护个性化教育背景下的教育公平。

(四)认知取向的概率概念学习进阶是教育测评顺应时代发展的体现

学习进阶自诞生伊始就在教育测评领域得到广泛应用,从最初的知识主线发展到当前的能力主线,学习进阶在教育测评中的应用随着时代的发展逐渐深入和完善。当前,时代的发展使得公平意识已经不仅体现在公平准确地选拔精英,还在于让每一名学生都能够获得教育的充分关注[5]76。在第四次教育革命呼唤个性化学习的背景下,教育测评领域的研究重点从服务大众化选拔向个性化教育转变,测评范式面临着一场系统性变革,从“学习的评估”到“以评促学”再到“学评融合”[19]13,变革的突破在于变甄别比较为诊断改进,这就需要更加全面和深入的测评信息。本研究构建和开发的5—9年级学生概率概念学习进阶及认知取向的进阶测评工具顺应时代发展的趋势,满足教育测评新范式的要求,能够给每一名学生提供个人诊断报告,不仅能够借此判断学生个体在群体中的相对位置,还能够根据试题作答情况和认知属性掌握情况,辅助剖析个体背后的知识状态,同时还在群体学习路径图的基础上,标注出个体到达当前知识状态的过往进程以及未来的前进路径,继而根据诊断结果给出个性化学习建议,切实提高概率概念的学习效率。

概率素养是公民必备的数学素养,对概率概念的进阶研究关系到素养的落实与提升,必将在无数研究者前赴后继地推动下守正创新、深入发展。

猜你喜欢

进阶测验概率
第6讲 “统计与概率”复习精讲
第6讲 “统计与概率”复习精讲
概率与统计(一)
概率与统计(二)
传祺GM6:家用MPV新进阶
领克进阶
2018车企进阶十字诀
进阶中的北汽新能源
《新年大测验》大揭榜
两个处理t测验与F测验的数学关系