高考生知识掌握水平的诊断研究

李金波 朱玉玲

高考生知识掌握水平的诊断研究

李金波 朱玉玲

运用认知诊断技术，对高考生在理科数学知识上的掌握状况进行诊断。发现考生在函数、概率统计、不等式和数列等知识上掌握较好，导数掌握最差；女生在函数、导数、三角函数和不等式上的掌握情况优于男生，男生在立体几何、解析几何、概率统计、数列和其他知识上的掌握情况优于女生；城镇考生在各项知识上的掌握情况均优于农村考生；省会城市所在地考生的知识掌握情况优于地市所在地考生，地市所在地考生优于乡镇考生。

知识；高考；认知诊断；规则空间模型；诊断

目前对学生知识掌握水平的评估主要还是通过考试的方式。而考试往往只是提供一个分数（或分数等级）来反映学生的知识水平；从中很难看出学生掌握了哪些知识，还未掌握哪些知识，他们的知识掌握究竟达到了何种水平。如果能在分数的基础上对学生的知识掌握状况作进一步的诊断，则可以为学生、教师和学校提供更多的反馈信息，促进学生学习和教师教学质量的提高。另外，新课改首次将评价改革列为改革目标之一，希望建立评价学生全面发展的指标体系。如果能在考试的基础上对学生的知识结构进行诊断，则无疑对“改变课程评价过分强调甄别与选拔的功能，发挥评价促进学生发展、教师提高和改进教学实践的功能”具有重要的促进作用。

为了对学生进行更全面、客观、深入的评价，考察隐藏在分数背后的内部认知过程，在传统测量理论的基础上，人们将认知科学与教育测量理论相结合，开发出许多认知诊断模型。通过这些模型，将认知变量直接融合进测量模型之中，对学生在解题过程中的认知加工过程进行研究，诊断出学生实际掌握了哪些知识技能，推测学生的各种具体知识技能达到了何种水平，还存在哪些认知缺陷，从而可以为学生提供更为有效的诊断和评价。目前，认知诊断模型在一些领域已经得到了成功的运用。在国外，学者们将认知诊断模型运用于数学、医学、建筑学和语言学等学科的认知错误诊断及计算机自适应测验。例如，Birenbaum等（1993）应用规则空间模型诊断学生在带指数的数的乘除方面的知识状态，将学生归入了25种属性掌握模式，为学生提供了很多诊断信息[1]。Tatsuoka等（2004）探索了规则空间模型在TIMSS-R中的应用，比较了20多个国家的8年级学生参加TIMSS-R数学考试的情况，为学生作出诊断性评价，发现不同国家的学生在技能掌握和认知方面存在很大差异[2]。在国内，余嘉元（1995）运用规则空间模型对初中学生在解不等式中存在的认知错误进行识别，确定了学生解不等式18种典型错误反应模式，证实了学生在解不等式中所犯的认知错误[3]。戴海琦，张青华（2004）运用规则空间模型对文科大学生统计学学习的掌握模式进行诊断，分析其在哪些知识点上掌握的比较好，哪些知识点上掌握的不够好，并对学生和教师提出了补救意见[4]。刘启亮（2008）运用规则空间模型对学生初三化学化合物有关知识掌握情况进行了诊断[5]。但综观国内外已有的关于认知诊断应用的研究，大多还是集中在属性层级简单的小规模应用领域。在我国的大规模教育考试（如中考、高考）中，还未见认知诊断应用的相关报道。基于此，本研究以高考为研究对象，选取某省高考理科数学试卷和部分数据，利用认知诊断中的规则空间模型，对高考生在数学知识上的掌握状况进行诊断，以推广认知诊断技术在大规模考试中的应用。

1 高考生整体的知识掌握模式诊断

1.1 确定试卷考查的知识属性及属性间层级关系

组织学科专家组对试卷所考查的知识属性进行分类，确定立体几何、解析几何、函数初步、统计与概率、导数、三角函数、不等式、数列和其他知识共9项知识属性，其中其他知识项包括集合、简易逻辑、记数原理、复数、算法初步、向量等知识。并对这9项知识属性间的关系进行逻辑分析，确定它们之间的层级关系（见图1）。

图1 知识属性的层级关系

由学科专家组对试卷每道试题（项目）所考查的知识属性进行分析，结果见表1。

表1 项目知识属性

由表1可知，第1题主要考查不等式和集合等其他知识，第22题主要考查函数初步、导数、数列等知识。

1.2 确定邻接矩阵、可达矩阵

根据表1和图1标定的9项知识属性之间的层级关系，可以得到各项知识属性的邻接矩阵（见表2）和可达矩阵（见表3）。

表2 各项知识属性之间的邻接矩阵

表3 各项知识属性之间的可达矩阵

1.3 确定事件矩阵、缩减事件矩阵、典型属性模式

知识属性共9项，属性组合的可能项目集（即事件矩阵Q）的项目类型数应有29-1种（由于数目较大，不在此列出），但由于这些属性之间存在一定的层级关系，所以根据属性间的层级关系，可获得9×271的缩减事件矩阵（见表4，其中1表示该项目含有该属性，0表示该项目不含有该属性）。

表4 缩减事件矩阵

对缩减事件矩阵进行转置可以得到典型属性矩阵（见表5），加上考生知识属性掌握全为0的情况，共272种可能的考生典型知识属性掌握模式。

表5 典型知识属性掌握模式矩阵

1.4 确定理想项目反应模式

1.4.1 客观题的理想项目反应模式

根据考生所有可能的典型知识属性掌握模式和项目的知识属性可得到与其相对应的在没有失误情况下17道客观题的理想项目反应模式（见表6）。

1.4.2 主观题的期望项目反应模式

数学试卷的主观题部分（第18至22题）为多级评分试题。对多级评分的认知诊断研究，参考罗欢,丁树良（2009）关于属性不等权重时的属性分数权重的计算方法[6]。可进一步确定多级评分的期望项目反应模式（见表7）。

表6 客观题理想项目反应模式

表7 主观题期望项目反应模式

1.5 规则空间构建和模式识别

关于认知诊断的分类方法，传统多通过计算马氏距离，根据马氏距离的大小来将考生的知识掌握模式进行归类。近年来国内外在此基础上也开发了其它一些分类方法。例如，曹慧媛，丁树良（2009）使用神经网络进行认知诊断分类，通过仿真实验表明，与以往的模式分类方法相比，神经网络方法不仅具有较高的归准率而且更具有自适应性和鲁棒性[7]。因此，本研究随机抽取10 000名考生作为样本，利用BP神经网络建模方法对样本考生的知识掌握模式进行识别，其中，典型属性掌握模式人数（比例）较大（取比例大于1.5%）的见表8。

由表8可见，在所有的10 000个考生样本中，成功将考生进行掌握模式归类的有9 643名，比率为96.43%。这个比例大于一般认为的90%成功分类比例的标准，意味着神经网络技术在模式识别中得到了成功的运用。

从表中可以看出，考生的知识属性掌握模式比例较高的有第209、245、267种等属性模式。这几种模式对应的知识属性分别为（101100111）、（111100111）、（111110111）。也就是说，属于第209种典型模式的考生较好掌握了立体几何、函数初步、概率统计、三角函数、不等式和数列，但解析几何、导数和其他知识掌握不理想。其他模式可以以此类推。其中，比例最高的是第267种属性模式，该部分考生除对导数部分掌握不够理想外，对其他部分知识属性掌握均比较好。

表8 高考生的知识属性掌握模式

表9 考生在各项知识属性的平均掌握情况

如果对考生的各项知识属性的平均掌握情况进行统计，结果见表9。从表9可以看出，考生在9项知识属性上的掌握比例从93.47%到9.34%不等。其中，掌握程度最高的是函数初步，掌握程度最低的是导数部分，其他7种属性在56%～78%。

2 不同高考生群体的知识掌握模式比较

按照相同的诊断方法，可对不同考生群体的知识掌握模式进行比较分析。

2.1 城乡考生知识掌握模式的差异

随机抽取城镇和农村（按户口所在地划分）考生各5 000名，分析其知识掌握模式，其与整体相对应的部分结果见表10。

由表10可见，城镇、农村考生成功归类的比例比较接近，分别为96.8%和96.6%。均达到较高的水平。再对比各种典型知识属性的考生比例，无论是城镇考生还是农村考生，考生的知识属性掌握模式比例较高的均为第209、245、267种等属性模式。但城镇考生与农村考生在具体知识属性掌握上还是存在一定的差异。例如，在第272种典型模式（111111111）上，城镇考生的比例要高于农村考生（分别为2.6%和1.6%），即掌握所有知识的考生人数城镇多于农村；而在第99种典型模式（001100011）上，则是农村考生人数多于城镇考生（分别为2.2%和2.3%），即农村考生中掌握函数初步、概率统计、不等式和数列理想人数多于非城镇考生，而在立体几何、解析几何、导数、三角函数和其他知识上掌握不理想的人数要高于城镇考生。即在低端知识掌握属性，农村考生的比例要高于城镇考生。

如果对城乡考生的各项知识属性平均掌握情况进行统计，结果见表11。

从表11可以看出，无论是城镇考生还是农村考生，掌握比例最高的是函数初步，而导数部分的掌握比例最低。在9种知识属性中，城镇考生在所有知识属性上的掌握比例均高于农村考生。

表10 城乡考生的知识掌握模式比较

表11 城乡考生在各项知识属性上的平均掌握情况

2.2 不同地域考生知识掌握模式上的差异

随机抽取省会所在地、地市所在地和乡镇所在地考生各5 000名，分析其知识掌握模式，结果见表12。

由表12可见，不同地域考生成功归类的比例总体上比较接近，省会所在地考生的归类率稍高于地市所在地和乡镇所在地考生。再对比各种典型知识属性的考生比例，无论是城镇考生还是农村考生，考生的知识属性模式比例较高的同样是第209、245、267种等属性模式。但不同地域考生在具体知识属性上还是存在一定的差异。例如，在第272种典型模式（111111111）上，省会所在地考生的比例要高于地市所在地和乡镇考生（分别为2.8%、2.0%和2.0%），即掌握所有知识的考生人数省会所在地考生比例最高，地市所在考生和乡镇考生较低。而在低端掌握模式，如第99种典型模式（001100011）上，则是地市所在地考生和乡镇考生人数比例较高。

如果对不同地域考生的各项知识属性平均掌握情况进行统计，结果见表13。

从表13可以看出，无论是省会所在地考生还是乡镇考生，掌握比例最高的同样是函数初步，而导数的掌握比例最低。省会所在地考生在各项知识属性上的掌握比例均高于地市所在地和乡镇考生，而地市所在地考生则高于乡镇考生。

2.3 男女考生知识掌握模式的差异

分别抽取男生和女生各5 000名，分析其知识掌握模式，结果见表14。

由表14可见，男女考生成功归类的比例比较接近，分别为96.02%和97.40%。均达到较高的水平。再对比各种典型知识属性的考生比例，无论是男生还是女生，考生的知识属性模式比例较高的均为第209、245、267种等属性模式。但男生与女生在具体知识属性上还是存在一定的差异。例如，在第272种典型模式（111111111）上，男生的比例要高于女生（分别为2.4%和1.7%），即掌握所有知识属性的考生人数男生多于女生；而在第99种典型模式（001100011）上，则是女生人数多于男生。

表12 不同地域考生的知识掌握模式比较

表13 不同地域考生各项知识属性的平均掌握情况

如果对男女考生的各项知识属性平均掌握情况进行统计，结果见表15。

从表15可以看出，无论是男生还是女生，掌握比例最高的还是函数初步，最低的是导数。在9项知识属性中，男生在立体几何、解析几何、概率统计、数列和其他知识上的掌握比例高于女生，而在函数初步、导数、三角函数、不等式上则是女生高于男生。

3 结论

通过建立规则空间模型，对高考生整体及不同高考生群体的知识掌握模式进行诊断，可得到以下一些初步的结果。

3.1 高考生对各项知识属性的掌握程度差异明显

考生的典型知识掌握模式共有272种，96%以上的高考生可以归属于相应的典型知识掌握模式，并且不同典型知识掌握模式的人数比例从0到16%不等。从整体来看，考生掌握程度最高的是函数初步部分（93%以上），掌握程度最低的是导数部分（不到10%），其他7项知识属性的掌握率在56%～78%。全面掌握各项知识的考生比例约为1.7%。分析导数部分掌握情况较低的原因，可能与导数所考查的最后22题有一定的关系。

3.2 不同高考生群体的知识掌握模式存在不同程度的差异

城镇考生在高端知识掌握模式（如掌握所有知识）上的比例高于农村考生，而在低端知识掌握模式上则是农村考生的比例高于城镇考生；并且在所有9项知识属性中，城镇考生的掌握比例均高于农村考生。

省会所在地考生在高端知识掌握模式（如掌握所有知识）的比例要高于地市所在地考生和乡镇考生，而在低端知识掌握模式，则是地市所在地考生和乡镇考生人数比例较高；省会所在地考生在各项知识属性上的掌握比例均高于地市所在地和乡镇考生，而地市所在地考生则高于乡镇考生。

表14 男女考生的知识掌握模式比较

表15 男女考生在各项知识属性上的平均掌握情况

男生掌握所有知识属性的人数比例多于女生；在9项知识属性中，男生在立体几何、解析几何、概率统计、数列和其他知识上的掌握比例高于女生，而在函数、导数、三角函数、不等式上则是女生高于男生。

总之，根据高考生知识掌握模式的分析结果，我们可以了解高考生掌握的和未掌握的知识属性。据此可以帮助考生认识到自己的学习情况，可为学生填报高考志愿和高校录取新生提供有效的参考。

[1]Birenbaum M,Kelly A E&Tatsuoka K K.Applying an IRT-based cognitive diagnostic model to diagnose students’knowledge states in multiplication and division with exponents.Applied Measure⁃ment in Education.1993,4:328-342.

[2]Tatsuoka K K,Comer J E&Tatsuoka C.Patterns of diagnosed mathematical content and process skill in TIMSS-R across a sam⁃ple of 20 countries.American Educational Research Journal.2004,4:901-926.

[3]余嘉元.运用规则空间模型识别解题中的认知错误[J].心理学报，1995（2）:196-203.

[4]戴海崎,张青华.规则空间模型在描述统计学习模式识别中的应用研究[J].心理科学,2004，27（4）:949-951.

[5]刘启亮.规则空间模型在初中生化学知识学习诊断与补救中的应用研究[硕士论文][D].南昌：江西师范大学,2008.

[6]罗欢,丁树良.认知诊断中属性权重的研究——以多级评分AHM为例[硕士论文][D].南昌：江西师范大学,2009.

[7]曹慧媛，丁树良.人工神经网络在认知诊断中的应用研究[硕士论文][D].南昌:江西师范大学,2009.

The Research of Diagnosing High School Candidates’Knowledge-mastery Level

LI Jinbo and ZHU Yuling

Using cognitive diagnosis technology to diagnose high school candidates’mastery situations on science mathematics knowledge.And find that the candidates are better at function,probability statistics,inequality,series,etc.among them derivative come the worst.Female candidates do better than male candidates on function,derivative,triangle function and inequality,while male candidates do better than female candidates on solid geometry,analytic geometry,probability statistics,series and other intellectual.The grasp of knowledge attributes of the town candidates are superior to the rural students.Candidates who come from capital cities do better than those from district cities,and candidates who come from district cities do better than those from townships.

Knowledge；College Entrance Examination；Cognitive Diagnosis；Rule Space Model；Diagnosis

G405

A

1005-8427(2012)02-0014-8

本文为全国教育考试“十一五”科研规划重点课题（编号：2009JKS2070）部分成果。

浙江省教育考试院
杭州师范大学