数学问题解决评价方案的构建与实施①

朱晨菲 孙 浩 鲍建生

(华东师范大学数学科学学院 200241)

1 问题提出

近年来，数学问题解决一直是国际测试项目中最重要的命题趋向，我国国家和省级学业水平测试中这类试题也在逐步加入.关于问题解决能力的评价，各类国际测试项目大多是通过同时对解答结果正确程度的判断和解答过程涉及能力成分的评价来进行综合评估[1].随着我国《普通高中数学课程标准(2017年版)》(下称“《标准》”)的颁布，数学学科核心素养的内涵和水平体系被确定.《标准》同时指出，“要开发合理的评价工具，将知识技能的掌握与数学学科核心素养的达成有机结合”并以案例的形式表明了核心素养在问题解决中的可测性[2].所以，建立指向数学核心素养测评并兼顾双基达成的问题解决评价方案是当前的重要任务.

2 评价方案的国际经验述评

本研究中的问题解决特指个体学生在某一较短时间内展开的、需连续完成的、不参考其他资料的问题解决.这类试题的评价方案通常同时包括对题目本身特征的编码方法和对学生解答的评价方法.

2.1 题目特征的编码方法

在大规模测试中，题目特征的编码由对题目本身特征的客观标记和经专家确定的标记组成.客观特征的标记便于将题目恰当放入题库的对应位置及快速提取；专家确定的标记便于将学生的解答水平与专家确定的期望水平对照.对于指定年级的题目，PISA2012标记的维度最多，包括：作答方式、考查形式、内容、认知过程、情境、期望难度六个[3]；TIMSS2015标记了上述的第二至四项[4]；NAEP2015则标记了后四项[5].值得一提的是，三项测试在认知过程上的分类差异较大，PISA2012分为数学化、应用、阐释；TIMSS2015分为知道、应用和推理，并在各类别中又进行了层次由低到高的若干二级分类；NAEP2015则分为了概念理解、操作性知识、问题解决三类.

2.2 学生解答的评价方法

2.2.1分析方式

评价学生的解答之前需要规定对解答的分析方式，从不同项目的操作过程来看，主要有三种类型：作为常规解答题最常见评价方式的分步计分法易于操作且不容易产生评分者偏差.但因过于强调各结论出现的顺序性和完整性，从而忽略了解答策略的差异性和思维过程的曲折性.等级描述法[6]的本质是质性评价，它将可能产生的解答分为若干水平并描述各水平的表现特征再将学生解答匹配至最接近的水平.这样做改变了单一的量化模式，彰显了不同解答的内在意义和思维层次，但常会因描述的不够清晰而影响评分者的判断.维度分析法目前使用广泛，尤其是在开放性问题解决上.它先将正确解答划分为若干维度，再由专家评定各维度权重并设计得分量表，继而给学生的解答评分[7].该方法既评价了解答本身也挖掘了背后的思维意义，但由于依赖于专家的认知进行规定，常遭到不够客观的批评.

2.2.2评价维度

在近年来的大规模测试中，有的项目通过依次评价学生对所有题目的解答来判别问题解决能力的总体水平，有的仅评估学生对于单个题目的解答表现.

(1)总体评价型

这种类型的操作方式是将学生的解答按正确程度和达到的能力水平逐题评分，得出解答总分后确定个体问题解决能力的综合水平.各类测试中能力水平的划分有所区别：PISA2012划分为沟通、表征、数学化、推理和论证、分析和解决问题、使用数学语言并运算、使用数学工具七类[8]；TIMSS2015划分为知道、应用、推理三类[9]；NAEP2015则是推理、联结、交流[5].由上可知，这几项测试都认为问题解决能力的高低与特定问题中所涉及能力的表现水平有关.换句话说，它们都有两个基本假设：其一，在特定问题的解决过程中，学生能够表现出能力成分的不同水平；其二，由若干能力的表现水平可以建构出学生整体的问题解决能力.

(2)单题评价型

这类评价的目的是按不同维度对学生单题的解答情况进行全面洞察，力求尽可能多地挖掘关于解答的结果和过程的意义.从维度划分上说，QUASAR用数学内容、认知过程和表征类型三个维度将解答进行划分[10]；KOM重点关注解答过程使用通用能力的覆盖度、行动半径和技术水平[11]；匈菲尔德着重用策略的使用频率与数目、程度、成功度来刻画评价解答过程中的思维倾向及程度[10].从水平划分的依据来说，除匈菲尔德关于数量多少的编码是量化的以外，其他的都是将解答与质性描述相匹配.

2.2.3编码方法

随着对评价研究的深入，在对学生解答的记录上，近年来的大规模测试通常采用双位编码制[12].双位编码的首位数字一般是对解答正确性的判断，有时还包括对思维倾向或能力层次的判断，这个编码可以直接代表得分也可以后期转化为得分.次位的诊断性编码是对学生解答方法或错误类型的标记，不用于计分，而是用于确定解答过程的特征以便进行分析与比较.这种编码方法力求全面刻画解答特征的理念，为精准评价问题解决的过程带来了革新，扩展了评价的功能，部分地实现了过程性评价.但是，它也存在着一些力所不能及.其一，“双位”仍不足以区分某些本质不同的解答情形.比如，00常被用于表示所有未被具体编码的答案，既适用于完全错误的答案，也适用于方法正确但计算完全错误的情况，还用于标识学生写下“这道题太难了”等的情况.其二，“双位”无法独立定位能力的不同水平.尽管在维度中有对于能力及其层次的划分，但编码时由于数位限制却只能将之与解答的正确程度并行考虑.其三，“双位”不能评估具有同样正确程度但使用不同思维层次解题策略的解答.综上，尽管双位编码制的确是评价研究上的进步，但是仍可以基于其理念进一步扩展其实施方法.

3 评价方案的构建与分析

基于以上论述，在汲取了已有方案的可取之处、舍弃了其中的不完善方面后，尝试规避日常评价中的若干问题，考虑到可操作性与评价效率，结合《标准》的要求与案例，设计了指向于数学核心素养测评的评价方案.接着，开展了多次的小范围实验，在梳理实验结果并听取多位专家意见后对初期方案进行了修正，得到了如下的方案：

3.1 题目特征的编码框架及其操作方法

表1 题目特征的编码框架

本部分的编码方案分为客观编码与专家编码.客观编码共分为四位，只需要识别题目包含内容的大致领域和问题的可能取向就能够进行划分，各位次的不同数字只表示不同类别.这部分编码的意义在于对题目进行定位和归类，即：一是通过读取此编码就可以了解题目的基本特征；二是将题目按此编码后放入试题库的恰当位置，当需要某类题目时就能快速提取；三是可以对编码相同的题目进行聚类研究.

专家编码需要学科专业研究和评价人员在对与思维层次有关理论和对《标准》中核心素养体系理解的基础上，结合对不同解答方法的把握来给出本题关于方法表现和素养表现的描述.具体地，方法水平需要专家针对每个题目综合考虑不同因素具体地描述三个水平在本题的表现并给出期望水平；各素养的水平参照《标准》中的描述，专家只需给出本题的期望水平及对应理由.另外，因对素养的考查本质上不是一个量化研究，因此四个权重等级的划分不具有严格的数学意义，而是对涉及程度多少的等级描述，可理解为“全部、较多、一般、较少”.专家编码除了与客观编码一样具备定位和归类的功能以外，主要指向学生问题解决的过程性评价.因为学生的解答可视作是由各能力成分综合而得的外显性表现，故通过对过程中相关能力成分的分析来寻找影响学生问题解决能力的潜在因素是可行的.在上文中，曾得到这样的基本假设：数学核心素养的高低影响着问题解决能力，方法水平的高低反映了问题解决能力，因此本方案需要专家确定的两个维度是方法水平和素养水平.之所以没有以建模阶段为序来逐段评价，一是因为本研究中界定的问题解决不完全等同于数学建模；二是因为学生问题解决的过程不是线性的，依序模式忽视了思维的曲折性及元认知的作用，某阶段所规定的某个指标可能因个体差异而在其他阶段出现；三是依序模式无法对学习指导提供有针对性的导向，造成某阶段表现不佳的因素可能有很多，不聚焦于某个因素将降低教学补偿的有效性.

3.2 学生解答的评价框架及其操作方法

表2 学生解答的评价框架

注：“计分”中单题总分以10分计，其他总分按此比例换算.

本部分分为评分方法与诊断方法两个类别.前者一方面用于评估学生解答的实际表现并计分；另一方面用于揭示学生解答过程中思维和素养的特征，从而有助于个体能力建模和群体能力聚类.后者采用双位编码制的理念标识解答方法的类型，不仅是对前者的补充，也是对同类题目解答特点的归类，可供给进一步的研究分析和展开指向明确的学习指导.

评分方法在维度划分上分为方法表现、素养表现、双基表现三个部分，前两项与题目特征编码方法中专家编码的两个维度一致，水平中增加了“低于复制”和“低于水平一”是用于标识未达到最低水平的情形.双基表现指对基础知识和基本技能的表现，这一维度的加入是因为合理解答方案的获得以对数学知识的正确理解为基础，以技能的正确操作为保障.在方法表现水平与素养表现水平的确定上，以专家制定的等级描述为依据，通过学生实际表现与各水平描述的比较，找到最匹配的一项从而判定学生解答的水平.本方案中，对解答正确程度的考查分布在了方法表现与双基表现两个维度中：在方法表现中只考虑其所代表思考方案本身的正确程度，而将思考方案付诸实施时的实际成功程度属于双基表现的范畴.分离方法与双基两个成分对解答正确程度的影响，一方面是为了明确学生产生错误的原因从而使教学补偿更为精准，另一方面是由于方法的正确程度比双基的正确程度更能体现学生的问题解决能力，二者的分离使得能力高低的指示更为清晰.

当将评分编码转换为具体得分时，本方案力求使得所得总分的高低尽量能表明学生问题解决能力的高低.计分方法制定的原则有三条：其一，基于上文假设，学生的方法表现和素养表现比双基表现更能够测评学生的问题解决能力；其二，对于素养和方法的计分，需符合《标准》中案例的满意原则和加分原则；其三，需考虑到不同素养在解答中的权重.于是，在分值的分配上就体现出三个特点：第一，前两维度分值大于第三个维度；第二，按0、1、2、3分分别赋值给方法表现和素养表现中的四种情形；第三，对素养表现计分时，将权重量化计分.

4 评价方案的实施案例

4.1 试题呈现

某地规定未设电梯的多层既有住宅可增设电梯.在增设前，全体住户需就增设电梯工程费用分摊方案达成书面协议.小明家所住楼房总共七层，每层两户，每户都有人居住.

以下是一些相关信息：

(1)工程费用：除去政府补贴，增设一部电梯还需44万元，此费用由住户承担.

(2)住户差异：①低层住户无需或较少使用电梯，且安装电梯后会不同程度影响其生活；②同一楼层的两套房屋中，一套90m2，一套60m2.

(3)房屋均价：①未安装电梯时，该楼房均价3万元/m2；②增设电梯后，房价会有升有降，但比相同情况下的非电梯房最多上升10%.

请选择合适信息，结合可能存在的其他因素，为该楼房设计增设电梯工程费用分摊方案并阐述方案的合理性.

4.2 评价方案呈现

本题命题后经多位专业人员(教授、教研员、中考命题人、教师)修改并确定了采用上文所构建方案制定的本题评价方法，之后在南京市城市、农村各一所学校的初二年级实施了共计267个样本的测试并评价了每份答卷.现将本题评价的实施方法呈现如下：

4.2.1题目特征的编码方法

表3 案例中题目特征的编码方法

续表

4.2.2学生解答的评价示例

以下通过几则示例来部分地呈现对具体学生解答的评价方法及其实施.因诊断编码只包含序号，故此处未呈现.

(1)示例一

表4 示例一的评价方法

(2)示例二

表5 示例二的评价方法

续表

(3)示例三

表6 示例三的评价方法

5 讨论与展望

5.1 讨论

本方案指向于评价学生的问题解决能力，评价目标多元、评价方式多样，既考查了素养水平，也诊断了思维层次，还分析了双基能力、定位了方法类型，能够实现对问题解决结果与过程的综合评价，并力求借此评价个体学习者在以双基能力为底部支撑、核心素养为中坚力量、思维能力为最高层次的数学能力体系中的不同表现水平.

本方案吸收了PISA、TIMSS等测试项目中对于数学能力、思维水平、问题解决能力之间关系的假设并有选择地参考了它们在客观编码、方法水平方面的划分，依据了《标准》中数学学科核心素养体系进行了素养水平的匹配，适当保留了传统评分方法中的部分操作，基于双位编码制的理念分离了解题过程中方法层次与类型、素养水平、双基能力三种成分对于获取完善解答的影响并尝试量化了这些影响.

上述基于方案的案例，一方面通过方法水平在个体题目中的描述和核心素养的测评应用于实际情境时的细化方式指示了本方案的具体操作方法，从而进一步阐释了方案的合理性；另一方面用三个不同水平的评价示例展现了具体评价过程，由此说明了方案实施的可行性与公平阅卷的可能性.

5.2 展望

本方案对不同群体都有意义，有利于达成教、学、评的一致性.对学生而言，此方案分析了影响学生问题解决因素的不同程度，承认他们思维的正确倾向以及闪光点，以一种积极的态度鼓励学生学会在习得数学核心素养的过程中使用数学.对教师而言，此方案诊断了不同学生在不同能力类别及具体成分上的差异，能同时得到以学定教的依据和教学效果评价的证据.对研究者而言，此方案产生了大量可供研究的素材，从素养、思维、双基的不同到期望水平与表现水平的差异再到方法使用的倾向性都可以由方案得到的结果比较差异、寻找证据、实施干预、评价效果.

尽管本方案尝试将问题解决能力的评价全面化、具体化，也尽量注意了可操作性和实施效率，并规避了已有其他方式中的不完善、不便利之处，但仍然存在一些可能的改进之处.其一，题目特征的编码稍显冗长.尽管这既是出于对题目客观特征和专家拟定标准进行明确标识的考虑，也是为了提高方案本身的科学性与完整性、计分的便捷性，还是简化学生解答编码的有效方式.但是，仍可以尝试在保证上述三项优点的情况下寻找更合适的编码方法.其二，目前的计分方式停留在将表现水平与专家标准进行匹配的情形，如果能够实现基于期望水平与表现水平的差异来计分则能更明确地体现不同分数所代表的能力差别.其三，专家确定的能力描述和期望水平以及评分者的评分信度是方案实施的重要保障，因此在不同题目的评价过程中，需要尽量保证专家编码的准确性并进行评分者培训以减小评分者差异带来的影响.