基于计算机的PISA2015协作问题解决能力测试

杜盟 杨涛 辛涛

（北京师范大学，北京 100875）

在教育和工作中，协作问题解决（collaborative problem solving）是一项十分重要的能力。在未来的职业生涯中，学生需要较强的团队协作能力，以解决工作中的难题[1]。不仅如此，协作问题解决技能对于个人的活动也至关重要。为此，2015年的国际学生评估项目（Program for International Student Assessment，PISA）进行了协作问题解决能力测试。协作问题解决是交互的，在测试中既要考虑到学生如何理解问题，又要兼顾学生与他人的互动过程。协作问题解决概念的核心是在团队中能够熟练处理不同环境的新问题，传统的纸笔测验无法进行此类过程性的评价。PISA2015基于计算机开展协作问题解决能力测试，是一项创新之举。

1 PISA2015协作问题解决能力测试框架

在PISA2012个人问题解决的框架中，问题背景（problem context）、问题状况的本质（nature of problem situation）、问题解决过程（problem solving process）是3个重要的概念[2]。PISA2015协作问题解决能力测试沿用了PISA2012个人问题解决中的问题解决过程，即探索与理解、表征与制定、计划与执行以及监控与反思[1]。此外，PISA2015协作问题解决能力测试还涵盖了协作能力的考查，并参照相关研究成果，提炼出协作问题解决能力的3个核心特征，即建立并达成共识、采取合适的行动解决问题以及建立和维持团队组织形式[1]。在协作问题解决中，考生必须同时展现个人问题解决过程与协作问题解决能力。4个问题解决的过程与3种核心的协作问题解决能力交织形成了12种类型的技能矩阵。在协作问题解决能力测试中，每道题目都会考查一个或者多个技能，通过安排多种任务最后完成上述12种能力的测评。

2 PISA2015协作问题解决能力测试的工具分析

2.1 PISA2015协作问题解决能力测试的结构

PISA2015共开发了3套测试考生协作问题解决能力的测验，每个测验都由一些单元（unit）组成，每个单元的设计均为考生与计算机“代理人”互动的场景。这些单元的题目通常需要在固定的时间（5～20 min）内作答完毕，每个单元可以由多个部分（part）组成，每个部分包括10～30道题目。有些题目要求考生通过点击某个选项实现与“代理人”的对话，另一些题目则要求考生点击某个区域并根据与“代理人”合作收集的信息提供问题的解决方案。

2.2 PISA2015协作问题解决能力测试的“代理人”设计

在PISA2015协作问题解决能力测试中，计算机“代理人”扮演了很重要的角色。这里，“代理人”指的是人类或计算机模拟的参与者。这2种情况的“代理人”都能够生成目标，执行操作，传达消息，对来自其他参与者的消息作出反应，还能感知、适应不断变化的环境[3]。选择计算机“代理人”与考生进行互动的原因是，计算机“代理人”更能被精确地控制，并改变其状态与特征，从而保证测试的可操作性，在有效的时间内考查考生协作问题解决能力的各个方面。每个单元都会有一个或更多的“代理人”与考生合作，考生或“代理人”在每个问题阶段下的交流与操作都会被预先确定，从而确保能够客观评价考生所有的作答反应。不同考生的反应可能会导致“代理人”选择不同的谈话路径或不同的操作，例如，“代理人”可以根据考生的选择增加或减少任务，或者根据考生的请求额外提供一些信息。

为在不同的环境中考查考生的协作问题解决能力，考生需与不同的“代理人”合作，从而覆盖协作问题解决能力中的各项技能。例如，一道题目要求考生监督其他“代理人”的工作，当“代理人”偏离任务时，考生应提醒他根据任务要求进行讨论，并提供一些反馈信息使其明确讨论的重点。这道题目测量考生协作问题解决中监控、提供反馈以及适应团队组织和角色的技能。有的任务还涉及高协作性“代理人”（支持、赞扬其他团队成员）或低协作性“代理人”（打断、否定其他团队成员）与考生产生意见不一致的情境，如2个“代理人”都达成了一致的想法，但是这个想法违背了任务要求，此时考生需要提醒团队成员按照既定的标准完成任务。这道题目考查考生协作问题解决中监控和完善共同理解的技能[4]。

2.3 PISA2015协作问题解决能力测试的题目设计

PISA2015协作问题解决能力测试中有一个标题为The Visit的单元[4]，包括3部分44道题目，考生平均完成的时间为17分钟。该单元的任务情境是一群国际学生来参观学校，考生必须与3名代理队员合作，计划参观的景点，为参观者分配导游，解决突发事件。相关题目会显示在计算机界面上，界面的左侧是聊天区域，下方呈现了一组聊天选项，考生需要选择最合适的语句与“代理人”进行对话。随后，选择的选项会呈现在上方的聊天记录中，“代理人”会根据考生的选项主动作出回应，学生也可以滚动浏览历史记录以获取需要的信息。因为考生在每道题目上的选择不尽相同，所以一个单元最终会有多条的路径结果。为了防止任何不正确或欠佳的选择影响学生在任务中的进展，每个单元都设计了救援代理以更改团队的行动进程，确保测评能继续进行[5]。界面的右边是任务区域，在该区域学生可以查看“代理人”的笔记，关注任务的进度，为完成任务进行各项操作。

PISA2015协作问题解决能力的题目设计具有以下特点：1）互动性。考生通过与“代理人”沟通交流，可以实现信息的共享与交换。在交换信息的过程中，考生更易发现自己的问题，从而有效地解决问题。2）多样性。题目不仅包含了多种任务类型，如拼图（jigsaw）、建立共识（consensus-building）与协商（negotiation），而且问题的解决方案也不止一种，在达成最终的解决方案前考生可以作出不同的决定。3）真实性。所有的任务均为真实的生活场景，如带领外国同学参观景点，回答某个国家的地理、人口与经济学的相关问题等，使得测评可以更加接近学生的真实技能。4）动态性。学生和小组成员不是在一开始就接收到所有的问题解决信息，而是随着场景与问题的展开陆续地收到重要信息，不同的状态对应的题目难度也不尽相同。这种设计更能反映出不同水平考生的协作问题解决能力。

3 基于计算机的协作问题解决能力测试的特点

3.1 公平性

协作问题解决的本质是团队成员间的相互依赖，成功解决问题很大程度上依赖于每一个团队成员的合作努力。在测试环境中，考生如果被分到一个有问题的小组，那么这个小组就会对这位考生的成绩有十分消极的影响。有研究表明，小组的构成对于考生的成绩有很大的影响，特别是性别的平衡、能力、个性与地位特点[6-8]。为确保测验的公平性，需要将每一位考生匹配到具有相同数量的成员组，且这些成员的能力是在相同的范围内。PISA测试作为国际大规模测试，很难随机匹配到具有上述要求的真实考生。因此，用计算机“代理人”作为测评协作问题解决能力的方法可以确保整个团队成员的能力都在一定范围内，在实现了测验公平性的同时，也确保了测验的高度标准化。

3.2 全面性

基于计算机的协作问题解决能力测试可以确保考生和多种类型的小组进行工作，从而可以测评出学生更多的能力。传统的人与人合作的表现性评价形式导致考生面对的小组成员是固定且有限的，只能在一个情境中考查学生的协作问题解决能力；而基于计算机测试的这种形式会生成不同类型（如高协作型和低协作型）的计算机“代理人”，他们可以在不同情境与不同任务类型中与考生进行团队合作。在执行任务时，计算机系统还会给考生设定不同的任务角色，如某个任务可能要求考生扮演监督“代理人”的角色，其他的任务可能是学生和“代理人”产生分歧的同伴角色，相比于传统的人人互动，计算机测试可以更全面考查学生的协作问题解决能力。

3.3 高效性

当考生与其他真实的学生相互合作时，通常会需要相当长的时间来介绍活动的要求，讨论合作任务的性质并分配任务角色。同时，小组成员间还可能需要花费大量的时间来追求一个徒劳的问题解决路径。在基于计算机测评的过程中，“挽救代理人”会通过有策略性的对话管理，快速融入到合作情境中来实现合作互动的严格控制，从而能够在测试时间有限的情况下获得大量的有效评估事件。例如，当小组把太多的时间花费在一个无意义的解决路径上时，“挽救代理人”会重新调整小组行动方案的方向，确保测试未偏离最初的测试目的，以高效准确地测试学生的协作问题解决能力。

4 启示

PISA2015年对于学生的协作问题解决能力的测评完全脱离了传统的纸笔测验，且全部题目均以基于计算机化的形式呈现。反观目前我国的大规模教育质量测评形式，主要还是集中在纸笔测验，未来可以考虑根据不同的测验目标开展不同形式的测验，以更加全面地测评出学生的表现，进而准确地评估学生在某一方面的真实能力。

PISA2015协作问题解决能力测试在题目的设计上采用短语对话的方式来进行考生和计算机代理之间的交流（预设的固定单词和短语在每个情境下以菜单的形式显示，考生通过选择这些单词和短语来构建对话）。这种设计可以避免考生把大量的时间花费在无意义的对话上，且设置的对话均与某种协作问题解决的能力相关，使得测验可以高效地进行。而且，固定的短语选项保证了评分的客观性，明确的材料与简短的任务描述均可减少考生对于阅读熟练程度的依赖性，保证了测验的公平。我国在进行大规模的能力测验时也可以借鉴这种题目的呈现方式，从而保证测验的效率、客观性与公平性。

此外，我国在进行大规模监测时需加强测量理论与信息技术的融合，加入人工智能等高新科技来实现监测技术的变革与创新，使我国的教育质量评估在学生眼中不再是枯燥的考试，而是让他们乐在其中并不断获得知识的游戏，进而提高学生的投入度与参与度，真实有效地达到测试目的。