认知网络分析法：STEM教育中的学习评价新思路*

吴 忭 王 戈 盛海曦

（华东师范大学 教育学部 教育信息技术学系，上海 200062）

一、引言

在知识与经济全球化的时代背景下，科技创新愈发成为国家竞争力的关键要素。培养创新型、综合性人才成为各国教育的重要内容，尤其是美国发起的STEM教育在世界范围引起了各国的广泛关注。2016年，STEM教育被纳入我国 “国家战略发展政策”，成为我国进一步深化教学改革、创新人才培养模式和选拔模式、提升学生科学与创新素养的重要抓手。STEM教育，包含科学、技术、工程和数学四门学科，但并非上述四门学科的简单组合。它是一种面向真实世界，以问题为导向的严谨而系统化的学习方式，学习者在STEM学习期间需要贯通多学科知识，训练解决问题所需的技能和素养，以获得个体竞争力的提升。

近年来，STEM课程的教学设计和教学实践备受关注，STEM学习评估也逐成为了研究的焦点。由于STEM教育中的跨学科性和项目式学习方式，使得STEM教育的能力评估颇具挑战。无论是对学生成果作品的评价还是质性话语分析，都无法精确解答、全面评估学生的专业思维发展，因此，需要采用新式的分析方法，为研究者提供新的思路。在此境脉下，认知网络分析 （Epistemic Network Analysis，ENA）作为测量STEM思维发展水平的科学教育测评工具应运而生[1]。

ENA是一种通过对话语数据进行定量分析，来描述个人（或团体）认知框架模式的分析方法[2]。其具有分析多维度数据动态、耦合关系、深度挖掘数据、动态评估学习者的专业思维发展的显著特征。具体来说，ENA通过构建网络模型，来描述个人 （或团体）使用的概念在学习行为数据中相互关联的方式。它记录了特定领域专业思维要素之间的发展和联系。简单来说，ENA可以将复杂的认知结构通过网络图来表征。这些专业思维要素以网络节点来表示，并通过节点间连接的强度和网络结构的变化，来表征思维要素的发展变化。研究者可以利用这种可视化表征方式，获得对专业思维发展的评估[3]。

二、ENA的理论框架

（一）以证据为中心的教育评价模式

“以证据为中心”的评价设计模式 （Evidence-centered Design，ECD）是 1999年美国梅斯雷弗（Mislevy）等人提出的关于系统性地进行评价设计的模式，其作为设计、制作和提供教育评估的原则框架，被广泛应用于教育心理测评领域[4]。2005年，他们进一步完善了ECD模式，并提出ECD是一个使评估论证的结构、元素、实例化过程以及他们之间的关系变得明确的框架[5]。ECD包含三个关键组成部分：领域分析、领域建模和概念评估。领域分析指的是关于特定领域的信念、能力以及专业知识的信息；领域建模指的是能够证明学生熟练程度的证据结构；概念评估指的是能够分析学生熟练程度的评估工具或评估模型。三者之间的内涵与联系，如图1所示：

图1 ECD模式的关键组成部分[6]

（二）认知框架理论

在使用ECD模型作为评估框架时，研究者首先需要确定专业领域的能力维度，并构建领域能力模型。以STEM教育为例，其教学目标不仅要使学生掌握科学、技术、工程和数学领域的学科知识，更重要的一项内容是要培养学生具备专业思维模式，包括专业的知识技能、学科认识论能力、专业的态度素养以及对专业的认同感等。例如，像工程师一样分析问题并形成解决问题的方案。而专业能力模型的各个维度不是孤立的，而是相互协同、共同发展的。例如，科学家需要具备一定的学科知识以及基本的科研方法，才有可能利用已掌握的研究方法，来探索未知的领域，进而获取新知；而随着科学家科研经验的积累，他们在不断探索新知识、新方法的同时，也在养成严谨、批判、不断追求探索的科学素养；科学素养的养成又有助于科研工作的有效开展，并促进学者对其科研领域认同度和归属感的提升。

从整体上看，这些相互依赖的能力维度，是领域新手（即学习者）通过参与共同体的学科实践活动，相互促进、协同发展起来的。换言之，通过社会性学习的沟通合作，学习者逐步构建起个人的专业能力之网，称为认知框架（Epistemic Frame）[7-8]。

在新手成长为领域专家的轨迹上，个人认知框架（即专业能力模型）的结构，向着更完善的方向发展，包括学生学习表现所展现出的新的能力维度，以及不同能力维度之间关联的强弱变化。因此，构建能力模型，不仅要从实践共同体的互动行为和社交沟通中获取学习证据（即可识别的能力维度），还要利用学习过程所呈现的证据序列，建立学生各能力维度之间共生演化的关联结构。

三、ENA的建模及分析步骤

从理论上而言，通过有效建模学习者的专业认知框架，我们可以获得对于专业能力的全面评估，而在操作化层面还存在两个技术难题：第一，如何从实践共同体的互动过程中识别学习证据及其意义的诠释；第二，如何透过可识别的学习证据序列，提供认知框架元素之间关联的量化表征。

ENA为上述问题提供了一种解决方案。ENA在对共同体互动过程所进行的会话记录与编码 （识别能力维度的证据）的基础上，创建了一个基于共同体会话的网络关系模型。其中，“网络节点”代表框架元素，通过计算这些节点之间的关系结构与强弱，研究者可以观察到，在共同体中每一位成员的认知框架发展情况，并得到客观的评估结果。同时，也可以实现个体与个体之间、个体与团队之间认知框架的发展对比，从而量化新手与专家在思维与能力上的对比。

ENA的数据建模过程，从数据的清理开始直至节点的计算，包括数据的分割与编码、矩阵建立、向量计算、标准化处理、降维分析及定位节点等六个步骤。具体来说，其分析步骤如图2所示：

图2 ENA数据建模流程

（一）数据的分割与编码

ENA在获得了共同体的会话数据后，首先将数据格式化，并对数据作分段分析，如，将内容相关的话语分到同一片段中，这些片段便被称为节（Stanza）。“节”是话语的集合，在同一节中共同发生的元素相互关联，不同节中的元素间没有关联。表1展现了某案例中学生们在线讨论期间的部分话语数据编码，最右边的三列是我们想要对其建立关联模式的元素。在表1中含有某小组学生的两次活动对话摘录，因此，该样例将数据分为两节（活动5和活动9），同一节内的内容相关。在此基础上，研究者依据话语内容对其进行编码，将被提及的元素记为“1”；未提及的元素记为“0”。ENA通过量化节中元素的共现，来分析话语中元素（代码）之间的联系。由此，可以使得会话数据中的元素连接最大意义化，并最终形成专业能力的认知结构。

表1 ENA部分话语数据编码样例

（二）基于节的交互数据创建网络模型

一般来说，一个节由数据表中的多行组成，ENA使用二进制累加的方式，将组成单个节的所有行累积到新数据表中的一行中，完成节的折叠，在该新数据表中包含存在于该节的所有代码。由于节反映了编码元素的共现，所以在节中包含的编码元素都记录为1；未包含的元素记录为0。如表2所示，我们将表1中的节折叠为单行数据。

表2 按活动分节并折叠后的编码数据

为了识别数据中的元素之间的关系，ENA为每个节构建了邻接矩阵，以量化每节中编码元素的共现情况。其中，每个矩阵表示每节中代码的同现，如果两个代码都出现在同一节中，则在相邻矩阵中的单元格中填1，对应于两个代码的交集；在节中未共同出现的代码的单元格填0，如表3、表4所示。

表3 节1（活动5）的邻接矩阵

为了识别数据中连接的结构，ENA将代表每个节的邻接矩阵累加，形成每个分析单元的累积邻接矩阵。本例拟为不同组的专业能力发展情况建模，则分析单元为“组”，表2显示了摘录同一组学生的话语数据。由此，对表1中所有节的邻接矩阵进行累加，得到的矩阵结果，如表5所示，而其对应的认知网络模型则如图3所示。

表4 节2（活动9）的邻接矩阵

表5 小组的话语数据累加矩阵结果

图3 由表5生成的认知网络模型

当这个累加过程结束时，数据集中的每个分析单元的累积邻接矩阵，代表该单元的代码 （框架元素）之间共现（元素连接）的加权模式。然后，为了分析不同分析单元各元素连接结构的不同，ENA将每个累积邻接矩阵转换为高维空间的一个邻接向量。再将每个向量归一化，使得向量代表的关联模式不被节的数量影响。而后执行奇异值分解（SVD），将原始高维空间旋转降维，通过减少空间维数来捕捉数据中的最大变化。最后，ENA使用一个优化算法将网络模型的节点（编码元素）放置在ENA空间中，使每个网络模型的质心与降维的网络位置相对应，最终由这些质心来表征专业能力发展水平，进而进行趋势观察或发展对比。

四、案例分析

作为一个能够评估多个元素协同变化的过程性评估工具，ENA在STEM教育评估领域有着极大的发展潜力。为了进一步厘清ENA应用于STEM教育评估的适用性，本文对工程设计中的专业思维评价[9]、项目协作中的可穿戴分析[10]以及游戏设计中的师生认知发展轨迹分析[11]这三个案例，进行深度剖析。

（一）ENA应用于评估工程设计中的专业思维

在工程设计类课程教学中，通常会通过开设实践类课程来培养学生的专业思维及实践操作能力。由于工程专业思维本身是复杂的，而根据最终学习制品进行评分，并不能用来全面准确地评估学生的专业思维特征。因此，可采用ENA对学生在实践中的话语进行分析，来评估学生在实践过程中的专业思维发展情况及特征。

在本案例中，有48名大学一年级的学生参与了叫做RescuShell的网络虚拟实习，实习内容为救援人员设计机器人外骨骼，整个设计工作都将在虚拟实习系统中完成。这是一项对比试验，其中26名学生第一次参加虚拟实习；22名学生曾参加过虚拟实习，有一定的实习经验，因此，将其分为有经验组与无经验组。通过ENA分析学生的话语数据，我们获得了有经验组学生和无经验组学生在工程设计专业思维发展上的不同特征。在虚拟实习项目中，学生以团队的形式开展设计工作，他们通过电子邮件和聊天室与同伴交流信息、沟通方案，向主管汇报进度情况，接受任务和主管的反馈意见等[11]。

通过采用扎根的会话分析方法，分析系统自动采集的社交沟通数据，我们可以确定在当前的学习情境中工程思维的认知框架元素，包括数据、技术约束、性能参数、客户和顾问的要求、设计推理和合作这六个元素。我们建立了一个二维空间，用以表征该案例中工程设计思维的发展情况。在生成的二维投影中，第一维度（X轴）的解释分量，占数据总体方差的31.0%；第二维度（Y轴）的解释分量，占数据方差的24.3%。通过ENA工具，我们对有、无经验的两组学生的讨论情况，初步建立了邻接矩阵、降维等一系列分析操作，得到了每位学生的思维发展评估情况。为了便于进行对比，我们对不同组别采用不同色度标记，将有经验的学生标记为深色，无经验的学生标记为浅色，最终得出了两组二维质心分布图（如图4所示）。

从图4中可以清晰地看出，两组学生分布投影到二维空间的散点具有明显的差异。为了检验统计意义上的差异，我们选择了各组的平均网络中心位置为代表进行差异性检验 （方框代表其质心位置在95%水平上的置信区间），具体在图4中表现为正方形方框标记的位置。

图4 有经验学生（深色）和无经验学生（浅色）的二维质心分布图

我们对两组平均网络的质心位置进行t检验，结果如表6所示。两组认知网络在第一维度上存在显著差异 （有经验组M=0.76；无经验组M=-0.64；t（43.93）=-5.61；p=0.00＜0.05； Cohen’s d=1.63）；而在第二维度上没有差异。这说明：无经验组元素节点的连接在x轴负方向上更强；有经验组节点间的连接在x轴正方向上更强。

表6 两组学生平均网络位置（坐标）的T检验结果

在已知两组学生在第一维度上存在显著差异的基础之上，我们希望获得两组学生的工程设计思维各元素表现的分析，这可以通过进一步查看两组学生的平均网络图实现。为了获得明显的对比效果，我们将两组网络图进行了叠减呈现 （即如果两组存在元素间连线的重叠，最终呈现出来的是连接较强组的颜色，并且线条粗细都会相互叠减），如图5所示。

从上述分析中可以看到，有经验组学生的平均网络图在设计推理和性能参数的连接性更强；没有经验组的学生在小组协作和技术约束上连接性更强。由此我们可以推测：由于有经验组有过虚拟实习的学习经验，这使得他们越过了协作阶段最初的沟通障碍和技术障碍，而直接进入问题解决环节，追求更完善的工程设计；而无经验组由于对学习经验不足，因此，停留在社会交互的沟通阶段较多，学生之间的沟通大多围绕在熟悉技术约束和如何有效协作上，处于问题理解与协商阶段，并未进入问题解决和设计阶段。

图5 a为无经验学生（深色）的平均认知网络图；b为有经验学生（浅色）的平均认知网络图；c为两组学生的认知网络叠减图

（二）ENA应用于眼动实验

在日常生活中进行交谈和合作时，人们自然地、交互式地将自己的行为与各种交流渠道（包括言语、手势、姿势和注视）联系起来。受益于可穿戴设备的迅猛发展，上述渠道的情感表达得以外显。在获得这些多模态数据的基础上，如何敏捷地分析并形成预测，是研究者们关注的话题。例如，在STEM教育中，基于问题的协作学习已成为常态，而与合作同伴的交流，以及制作学习制品时视线的协同一致，是开展有效合作的关键。如果能够通过捕获眼动轨迹生成固定化序列，则为及时预测与干预提供了支撑。

ENA通过探测协作双方凝视行为相互作用的复杂协调模式，及对互动各阶段眼动轨迹变化的细微分析，提供了眼动数据的交互分析新方向，也为协作学习中的预测与干预机制提供了新模式。

在本案例中，我们招募了13对（26名）被试参与了一项协作制作三明治的任务，借助于移动眼动追踪设备（SMI1开发的移动式眼动眼镜）来同步记录每位参与者的注视行为。每组成员包含一位执行者和指导者，指导者负责发号任务的指令；执行者根据指导者的指令完成三明治的制作[10]。本案例的设计，旨在通过ENA分析，获取在指导与操作过程中，协作对象间的注视行为的开展方式。

针对协作问题解决中的眼动分析，我们将认知框架的编码元素设为交互中的注视目标。每位参与者（指导者和执行者）有四个注视目标节点：（1）正确选择的对象，即指导者说明的正确配料（Gaze_Reference）；（2）交互伙伴，即与对方的凝视（Gaze Person）；（3）目标对象，即面包片（Gaze_Target）；（4）其他可选择的目标（Gaze Other）。由于指导者和执行者身份不同，实验在每个节点前标记身份（I-指导者，W-执行者），来区分行为的所属者（发起者），因此，在图6左图中显示的节点（编码元素）共计8个。

ENA将最终编码后的数据可视化，得出了ENA分析图，如图6所示。在图6中显示了三明治制作任务的五个阶段（指导者发号指令之前；指导者发号指令期间；指导者发号完指令；执行者行动；执行者完成任务之后）的平均网络图。可以看出，不同阶段的眼动数据，在二维空间内所处位置存在显著差异。如，在图6左侧上下两幅执行者行动和执行者完成任务之后的两个节点网络放大图中，两个阶段的眼动分析存在显著差异。而这个差异是由交互注视元素中的目标对象（W.Gaze_Target）和正确选择的对象（W.Gaze_Reference）决定的。处于二维空间边界的元素与其它元素的连接强度，均可以影响到平均网络位置的变化。

图6 注视行为五个阶段ENA分析图

因此，在ENA分析基础上，研究者可以建立从凝视网络到空间位置的映射，观察凝视轨迹。在本案例中，基于任务的五个阶段凝视数据呈环形，并在ENA空间形成了一个明确有序的周期模式 （如图6右图所示）。这一序列模式使得研究者在类似的研究中，可以通过建立凝视行为的映射，来评估被试处于任务的哪个阶段，并预测研究对象的下一个行为。

总体来看，ENA在本案例中实现了对协作眼动数据的深度挖掘，通过可视化交互轨迹，发现在协作问题解决时眼动交互的周期性和可预测性。研究者可以根据ENA对眼动交互数据的分析结果，对注视行为进行预判，进而建立干预机制，这也为人工智能的适应性帮助提供了补充。

（三）ENA应用于分析教学互动

在STEM教育中，学生的复杂专业思维是在实践中不断动态发展的，教师应该采用何种教学策略，有效地引导学生专业思维的发展也是一个难题。为了评估教师采用的教学策略是否有效，研究者通常采用对比教学活动前后学生学习效果的方法来进行判断。但这种方法并不能有效反映出教学策略如何引导学生发展自身认知，只有从根本上了解教学策略的本质 （即使用教学策略期间教师和学生的认知变化规律），才能为后续教学策略的开发提供支持。因此，可采用ENA对教师和学生的话语数据分析，通过研究在课堂中学生和教师的认知轨迹关系，对教学策略进行评估。

在本案例中，我们选取了欧洲艺术学校的7名大四本科生参加了游戏设计实习，实习的任务是为客户设计一款电脑游戏原型。在实习期间，我们安排了三次讨论会，由一位专业导师对学生团队进行指导。导师在指导过程中，采用了Schon提出的“跟随我”教学策略[12]（即，导师为学生搭建脚手架，使得学生在讨论中跟随导师的言语行为，不断习得知识技能）。我们希望能够发现，教学策略是如何引导学生发生游戏设计的认知变化[13]。因此，ENA通过采集导师和学生团队三次会议的会话数据，来获得师生之间认知轨迹的变化规律，进而归纳出该教学策略的本质特征。

通过对导师（游戏设计专家）的访谈，我们得出了游戏设计的思维框架，共计32个框架元素，其中最具代表性的三个元素为：技能/概念开发、知识/内容领域、知识/游戏机制。首先，我们用ENA在二维空间创建了团队和导师的认知轨迹路径 （如图7所示），团队与导师的认知框架质心，随着每次会议的推进而不断趋近，并且二者在沿着相似的轨迹变化。这说明，在项目期间，团队在“跟随”导师的指导，团队与导师的认知框架越来越相似。

为了进一步分析可能导致非线性轨迹的原因，排除其它框架元素对结果的干扰，我们对其中三个关键框架元素，创建了导师和团队的认知三角模型（三个元素的认知网络模型）。如图8所示，在第一次会议上，团队的整体框架都略显松散，知识/内容领域甚至与知识、游戏机制无连接；在第二次会议中，团队的知识/内容领域与其它两个元素连接的最为紧密；在第三次会议中，团队的知识/内容领域与其它元素间连接变弱。同理，导师的认知模型也是在第二次会议中，出现知识/内容领域与其它元素的强连接。

图7 三次会议中团队与导师的认知轨迹

图8 三次会议中导师和团队的三个认知框架元素间的连接强度

因此，知识/内容领域维度是导致第二次会议时导师和团队认知轨迹出现拐点的主要因素。究其原因我们发现，由于团队最终要上交一份游戏设计原型，因此，需要团队对游戏机制的知识有一致的了解。从团队与导师的三个关键框架元素共同发生率角度来看，团队认知框架中知识/游戏机制与其它元素的连接越来越强，说明导师在三次会议中的指导，在不断推动团队重视知识/游戏机制。

而知识/内容领域在整个指导过程中处于中介作用，概念开发能力和游戏机制知识的发展，依赖于对内容领域知识理解的发展。导师推动团队首先专注于研究内容领域知识，从而帮助团队将游戏概念开发能力和游戏机制知识联系起来，最终能够做出更好的设计决策，产生游戏设计原型。

为了使团队达到目标思维方式，导师会先在策略上强调认知框架中的部分元素间的联系，以作为后来最终强调更为重要元素间联系的支撑。所以，认知轨迹中明显的弯曲是有意义的，要想形成专业的思维框架，就不能按照新手与专家表面上的最短认知路径来设计教学。ENA通过提供关于团队和导师框架如何聚合的额外视角，来显示导师指导团队的路径，即从宏观上模拟出认知轨迹，又从微观的三角网络模型上，进一步解释了认知路径的变化原因，这为研究STEM教学活动中教师和学生的思维发展过程，提供了有益借鉴。

五、经验与建议

上述案例分析表明，ENA是一种量化民族志的方法，使质性和量化研究相融合，为最终得出的量化模型赋予了质性数据的意义。其从技术本质、分析层析及应用价值等方面，都为创新专业思维评估提供了新思路。

（一）技术本质：探究事件中的动态、耦合关系

ENA旨在突出系统中“参与者”之间的联系，例如人、思想、概念、事件和行为，并可以捕捉随着时间的推移，在社交互动中的同步行为及其联动。因此，它并不局限于构建并评估认知框架。随着研究的不断深入，我们发现“认知框架”可演变为包含多维度内容的广义框架。例如，案例一指代的是学生的工程设计思维框架；案例二指的是协作问题解决的凝视行为框架；案例三则指的是游戏设计思维框架。

ENA对这些“框架”进行量化和可视化表征，具体呈现为网络模型。其中，每个节点对应于来自编码数据集的代码即框架元素；并且连接节点的线表示数据中代码的共现；线的粗细对应于两个编码共现的节的数目。与其他的话语分析方法不同的是，ENA不受编码频率的驱动，而与编码共同出现的频率相关，因此，能够捕捉研究对象认知框架的各个元素的协同发展情况。它弥补了传统分析方法中分析对象维度单一性、片面性的不足，将各个维度进行融合，构建了一个动态的网络模型。

（二）分析层次：将多粒度数据映射至几何空间，形成跨层次深度挖掘

ENA能够对多粒度数据进行分析，而不局限于数据的数量和粒度。如，在案例一中，研究组通过采集分析在线话语数据，对不同水平小组间认知框架进行分析；在案例二中，研究组通过眼动数据分析凝视行为特征；在案例三中，研究组通过师生对话数据分析导师与学生团队认知轨迹。

同时，ENA能够对数据进行深度挖掘，在根据平均投影点探索出数据的宏观变化规律后，由面及点探索相似的平均网络图内各元素间连接强度的细微差别。如在案例一中，两组学生平均认知网络图对比不明显，而ENA可通过对几何空间的叠减，更直观地分析出二者之间的差异，这是传统通过计算频次的分析方法难以达到的；再如案例二，ENA发现了一种持续的注视行为循环模式，使得数据具有有序性和可预测性；又如案例三，通过创建认知轨迹来预测交互单元之间的距离，探索复杂的思维模式和认知框架的发展情况，构建认知三角网络模型，可进一步解释认知轨迹变化的原因。

（三）应用价值：提升质性数据可读性，为STEM教育的过程性评价提供新思路

ENA提高了质性数据的可读性。大量的质性数据给研究者的分析带来了不便，而ENA对数据切割和编码，最终使用优化的算法，将个体的高维认知网络投影到二维空间，使海量质性数据的快捷分析成为了可能。如，案例一对有经验组与无经验组的平均投影点的位置进行对比；在案例二中，参考动作序列的五个阶段对应生成了五个矩形块即平均投影点，通过分析其位置变化情况，进而总结出凝视行为的一套周期循环规律。同时，ENA支持描述性统计，能够提供不同组别数据的t检验，使图中显示的结果具有统计学意义。

六、结论与展望

ENA作为新兴的分析方法，凭借其动态、内容丰富等的特性，具备在很多领域应用的潜力。本文期望通过对ENA认知网络分析的概况、理论支撑和代表性案例的介绍，详细地阐释其技术本质、分析层次、适用情境与应用价值。受限于动态评估前需要有准确的编码和明确的量化标准，以及对研究者信息素养要求较高等问题。目前，ENA的应用还大多停留在实验项目中，如，虚拟实习、认知游戏、研究特定对象的认知方式等。但其通过追踪认知轨迹来探索认知框架和复杂思维的方式，为STEM教育的学习评估提供了切实有效的工具。今后，通过不断的发展与完善，我们可以进一步将ENA应用于真实课堂，实现在对师生或生生关系进行研究的同时，进而评估学生的专业思维发展水平。