融入生成式人工智能反馈的高校协同论证设计与应用研究

摘要：本研究旨在检验融入生成式人工智能反馈对大学生协同论证质量及学生认知的影响。研究邀请大学生参与在线协作学习，采用定量和定性相结合的研究方法，深度分析AIGC对协同论证的影响。研究结果表明，AIGC反馈不仅能促进学生多角度思考，提升批判思维和组织能力，而且能够增强学生的论证信心及动机。同时，本研究验证了AIGC在协作论证中的应用效果，并为其在教育领域的广泛应用提供了新的见解。

关键词：生成式人工智能反馈；协同论证；协作学习；对话反馈

中图分类号：G434 文献标识码：A 论文编号：1674-2117（2024）13-0107-06

引言

论证能力是高校学生学术生涯的必备技能，其要求学生从多种角度收集观察数据，并运用形式逻辑以规范的形式提出论点。协同论证促使学生在论证过程中拓展和深化观点，比较和评价不同观点和想法的优劣，在思维的交流与碰撞中达成共识。然而，由于先验知识与知识领域的局限以及缺乏及时反馈等，在传统论证中，学生往往难以从多个角度使用证据来支撑论点，导致出现论证质量低下、缺乏逻辑性等问题。而生成式人工智能（AIGC）能够为学生创设个性化学习空间，通过提供多角度的及时反馈来拓展学生思维，显著提升学生绩效[1]，帮助学生增强自信，提高论证水平。[2]因此，本研究旨在采用基于生成式人工智能反馈的协同论证来提升学生协同论证的质量及认知。

文献综述

1.协同论证相关研究

论证是指学习者明确地构建观点，并提出对应佐证内容，是促进学习者逻辑推理及批判性思维发展的有效途径。[3]根据Walton的定义，论证是以目标为导向的交互式对话形式，参与者通过证明或反驳假设来共同推理以推进论证的进展。协同论证是小组成员通过相互提问、澄清和解释，构建关于主题不同方面的理由和证据的过程，从而拓宽和加深小组成员对主题的共同理解。

研究表明，协同论证能够有效提升学生的论证技能，对其思维发展具有重要价值。在协同论证的过程中，学生的建构能力和逻辑推理能力得到提高，且团队成员的相互合作、共同理解有助于构建集体知识。[4]

在协同论证中，学生面临着多种挑战：第一，由于论证的非线性和复杂性，很难构建有效的论证。[5]第二，由于先验知识和认知资源的限制，难以从多个角度提出论证。[6]

第三，难以找到相关且值得信赖的信息来源，有效地使用证据来支持主张，并根据证据反驳论点。[7]第四，观点表达常常缺乏清晰度和严谨性，缺乏科学的推理过程。[8]

为应对这些挑战，笔者探索了各种教学方法及工具，其中，聊天机器人被认为是一种有前景的工具，它可以运用自然语言与学生互动，有效提升学生的论证能力和成绩。[9]然而，由于语料库和算法的限制，现有研究中基于检索的聊天机器人很难适应用户及提示语的变化，可能导致尴尬的响应或不响应的问题。[10]相比之下，基于生成模型的聊天机器人可以很好地克服这一问题，并能就任何主题进行讨论。[11]

2.生成式人工智能在教育中的应用

生成式人工智能（AI Generated Content，AIGC）是指凭借自然语言处理（Natural Language Processing，NLP）及机器学习算法（Machine Learnning，ML）技术来模拟人类对话的交互机器人。[12]它借助大规模语料库、生成性对抗网络（GAN）、大型预训练模型等技术来实现创造性生成。

目前，AIGC在学习、教学和管理等方面对教育产生了前所未有的影响。研究表明，AIGC可以通过提供多视角观点协助学生改善议论文写作。[13]它的实时反馈满足了学生的情感、尊严和目标实现的需求，提高了学生的学习效率。此外，作为一种新的媒介，AIGC通过提供讨论结构、实时反馈和个性化指导，有效促进了小组讨论和辩论的开展。[14]因此，本研究的目标是探究AIGC在高校协同论证中的应用，从论证结果和论证过程两个方面检验AIGC在促进学生辩论方面的效果。

研究设计

1.研究问题

为了检验AIGC反馈融入协同论证的作用，研究采用定量的准实验研究法和定性的访谈法探讨AIGC反馈对于论证质量及过程的影响。研究问题主要包括：①在论证结果方面，与传统论证相比，融入AIGC反馈的协同论证是否提高了大学生的论证质量？②在论证过程方面，融入AIGC反馈的协同论证相比传统论证是否改善了大学生论证的认知网络？

2.研究对象

本研究在江苏省一所高校面向教育学硕士一年级研究生开设的必修课“信息学教育理论与实践”中进行，共有53名学生参与。该课程由一名在信息教育研究领域有超过10年教学经验的教师教授。在该学习活动中，学生被随机分为12组，实验组（N=27）与对照组（N=26）各6组，每组4～5人。实验组提供AIGC作为论证指导，允许学生与其进行对话，对照组未给予任何工具。

3.研究设计

本研究流程分为三个阶段，整个实验的持续时间为4周，学生以小组为单位，采用线上线下结合的混合模式开展教学活动，图1为实验过程。

第一阶段，教师为学生分配讨论主题“你认为人工智能绘画是艺术吗？为什么？”，并培训学生使用企业微信进行协同论证，用在线协作白板工具小画桌绘制论证地图。接着，学生随机分组并建立企业微信群，教师为他们发送培训材料，帮助他们掌握图尔敏论证模型并进行可视化论证。

第二阶段，所有小组开展论证，学生需围绕相同的主题进行协同论证讨论。教师负责规定协同论证活动中各个阶段的时间节点、分发活动阶段所需的学习材料和收集小组活动形成的成果。活动流程分为三个环节：①组内论证阶段；

②组内综合阶段；③课堂展示阶段。前两个环节主要在线上实施，依托企业微信进行合作辩论，并使用小画桌绘制论证地图。最后一个环节学生在线下进行面对面交流与探讨。

第三阶段，学生进行自我反思，教师选取15名学生进行访谈。

4.研究工具

本研究的工具包括论证地图评价标准、论证要素编码框架及认知网络分析网站。此外，本研究使用ChatGPT 3.5作为AIGC反馈。

（1）论证地图评价标准

为评价学生绘制的论证地图质量，本研究采用了Cho K-L等研究者提出的论证地图评价指标。该指标基于图尔敏论证模式，从主张、数据、理由、支持、反驳五个维度进行评分，每个维度分为0分、2分、4分、6分四个层次，如表1所示为理由的评价指标。为保证评分的可信度和有效性，由两名研究者分别进行评分，内部一致性为0.740。

（2）论证要素编码框架

为将学生会话数据中表现出的论证要素进行编码，接着进行认知网络分析，本研究采用了Stegmann等人提出的编码方案。该方案运用于分析在线协作论证中图尔敏论证要素（如表2），由两位研究人员对编码框架进行验证，内部一致率为0.705。

5.数据收集与分析

针对研究问题一，本研究统计了各组论证地图中论证要素的频率和复杂度。夏皮洛-威尔克检验显示，支持频率（p=0.003＜0.05）、数据频率（p=0.039＜0.05）、主张复杂度（p=0.002＜0.05）、支持复杂度（p=0.005＜0.05）不符合正态分布，采用曼-惠特尼U检验比较两组之间的差异。而其余元素的频率和复杂度符合正态分布，使用独立样本t检验来比较差异。

针对研究问题二，本研究使用认知网络分析比较论证过程中两组各论证要素共现的差异，共收集185条有效对话数据。据观察分析，每个对话框中元素相互关联，体现学生针对某一论点的完整论证，因此每个对话框被视为一个编码单元。接着，由两名专业研究人员在理解及确认编码框架后，开展了预编码。经SPSS分析，预编码的Kappa系数大于0.7。接着，研究人员经过协商，统一了编码中的分歧，并完成余下的编码。在编码结束后，在ENA网页对数据进行了分析。

6.结果分析

（1）融入AIGC反馈的协同论证是否提高了学生的论证质量？

在论证结果上，对照组和实验组论证要素的独立样本t检验及曼—惠特尼U检验结果显示，实验组与对照组在论证要素的频率及复杂度上均不存在显著差异（p＞0.05）。但实验组的主张、理由、反驳这三种要素的频率明显高于对照组，且在要素质量方面，实验组的主张、数据、理由、支持及总要素质量均超过对照组，特别是在主张及理由要素上存在巨大差异，说明AIGC反馈能促进学生更深入理解论题，提出更清晰的主张并进行解释。

（2）融入AIGC反馈的协同论证是否改善了学生论证的认知网络？

在产生的认知网络模型中，在X维度及Y维度上的共同适配相关系数均接近1（Pearson、Spearman），这表明，可视化模型与原始模型及数据之间的拟合度很高。图中每个节点代表一个认知编码元素的位置，连线的粗细和饱和度表示认知元素之间的关联强度，两个要素共现频率越高，连线则越粗。[15]如图2所示为对照组与实验组的论证认知网络，可以看出，两组学生整体的论证模式在主张、数据、理由三个要素上建立起较强的联系。

为了进一步辨别出两组学生在认知网络上的差异，本研究将两组认知网络图进行叠减发现，对照组在主张-理由、主张-反驳上的连接性更强，实验组在理由-数据、支持-数据、数据-反驳上的连接性较强。此外，实验组学生能够在论证中通过AIGC的反馈找出一系列数据来支持论点并进行反驳。相比之下，对照组有直接的理由来阐述主张，同时也能直接反驳对方的观点，但没有给出对应的数据及支持。

本研究还对两组质心进行比较，实验组质心向X轴左侧偏移，更靠近数据-支持、数据-反驳，说明在表述时更注重这些元素的表达。此外，曼-惠特尼U检验的结果显示，两组质心在X维度上存在显著差异，具有统计学意义，如表3所示。

研究结论与讨论

1.AIGC反馈提高论证质量，增强论证广度及深度

在论证结果方面，研究表明使用AIGC反馈的学生在制作论证地图时的整体质量得到显著提升。一方面，实验组学生在论证地图中使用“主张”“理由”及“反驳”的频率高于对照组。这说明，与AIGC进行讨论模拟对话的论证，可以从不同的视角和观点提示学生，让学生认识到使用理由来捍卫自己观点的重要性，并以更详细的理由、更全面的数据及支持去论述，针对对方意见提出反驳，消除挑战。另一方面，使用AIGC反馈的学生提出的论证的组织水平更高。除“反驳”复杂度之外，使用AIGC会话的学生在其余四种要素的复杂度上均高于传统学习任务的学生。这一发现表明，AIGC在提高论证的充分性方面具有积极影响，学生更加关注数据及资料对论点的支持，并用更为详尽、清晰的语言表述出来，这与之前的研究结果类似。[16]

而对于不显著差异的可能原因如下。一种是，在绘制论证地图时，学生可能并未完全理解教师的指导，对论证要素及绘制工具并不熟悉。另一种可能的解释是，提示词的质量决定了ChatGPT给出答案的质量，且答案需要学生进一步筛选，这对学生提出了更高的要求。因此，教师可以为学生提供额外的支架，如模板、提示等帮助学生进行论证。这些支架可以使学生在使用AIGC时提高信息检索和观点凝练的效率。

2.AIGC改善学生认知网络，促进批判性思维发展

在论证过程方面，研究发现，AIGC能显著改善学生认知网络并促进学生批判性思维发展。具体来说，实验组在各要素与“数据”之间表现出较强的共现程度。这说明，在AIGC反馈中学生得到了更为详细、权威的数据及支持，这使他们克服了论证过程中知识广度不足、缺乏权威资料的障碍，在支撑主张上得到更广泛的数据。相比之下，对照组在未使用ChatGPT的条件下，在认知网络图中的主张-理由、主张-反驳中表现出更显著的联系。这说明，在传统论证中学生难以用足够的证据和逻辑推理来有效支持他们的主张，并在有限时间内检索到资料进行反驳。[17]AIGC反馈及时为学生解答疑惑，在一定程度上解决了教师指导不足的问题，为教师在高校课堂设计的论证活动提供了帮助。

3.AIGC重塑教育形态，推动教与学方式变革

本研究发现，AIGC赋能教与学，推动着教与学方式的变革。在“教”的方面，AIGC能够辅助教师备课，缓解了教师由精力不足导致的指导缺乏问题。在“学”的方面，它为学生提供了一个舒适的环境，提高了他们在辩论时的信心与动力。此外，在与学生对话的过程中它充当了同伴的角色，激发了学生在论证过程中思想的产生，增加了他们的兴趣及参与度，这与先前的研究是一致的。[18]因此，教师在后续课堂中可以充分利用其强大的功能进行备课，辅助学生进行个性化学习等。

结语

本研究通过设计和实施融入AIGC反馈的协同论证活动，探讨了其在教育领域的应用潜能。研究发现，AIGC反馈能促进学生多角度思考问题，提升学生批判性思维和组织能力，同时增强其论证信心及动机，并提出将AIGC与课堂相结合以增强论证学习的可能性，为未来教育中生成式人工智能的广泛应用做出了贡献。

但本研究同样也存在一些局限。第一，尽管本研究探究了AIGC反馈在协同论证中具有一定效果，但未设计有效的提示词增强学生的论证表现，未来的研究可以关注不同提示词对论证的影响。第二，由于本研究干预时间较短，AIGC反馈在提高学生的论证质量和促进学生思维发展等方面的长期价值仍需进一步检验。此外，由于样本量相对较小及场景的限制，本研究所得出的结论尚不能推广。因此，后续的研究可以关注上述问题，通过更大的样本得出普遍性规律，进一步为AIGC应用于教育场景提供更多的可能性。

参考文献：

[1]郑兰琴，高蕾，黄梓宸.基于生成式人工智能技术的对话机器人能促进在线协作学习绩效吗？[J].电化教育研究，2024，45（03）：70-76+84.

[2][11][18]Guo K， Zhong Y， Li D， et al. Investigating students’ engagement in chatbot-supported classroom debates[J].Interactive Learning Environments，2023： 1-17.

[3]Noroozi O， Weinberger A， Biemans H J A， et al. Argumentation-based computer supported collaborative learning （abcscl）： a synthesis of 15 years of research[J].Educational Research Review，2012，7（02）：79-106.

[4]谢幼如，宋乃庆，刘鸣.基于网络的协作知识建构及其共同体的分析研究[J].电化教育研究，2008（04）：38-42+46.

[5]Noroozi O， Dehghanzadeh H， Talaee E. A systematic review on the impacts of game-based learning on argumentation skills[J].Entertainment Computing，2020（35）：100369.

[6]Crowell， A.， & Kuhn， D. Developing dialogic argumentation skills： A 3-year intervention study[J].Journal of Cognition and Development，2014，15（02）：363-381.

[7]Liu Q T， Liu B W， Lin Y R. The influence of prior knowledge and collaborative online learning environment on students’ argumentation in descriptive and theoretical scientific concept[J].International Journal of Science Education，2019，41（02）：165-187.

[8]袁静.中学生在科学探究中论证能力的初步研究[D].桂林：广西师范大学，2011.

[9]Wu R， Yu Z. Do AI chatbots improve students learning outcomes？ Evidence from a meta‐analysis[J].British Journal of Educational Technology，2024，55（01）：10-33.

[10]Le D T， Nguyen C T， Nguyen K A. Dave the debater： a retrieval-based and generative argumentative dialogue agent[C]//Proceedings of the 5th Workshop on Argument Mining.2018：121-130.

[12]荆洲，杨启光.生成式人工智能赋能教育研究范式变革：机理、风险与对策[J].中国电化教育，2024（03）：68-75.

[13]Su，Y.，Lin， Y.， & Lai， C. Collaborating with ChatGPT in argumentative writing classrooms[J].Assessing Writing，2023.

[14]Kasneci E， Seßler K， Küchemann S， et al. ChatGPT for good？ On opportunities and challenges of large language models for education[J].Learning and individual differences，2023.

[15]吴筱萌，牛芊宇，魏戈，等.小学教育专业师范生专业认知的特征探究——基于认知网络分析的途径[J].中国电化教育，2021（06）：135-143.

[16]Guo K， Zhong Y， Li D， et al. Effects of chatbot-assisted in-class debates on students’ argumentation skills and task motivation[J].Computers & Education，2023.

[17]Hartin P， Birks M， Bodak M， et al. A debate about the merits of debate in nurse education[J].Nurse education in practice，2017（26）：118-120.

作者简介：刘文平（2003—），女，汉族，河南信阳人，江苏“互联网+教育”研究基地本科生，研究方向为学习分析与评价。崔鑫（1996—），通讯作者，女，汉族，山西太原人，江南大学设计学院博士生，研究方向为设计教育。

基金项目：2023年认知智能国家重点实验室项目“基于数字基座的中小学学校发展评价研究”（iED2023-001）。