基于强化学习脑机制的电工学教学设计与实践

李志辉，庞雅静，毛晓波

（郑州大学，郑州 450001）

电工学课程是高等院校中为非电类专业开设的唯一一门系统学习电学知识的技术基础课程，对于提高非电类学生科学素养和用电能力具有重要作用。课程内容涵盖了电路理论、电机及传动控制、电工测量、安全用电、模拟电子技术和数字电子技术等多门专业基础课程的内容，学科交叉性强、理论与实践性结合要求高，学生专业分布广，导致在电工学教学实践中，学生不易理解觉得枯燥、学习积极性不高、实验效果不佳、与工科其他专业课程结合性不强等问题。为了适应当前新工科“厚基础、宽口径、重实践、强能力、高素质”的培养需求，电工学课程教学应当以工程应用能力培养为导向，激发学生主动学习兴趣，掌握扎实的电工学知识，培养非电工科专业学生的创新思维和动手实践解决电磁路实际问题的能力，促进学生知识、能力和素质的协调发展[1-2]。如何使学生“乐意学”“主动学”是达成这一目标的关键。

脑科学时代的到来为现代教育提出了新的要求，而脑科学研究的进展为塑造学生的学习动机提供了新的思路[3]。脑科学研究证据表明大脑的学习过程是一个受多巴胺驱动的、由内部动机和外在反馈共同作用的强化学习过程，及时恰当的强化反馈对于行为塑造具有重要作用[4-5]。受大脑强化学习的脑机制启发，在电工学课程教学过程中，针对不同教学内容和学生程度，可以分层次设计教学模式和强化方式，结合多种不同形式的强化反馈，充分激发学生的主动学习动机，实现从“教师教”到“学生学”的根本转变。

近年来国内外高校将“互联网+”引入传统电工学课堂教学和考核，在线开放课程、MOOC、SPOC、翻转课堂等新的教学形式与传统的线下教学相结合，催生了线上线下混合式教学新模式，为从以老师、课堂为中心的被动学习模式转变为以学习者为中心的主动学习模式提供了操作平台[6-7]，非常便于设计灵活多样的强化反馈方式。因此，本文基于强化学习脑机制，利用混合式教学平台，设计了多种形式的教学方式和层次化强化反馈机制，以期充分发挥线上线下混合式教学模式优势、打造能够充分激发学生主动学习兴趣、培养学生综合能力和工程素养的电工学金课。

一、强化学习脑机制揭示了不同的强化模式对学习效果的影响，对于教学设计具有重要指导意义

人与动物等智体的学习过程主要是以“试错”的方式进行的，即通过与环境进行交互获得的回报（强化物）来指导行为。这种依赖于即时与未来回报来塑造行为动机的学习方式称为强化学习[8]。如图1 所示，在强化学习过程中，智体在不同的状态下，根据对不同行为选项的预期回报，选择特定行为，获得环境给予的回报反馈并进入到下一个状态。如果所获回报的收益超过预期、或者该行为能够进入到获得更大回报的后续状态，则该行为选项被强化，未来选择该行为的几率增大，反之则减小。特定行为的塑造依赖于强化物的反馈，生物基于趋利避害的本能来增加或避免特定行为。强化物不仅仅是外部的物质回报，也包括情绪、喜好、好奇等内部心理因素。

图1 基于试错的强化学习框架

强化学习脑机制研究阐明了生物大脑学习的基本原理。大量神经科学研究结果表明，多巴胺是让人产生行为动机的关键神经递质，其产生由内部动机与外部回报交互决定。在大脑的奖赏通路中，中脑多巴胺神经元在强化学习中起重要作用，当获得的回报好于预期时，多巴胺神经元会被激活；反之则会被抑制。多巴胺分泌时能够带来愉悦效应，起到了关联奖励与当前行为的强化作用，增强我们学习的兴趣。而当多巴胺缺失时，则会令人觉得索然无味。最新研究发现稀有奖励在学习过程中能够放大多巴胺神经元反应，一成不变的强化方式会导致多巴胺分泌减少，大脑喜欢新鲜感和需要多样化的强化方式。强化回报的呈现模式对于提高学习任务的习得速度及其稳定性起关键作用，强化时机、大小和频率等因素对学习效果具有显著影响[9-10]。从塑造学习动机的角度来看，强化学习的脑机制可以总结为三点：（1）在学习初期，正向强化的时机应该在正确行为后及时给予，从而维持其学习动机；（2）采用随机稀疏的正向强化方式更容易激发学习兴趣，保持学习的新鲜感；（3）在学习的后期，给予较大幅度和概率的正向强化，能够对整个学习过程进行强化，体现学习的常用价值。上述强化学习的脑机制启示我们，可以在教学过程中，通过科学设计适宜的强化模式，来塑造学生主动学习的动机，从而提升教学效果。

二、基于强化学习脑机制，以学生角度切入，设计了遵循“感受认知→理论理解→仿真领会→实验验证→实训拓展”递进式强化原则的电工学混合式教学模式

在生物强化学习的脑机制启发下，采用及时强化、随机强化和长远强化等多种强化学习原理，设计了电工学线上线下混合式教学模式，如图2 所示。

图2 电工学线上线下混合式教学模式

电工学混合式教学模式以学生角度切入设计，对于各章节的教学内容，遵循“感受认知→理论理解→仿真领会→实验验证→实训拓展”的阶段流程进行，在不同学习阶段采用不同的强化模式。前四个阶段属于掌握基础知识，强化的目的主要在于激发兴趣、塑造良好的学习习惯，强化模式主要采用即时回报；最后的“实训拓展”阶段则属于知识应用阶段，通过实践应用来让学生体会“学以致用”的成就感，激发其主动深入学习动力、塑造其未来服务社会的价值观。

各阶段教学强化设计思路要点具体如下。

1.感受认知（课前、线上）

按照强化学习原理，新颖直观的感受容易激发探索和学习的兴趣，所以第一阶段利用电工学教学网站所提供的视频和多媒体资源，让学生获得对所学知识的应用场景和现象规律直观的感受认识。网站内容不仅包括电路、电子、电机和电工等部分的基础原理和应用示例，还介绍了现代电工学的发展、重大科技成果、电工学在其他学科领域的渗透等拓展知识。为了增强学生的主动学习兴趣，在视频和多媒体材料中增加了随机问答、闯关得分、配对PK 等环节，并随机化得分奖励，所有视频都采用不超过5 分钟的短视频方式，视频呈现的连接与学生的交互选择结果有关。及时的即时奖励在学习的初期阶段，极大地激发了学生们的学习兴趣，愿意参与和主动尝试，达到了“玩中学”的目的。

2.讲解答疑（课中、线下）

讲解答疑主要是为了解决学生在对所学理论和方法的理解中产生的问题。如果不能及时解决感受认知过程中的疑惑，学习也很难持续和深入。因此在课前获得所学知识的直观感受后，在课上教师重点通过提问、答疑、评讲思维导图的方式来对重点和难点进行讲解，并对回答问题或积极参与的学生给予及时的正向奖励强化，方式包括记小分、口头表扬和随堂小测试等，需要强调的是，课堂强化方式必须是正向的，以引导和鼓励学生为目的。负向强化只会使学生丧失学习兴趣。通过口头的表扬、引导、鼓励给予及时的反馈，使学生感受到获得的不仅仅是对知识的理解，更重要的是情感上的交流和支持，起到内部强化的效果。

3.仿真领会（课后、线上）

在课堂学习理论知识和分析方法之后，有别于传统课后作业布置习题的方式，利用建设的线上电工学数字仿真平台，将所有的知识要点和重点方法以仿真操作分析的形式呈现给学生。学生在仿真平台上可以利用Electronics Workbench（EWB）、Pspice 或MATLAB 进行电路及电机系统的仿真，对所学的理论知识通过仿真模拟进行验证。仿真过程可以分步骤进行，配合动画进行打分。学生可以在课后即时或多次在线进行仿真练习，根据自己的领会程度来个性化安排掌握学习内容。这种结合仿真进行知识强化的方式，尤其在例如对电动机与变压器的原理、超导发电技术、铁磁材料应用等难点内容的理解中发挥了重要作用，仿真操作直观易理解、即时反馈的特点激发了学生学习的兴趣，深受学生的喜爱，学习的主动性大大提高。

4.实验验证

实验操作是电工学教学的重要环节，反映学生对理论知识的理解和实践应用的能力。但传统教学方式中学生往往轻视实验，只是交个实验报告了事。在混合式教学模式里，在实验操作结束后，实验老师会根据实验效果即时给出每次实验的成绩（分为A、B、C 三个等级），最后按比例计入课程结课后的总成绩。在电工学课程实验中，对于三相交流电路的研究、异步电动机的继电接触控制、单管放大电路的调试、触发器和时序逻辑电路和计数器及译码显示电路等重点或难点项目，可以分多次计操作成绩，避免因个别实验的操作失误，打击学生的学习兴趣。每项实验的成绩综合学生出勤、实验过程（参与程度、实验结果、设备安全和人身安全）情况和实验报告质量（内容和规范性），每个环节的教师评分是在学生自评的基础上进行，这种方式可以激励学生重视实验，在实验过程中注意规范和主动参与。

5.实训拓展

实训拓展环节是为了检验和培养学生对电工学相关理论和技术的实践应用能力，体现学习效果的价值，起到未来回报强化的作用。在教学过程中，主要采取了两种途径。

（1）对于所有参加电工学课程学习的学生，均要求参加后续的电子实训开放实验课程，并获得相应学分。该课程是以学生自己动手，掌握一定的电工电子操作技能和制作一两种实际的电子产品为特色的实践能力训练课程，实训各种项目具有很强的综合性和应用性，主要包括常用仪器设备及工具的认识与使用、元器件的识别与检测、电子电路手工焊接训练、各种电子产品套件的焊接安装与调试等。在此基础上，选择对电工学有兴趣的学生，成立“电工电子制作小组”，根据电工学课程知识，结合学校每年一度的“电子制作大赛”，通过制作电子器件或产品，提升学生对电工学的认识和兴趣，培养学生的动手能力。

（2）探索针对不同专业背景和应用需求的个性化教学方案，将电工学课程与相关学科竞赛要求相结合，在基础课程教学中引入“实验比赛、创意演讲、团队协作”等教学环节，培养学生综合素质和动手能力，提高学生创新思维和创新能力。鼓励和组织学生积极申报全国大学生电子设计竞赛、大学生创新创业大赛，以及“挑战杯”全国大学生课外学术科技作品竞赛等课外活动，团队老师带领学生获得国家级、省级创新创业训练项目3项，校级5 项，学生在这些活动中获得了学习的成就感[11]。

三、遵循强化学习原理设计的电工学混合式教学模式，在教学过程中学生主动学习的意愿和动手实践能力明显增强，考试成绩显著提高

基于强化学习脑机制的电工学混合式教学模式自2020 年开始，已在郑州大学校内包装工程、高分子材料、高分子材料加工、材料科学与工程、工程力学、安全工程和生物工程等十余个专业授课教学中采用，受众逾千人，覆盖面广，在教学过程中可以直观感受到学生主动学习的意愿和动手实践能力明显增强，学生课堂和线下与老师互动频繁，实验和实训环节积极参与。从期末考试成绩和网上教评反馈效果来看，遵循强化学习原理设计的电工学混合式教学模式收到了良好的教学效果。图3 为采用传统教学模式与混合式教学模式的成绩对比，可以看到，采用混合式教学模式后学生成绩显著提高，“优秀”“良好”等级比例大幅提升，“不及格”等级从原来的14%下降到不足2%，“及格”等级比例也下降为14%。网上教评结果也反映了学生对这种新模式的普遍欢迎，认为学习该课程“有趣”“有用”“教学方式新颖”。后续将逐步面向全校其余电工学课堂推广该教学模式。

图3 混合式教学模式与传统教学模式对比

四、结束语

随着对人类学习脑机制的深入了解，遵循大脑学习活动规律设计教学模式、开展教学实践受到了越来越多的重视。混合式教学模式的出现，为实现基于强化学习脑机制的电工学课程教学设计提供了有力手段。通过近两年的教学实践表明，针对性强、强化形式多样的混合式教学模式能够极大提升电工学教学效果和教学质量，起到了激发学生主动持久的学习兴趣、培养学生综合能力和工程素养的核心教学目的，为打造电工学金课提供了新的手段。未来将更加注重个性化地设计强化方法，挖掘新的强化手段，优化混合式教学模式。此外对于电气类专业涉及的电气信息、电子技术等相关课程，也可以借鉴遵循强化学习原理设计的电工学混合式教学模式，进一步推广应用。