本科“机器学习”课程教学改革初探

2022-08-28韦南殷丽华宁洪方滨兴

网络与信息安全学报 2022年4期

韦南，殷丽华，宁洪，方滨兴

本科“机器学习”课程教学改革初探

韦南，殷丽华，宁洪，方滨兴

（广州大学网络空间先进技术研究院，广东广州 510000）

数学知识跨度大、实际应用范围广、技术更新迭代快是“机器学习”区别于其他课程的最大特征，传统“机器学习”课程教学中数学复习与模型讲解分离、教学内容枯燥缺乏实际联系、考核内容落后于技术发展，导致本科生对机器学习模型理解困难、学习兴趣不强、自主学习意识缺乏，难以运用机器学习前沿技术解决实际问题。围绕教学方法、内容和考核3个方面，提出了“机器学习”课程教学改革措施，融合线上学习和线下推演的教学方法，增加师生互动、串联关键知识点；引入科学家故事和兴趣挑战的教学内容，丰富课堂内容、培养学习兴趣；增加基于前沿技术的实战考核，引导自主学习、探索前沿技术，成功应用于广州大学方滨兴院士本科预备班“机器学习与数据挖掘”教学实践，改善了课程的教学效果。

人工智能；机器学习；教学改革；自主学习；教学实践

0 引言

1950年，著名英国计算机科学家艾伦·麦席森·图灵，在其论文Computing machinery and intelligence中提出“Can machines think?”的思考，由此拉开了人类向人工智能研究领域探索的序幕。机器学习是人工智能的重要组成部分，专门分析和解释数据的模式及结构，以达到无须人工交互即可完成学习、推理和决策等行为的目的[1]。机器学习基于计算机编程语言，交叉运用多学科的数学理论，分析研究对象的结构化和非结构化数据中内在的联系和规律，实现对研究对象未知状态的感知和预测。机器学习技术已经成功应用于自动驾驶、自然语言处理、时间序列预测、生物医学信息处理等领域，也因此唤醒了各个行业对于机器学习人才的高度关注[2]。据人力资源和社会保障部2020年发布的《人工智能工程技术人员就业景气现状分析报告》，我国人工智能人才缺口超过500万，国内的供求比例为1:10，供需比例严重失衡。同时，工信部人才交流中心发布的《人工智能产业人才发展报告（2019—2020年版）》指出机器学习在人工智能产业整体需求岗位中的占比达 39.1%，但相关技术方向的人才极度稀缺，人才供需比仅为0.23，有效供给严重不足。

针对本科学生开设“机器学习”课程的目的在于培养学生灵活掌握数学模型的原理、理论紧密联系实际、应用前沿技术解决实际问题的能力，为学生进一步深造打下良好的基础，助力培养掌握机器学习理论方法和技术的工程师人才[3]。然而，数学知识跨度大、实际应用范围广、技术更新迭代快是“机器学习”课程区别于其他课程的最大特征，传统“机器学习”课程在教学方法、内容和考核方面存在诸多弊端，导致“机器学习”课程教学难、教学效果差的局面[4]。如何采取有效的措施和手段，完善传统“机器学习”课程教学的不足，帮助学生串联关键知识点、培养学习兴趣、鼓励探索前沿技术，改善“机器学习”教学效果，逐渐成为“机器学习”教学所关心的主要问题[5]。为此，本文在分析传统机器学习课程教学暴露的主要问题的基础上，从教学方法、内容和考核3个方面探索“机器学习”课程教学改革措施，应用于广州大学方滨兴院士本科预备班的“机器学习与数据挖掘”教学实践。

1 传统“机器学习”课程教学存在的问题

1.1 数学复习与模型讲解分离导致逻辑结构难理解

机器学习课程是大学基础数学的进阶课程，要求学生在掌握高等数学、概率论、线性代数、最优化方法等知识的基础上，学习和运用数学知识建立机器学习模型解决实际的预测问题[6]。由于本科生数学基础前导课程的掌握程度不同，传统“机器学习”课程教学常设置1～3周的数学基础复习课，先由任课教师讲授机器学习模型涉及的大跨度数学基础知识，为后续开展机器学习模型的讲解打基础。然而，由于数学复习和模型讲解分离，随着课程进度的不断推进，两者之间的时间间隔逐渐拉长，学生容易出现“讲了后面忘了前面”的问题，难以串联关键数学知识点，理解模型框架结构和实现逻辑。例如，在第8周支持向量机模型讲解中，该模型损失函数求解过程涉及函数间隔、对偶转换、拉普拉斯乘子法、SMO算法等关键数学知识，此时距离前3周的数学基础复习已超一个月，同时考虑课程进度安排和课时分配，教师无法再次花费过多时间帮助学生复习数学知识，学生对相关知识点串联困难，导致难以理解复杂支持向量机的实现和应用。

1.2 教学内容枯燥，缺乏实际联系，影响学习兴趣培养

传统“机器学习”课程教学根据课本或大纲内容要求，主要以数学模型概念讲解、公式推导和课堂习题为主，缺乏对机器学习技术的发展过程、历史背景等方面的详细介绍，教学内容局限于机器学习模型的理解、推导和应用，缺乏课外知识的拓展，教学内容单调且枯燥，课堂氛围活跃度不高，学生无法感受机器学习技术发展对实际生活的影响和学习机器学习技术的重要性[7]。同时，在上机实践过程中，传统“机器学习”课程主要基于sklearn中的波士顿房价预测、鸢尾花分类等经典数据集，要求学生实现模型的编程和预测过程。经典的机器学习案例实践能够在一定程度上帮助学生理解模型概念和实现方式，但与学生的专业背景和现实生活却存在一定距离，学生无法切身体会掌握机器学习知识对其生活和工作产生的具体作用。因此，脱离实际生活的教学内容最终将使学生的学习兴趣随着教学进度的推进而消磨殆尽。

1.3 考核内容落后于技术发展抑制自主学习热情

近年来，以卷积神经网络、长短期记忆网络、对抗生成网络等深度学习模型为主的机器学习技术已经广泛应用于人脸识别、异常检测、自然语言处理、负荷预测等方面，相比传统的机器学习模型，其在精度和稳定性方面更具有优势。国内高校在“机器学习”教学考核中，通常要求根据指定教材由课程负责人设计考试题目，但由于机器学习技术的快速发展和教材内容更新的不及时，考试内容常选择线性回归模型、决策树、反向传播神经网络、支持向量机等经典模型作为主要考点，学生为获取更好的考试成绩而花费大量时间在传统模型基础概念复习和公式推导，无暇顾及机器学习前沿技术的学习，学生对前沿技术不敏感，抑制了学生的自主学习热情，不利于培养学生的终身学习能力。

2 本科“机器学习”课程教学改革措施

针对传统“机器学习”课程教学中存在的问题，本文从教学方法、内容和考核3个方面提出了相应的改革措施，相比传统讲授式的课程教学，本次改革侧重学生独立思考、学习兴趣和自主学习能力的培养，采用线上学习和线下推演的方式加强师生互动，引入科学家故事和兴趣挑战丰富教学内容，增加基于前沿技术的实战项目完善课程考核。

2.1 融合线上学习和线下推演的教学方法

针对数学复习与模型讲解分离导致逻辑结构难理解的问题。采用线上学习的方式让学生提前学习课堂内容，预习机器学习模型涉及的关键数学知识；结合线下推演的方式，教师绘制模型整体框架结构，师生根据实际问题互动推演数学模型实现方式和工作原理，串联关键知识点，加深学生对机器学习模型理解。

笔者根据机器学习线上课程的侧重点不同，将其分为两种类型：①侧重快速入门的零基础入门课程：该类课程用简化案例抽象实际问题，案例分析过程穿插数学推导，讲授机器学习模型的应用过程。以吴恩达教授Coursera课程为例，在讲解线性回归模型时，采用面积和房价的二维空间关系简化波士顿房价案例，引出线性回归基础公式，描述模型求解过程和房价预测应用效果。②侧重系统掌握的进阶课程：如Bilibili机器学习白板推导课程，该类课程对机器学习数学模型的描述给出了从无到有的详细推导过程，有利于学生对于关键知识点的系统性掌握。任课教师可根据学生基础和教学任务适当选择线上课程作为课前预习的推荐材料。

线下推演需要教师帮助学生绘制机器学习模型的整体框架，设计不同的思考问题，引导学生根据实际问题思考机器学习模型的实现逻辑，互动推演模型构建和问题求解的具体过程，让学生系统地理解课前预习数学知识在模型中发挥的作用。因此，在进行线下推演时，需要任课教师对教学内容具有系统的、深入的了解和充分的准备。

2.2 引入科学家故事和兴趣挑战的教学内容

针对教学内容枯燥，缺乏实际联系，影响学习兴趣培养的问题。引入科学故事介绍机器学习的发展史、科学家的主要贡献、相关历史背景等内容，丰富教学内容，让学生从多个角度感受机器学习的魅力，体会机器学习技术发展对实际生活的影响；增加兴趣挑战，结合生产和生活中的实际案例设置具有挑战性的作业和任务，在教学内容上增加广度、深度和难度，吸引学生主动学习，挑战自己，以此激发学生对于机器学习的学习兴趣。

从19世纪末统计学家Francis Galton提出线性回归理论到20世纪科学家Vapnik提出的支持向量机，再到21世纪开辟深度神经网络的科学家Yoshua Bengio、Yann LeCun和Geoffrey Hinton，每一个机器学习模型和算法腾空出世的背后都凝聚着科学家的心血。将科学家故事融入机器学习课堂，对于丰富原本枯燥的教学内容和培养学生崇尚科学的精神都具有极大帮助。

“挑战性学习”是清华大学率先提出的一种以提高学习者的分析、综合、判断和创新等高阶能力为教学目标的新型教学模式[8]。在实际教学过程中，任课教师可根据学生基础水平和动手能力提出适当的要求和期望，在教学内容上增加广度、深度和难度，并提出贴近实际生产和生活的挑战性问题，吸引学生主动学习，挑战自己，增加学生对教学内容的兴趣[9]。

2.3 增加基于前沿技术的项目考核

针对考核内容落后于技术发展抑制自主学习热情的问题，在闭卷考试的基础上，增设基于前沿技术的项目考核。在项目考核中，教师需要考虑学生的动手能力和学习基础，设定难度适当的实战项目，要求学生采用前沿技术解决实际问题，根据学生的实际表现进行评分，按比例计入学生的最终考核成绩。学生为了获取更高的考核分数，自主探索和学习前沿的机器学习模型、优化算法和数据处理方法，反复实验和对比预测结果的精度和稳定性，该措施不仅能够让学生更多探索前沿技术，同时有效培养了学生自学能力和动手能力。

项目考核是国外高校常用的教学方式。例如，著名的机器学习ID.3决策树模型，是澳大利亚计算机科学家Hunt在斯坦福大学访问期间选修图灵助手Michie的研究生课程，针对判断国际象棋残局结果的项目而研发出的数学模型。任课教师可根据专业背景、研究热点和实际需求，设置相关内容的考核项目，鼓励学生探索前沿机器学习技术解决实际问题。

3 广州大学方滨兴院士本科预备班“机器学习”教学改革实践

本次教学改革措施应用于广州大学方滨兴院士本科预备班（网络空间安全专业）大三学生（共38人）的“机器学习与数据挖掘”课程（48学时/学期），主要从教学方法、内容和考核3个方面的改革措施进行实践，具体实践内容如图1所示。

图1 “机器学习”教学改革实践

Figure 1 "Machine learning" teaching reform practice

3.1 教学方法改革实践

（1）线上课程

“机器学习与数据挖掘”课程为大三学生专业选修课，要求学生掌握目前主流的机器学习算法和模型，并能够根据实际问题选择并实现相应的算法，编程完成机器学习典型应用实例，对机器学习模型和算法编程有初步的训练。因此，根据教学大纲要求并考虑学生基础水平，推荐学生课前自学吴恩达教授Coursera零基础入门课程。学生通过线上视频提前预习教师课堂授课内容，初步了解模型涉及的关键数学知识点，再通过线下课堂巩固和串联知识点。

（2）线下推演

线下推演是用于帮助学生巩固课前预习知识，理解机器学习模型的整体框架。在进行机器学习模型线下推演时，首先由教师通过黑板上手绘或PPT的方式绘制整体模型框架，然后针对实际问题开展师生互动反复推演，讲解和分析机器学习模型的工作原理、实现过程和实际应用。以感知机模型为例，首先将感知机的数学模型、损失函数、激活函数、求解算法等关键知识点构建模型框架，如图2所示。其中，和分别代表英文邮件中单词出现频率和邮件类型（普通邮件/垃圾邮件）；映射即感知机模型，用公式=sign(+)表示，sign()为激活函数；感知机模型的损失函数为(,)，采用梯度下降算法进行迭代求解，各知识点之间的逻辑关系用有向线段表示。

图2 感知机模型推演框架

Figure 2 The inference framework of perceptron model

针对垃圾邮件分类问题，教师首先基于英文垃圾邮件分类问题，讲解特征和标签的具体表现形式，映射的具体模型表示以及模型的激活函数和求解方法，提出3个思考问题。然后，学生根据教师所提出的思考问题进行推演。以思考1（中文垃圾邮件如何识别？）为例，学生以小组讨论的形式分析中文邮件的特征提取方法，特征的表示形式以及感知机的参数优化方式，推演感知机对中文垃圾邮件识别的过程。最终，教师根据学生推演过程和结果进行纠正和点评。

3.2 教学内容改革实践

（1）科学家故事

将科学家故事引入机器学习教学课堂，通过对机器学习发展史的介绍、科学家生平事迹的讲述和科学家人物传记电影的观赏，学生切身感受机器学习技术发展对实际生活带来的改变，以此激发学生的学习兴趣。例如，在介绍机器学习起源时，介绍英国数学家、逻辑学家艾伦·麦席森·图灵，在第二次世界大战爆发时，通过发明图灵机（现代计算机的前身）分析德国电报，协助英国破解德国的Enigma密码系统；同时，他提出了一种用于判定机器是否具有智慧的试验方法，即图灵测试，拉开了人类向人工智能研究领域探索的序幕。鼓励学生观看第87届奥斯卡金像奖最佳改编剧本奖，艾伦图灵传记改编高分电影——《模仿游戏》。

（2）兴趣挑战

兴趣挑战有助于激发学生的自主学习意识，在机器学习教学过程中，为了兼顾挑战项目难度和实际应用价值，选择了广州车牌竞拍价格预测作为课堂的挑战项目，广州车牌竞拍价格于每月25日15:00公布最终竞拍价格，自2012年广州车牌实行每月竞价拍卖的方式以来，至2021年12月共进行了113次竞拍，其中个人买家的历史最低和平均成交价如图3所示。车牌竞拍价格预测的挑战要求学生能够准确预测个人最低和平均成交价，百分比误差不高于5%。

图3 广州车牌个人历史成交价

Figure 3 The personal historical transaction price of Guangzhou license plate

上课时间共计16周，由9月7日至12月23日共进行了3次车牌价格预测挑战。在2021年9月26日的车牌价格预测中，有1名同学完成预测挑战，最低价格为20 000元，学生预测价格为20 075元，精度满足要求；在2021年10月25日的车牌价格预测中，全班13名同学完成了价格预测，其中有8名同学的预测精度满足要求；在2021年11月25日的车牌价格预测中，全班同学全部完成预测，其中28名同学的预测精度满足要求。可见，随着课堂进度的不断推进，预测参与人数逐次增加，有效激发了学生们的学习兴趣。

3.3 考核方式改革实践

实战项目考核要求每个学生独立完成，根据项目完成度算入最终考核成绩（占总成绩的40%）。本次考核项目包括机器学习中监督学习的分类和回归两个方面，学生可根据自己的兴趣选择完成相关作业内容。其中，分类问题的项目要求学生开发一个人脸识别程序（类似微软Twins or Not），该程序能够根据用户拍摄人脸照片对明星人脸图库中的照片进行识别，找出相似度最高明星照片并显示相似程度。学生完成结果显示，13%同学完成了人脸识别的大作业。该项目实践过程中，已完成同学分别尝试的卷积神经网络、Attention机制等机器学习前沿模型和算法，以及DeepFace、Facenet和Face++等先进人脸识别技术，达到了培养学生自主学习、探索前沿技术的教学目的。

回归问题项目要求学生根据英国伦敦市2015年1月1日至2017年12月31日的历史燃气负荷数据，预测该市2018年1月1日至2018年5月31日的燃气负荷数据，如图4所示，相关影响因素包括温度、风速、湿度、气压、降雨量、燃气价格、节假日等气象、经济和日期3个方面共18个维度的历史数据。由于数据质量较好，项目要求预测结果与实际结果的2不低于0.80，且根据预测结果的2按比例计算该同学的项目考察得分，2低于0.80但完成作业的同学得60分。例如，某同学预测结果与实际结果的2为0.98，则该同学项目考察得分为98分。最终，92%同学完成了燃气负荷预测的实战项目，其中2高于0.95的同学占26%，2处于0.80～0.90的同学占31%，2不及0.80的同学占43%。前5名学生预测结果如图4(b)所示。最终成绩显示，该项目的整体完成度较好，大部分同学为获得更高的预测精度，分别尝试了LSTM、GRU等深度循环神经网络，结合了小波降噪、特征提取等课本内容未涵盖的数据处理算法，自主学习意识和动手能力明显增强。

3.4 学生成绩和评价分析

（1）学生成绩

在本次教学过程中，闭卷考试和项目考核的比例为6:4。考试内容方面，安排线性回归、逻辑斯特回归和感知机的公式推导题占30分，对于神经网络与支持向量机、K-means与高斯混合模型的异同点等开放性题目占30分，以有监督学习、无监督学习、强化学习的基础概念为主的选择题占20分，以垃圾邮件分类、手写数字识别等实例分析为主的填空题占20分。项目考核方面，分别根据人脸识别和负荷预测项目完成度进行打分并计算最终成绩，其中完成两个项目的同学平时成绩为100分，单独完成一个项目的同学需根据预测精度按比例计算项目考核最终成绩。

图4 时间序列预测项目及学生预测结果

Figure 4 Time series forecasting project and student work

全班同学成绩平均分为77.71分，其中13%同学的成绩高于90分，50%同学的成绩高于80分，70分以上的同学占73%，无不及格现象。通过本次教学改革实践，学生基本掌握机器学习基础概念和公式推导，理解机器学习的应用场景并能够对简单案例进行分析，了解不同类型复杂模型的异同点和主要特征，能够自主学习机器学习前沿模型和算法，为后期自主学习和实际工作打下了良好基础。

（2）评价分析

课后学生评价结果显示，超过94%的同学对于创新教学措施给出了正面的评价（如图5所示），评语包括：①教师的教学方式很新颖，真的让学生意识到了计算机是一门实践科目，而不是只是学习理论，应用更加重要；②教师上课认真，知识讲解透彻，经常延伸拓展我们的知识面，让我们对现代科学前沿有一定的了解；③教师上课会对一些模型背后的数学推导进行展示，让学生知其所以然，积极引导学生主动学习，教学认真负责。同时，有两名学生对本次教学的改进提出了建议，希望增加更多可视化内容，帮助学生理解复杂数学概念。可见，本次教学改革实践得到了大多数学生的认可，教学方式新颖，知识点讲解透彻，延伸前沿科学知识，对培养学生主动学习能力和学习兴趣都有极大帮助。

图5 广州大学“机器学习与数据挖掘”课程学生评价截图（部分）

Figure 5 The screenshot of student evaluation of the course "Machine Learning and Data Mining" in Guangzhou University

4 结束语

本文针对传统“机器学习”课程教学中存在数学复习与模型讲解分离导致逻辑结构难理解；教学内容枯燥，影响学习兴趣培养，考核内容落后于技术发展抑制自主学习热情等主要问题，围绕教学方法、内容和考核3个方面，提出了“机器学习”课程教学改革措施，实践于广州大学方滨兴院士本科预备班“机器学习与数据挖掘”课程教学。实践结果表明，创新的教学改革措施能够有效帮助学生理解复杂机器学习数学模型的整体框架和实现过程，多个角度感受机器学习的魅力，激发学生对机器学习的兴趣，自主探索机器学习前沿技术。教学改革措施得到教学班级超94%的学生认可，对于巩固知识点理解、增强学习兴趣和提高自主学习意识都具有极大帮助。

后续工作中，将从教材更新、题库建设、课程网站等方面进一步完善本文提出的教学改革方案，丰富课堂的兴趣挑战项目和实战项目，建设机器学习课程网站广泛邀请教师和学生分享教学经验和课程改革建议，继续探索提高机器学习教学质量的先进教学改革方案。

[1] 纪守领, 李进锋, 杜天宇, 等. 机器学习模型可解释性方法, 应用与安全研究综述[J].计算机研究与发展, 2019, 56(10): 26-29.

JI S L, LI J F, DU T Y, et al. Survey on techniques, applications and security of machine learning interpretability[J]. Journal of Computer Research and Development, 2019, 56(10): 26-29.

[2] 曲衍鹏, 邓安生, 王春立, 等. 面向机器学习课程的教学改革实践[J]. 计算机教育, 2014, 1(19): 88-92.

QU Y P, DENG A S, WANG C L, et al. Teaching reform practice for machine learning courses[J]. Computer Education, 2014, 1(19): 88-92.

[3] 杨泽. 面向本科"机器学习"课程教学改革探索[J]. 无线互联科技, 2020, 17(18): 3-6.

YANG Z. Exploration on teaching reform of machine learning course for undergraduate[J]. Wireless Interconnection Technology, 2020, 17(18): 3-6.

[4] 李晋蓉, 张高煜. 机器学习实践课程教学改革[J]. 科技创新导报, 2021, 18(2): 3-8.

LI J R, ZHANG G Y. Teaching reform of machine learning practice course[J]. Science and Technology Innovation Guide, 2021, 18(2): 3-8.

[5] 李勇. 本科机器学习课程教改实践与探索[J]. 计算机教育, 2015, 6(13): 63-66.

LI Y. Teaching reform practice and exploration of machine learning courses for undergraduate[J]. Computer Education, 2015, 6(13): 63-66.

[6] 王雷全, 吴春雷, 郭晓菲. 机器学习科研实践课程建设 [J]. 电子世界, 2022, 17(3): 50-51.

WANG L Q, WU C L, GUO X F. The curriculum construction of Machine learning research and practice[J]. Electronics World, 2022, 17(3): 50-51.

[7] 蒋磊, 张丽, 闫俊, 等. 机器学习实践课程教学改革探讨[J]. 教育现代化, 2020, 7(56): 80-83.

JIANG L, ZHANG L, YAN J, et al. Discussion on teaching reform of machine learning practice course[J]. Education normalization, 2020, 7(56): 80-83.

[8] 吴宁, 祁海, 王银银, 等.挑战性学习模式在医学免疫学教学改革中的实践[J]. 中国免疫学杂志, 2019, 35(1): 99-103.

WU N, QI H, WANG Y Y, et al. Application of challenge-based learning in medical immunology course[J]. Chinese Journal of Immunology, 2019, 35(1): 99-103.

[9] 林培锦. 勒温场理论下当代大学生学习兴趣的培养探究[J]. 中国大学教学, 2015, 2(6): 67-71.

LIN P J. Research on the cultivation of the contemporary college students' learning interest under Lewin field theory[J]. Chinese University Teaching, 2015, 2(6): 67-71.

Preliminary study on the reform of machine learning teaching

WEI Nan, YIN Lihua, NING Hong, FANG Binxing

Cyberspace Institute of Advanced Technology, Guangzhou University, Guangzhou 510000, China

The machine learning is different from other courses for its large span of mathematical knowledge, widely application of techniques, and fast updating of models. In traditional machine learning classes, due to the separation between review of mathematical knowledge and model explanation, boring content divorced from the reality, and the obsolete content of exam, undergraduates have difficulty in understanding machine learning models. Then they lack interest in learning and also consciousness of autonomous learning, which makes them difficult to solve practical problems with advanced machine learning technologies. Considering these facts, the teaching reform measures of machine learning course were proposed, in terms of teaching methods, content and exam. The teaching methods combined online learning and offline deduction to increase teacher-student interaction and connect key knowledge points. The teaching content introduced scientific stories and interesting challenges, which enriched the content and cultivates learning interest. The advanced machine learning technique-based practice exam was applied to enhance the capability of independent learning and explore advanced technologies. Consequently, the reform measures have been successfully applied in the machine learning teaching practice of Academician Binxing Fang undergraduate preparatory class of Guangzhou University, improving the teaching performance of machine learning course.

artificial intelligence, machine learning, teaching reform, independent learning, teaching practice

Guangdong Higher Education Teaching Reform Project (20190485), Industry-University Cooperation Collaborative Education Projects of the Ministry of Education (202102211094, 202102372016)

G420

10.11959/j.issn.2096−109x.2022026

2022−01−24；

2022−05−10

殷丽华，yinlh@gzhu.edu.cn

广东省高等教育教学改革项目（20190485）；教育部产学合作协同育人项目（202102211094, 202102372016）

韦南, 殷丽华, 宁洪, 等. 本科“机器学习”课程教学改革初探[J]. 网络与信息安全学报, 2022, 8(4): 182-189.

WEI N, YIN L H, NING H, et al. Preliminary study on the reform of machine learning teaching[J]. Chinese Journal of Network and Information Security, 2022, 8(4): 182-189.