人工智能背景下数字图像处理教学改革

王成优，周 晓，张亮，王小利，郭春生

(山东大学 机电与信息工程学院，山东 威海 264209)

数字图像处理是一门多学科交叉的应用型课程，在生物医学、卫星遥感、高光谱成像、农作物监测和安防监控等领域发挥着重要作用。近年来，得益于政府的高度重视和科研工作者的积极参与，人工智能技术在各个领域得到了广泛应用并获得显著成效，数字图像处理和计算机视觉领域也不例外，机器学习在图像去噪、图像复原重建、图像分割和图像识别等方向的应用取得了良好效果[1-3]。同时，各企业和科研机构对数字图像处理人才的需求急剧增长，能够同时掌握传统的数字图像处理方法和相关人工智能技术对学生毕业后从事相关工作、继续深造、研究相关课题等打下坚实的基础。

作为计算机类和电子信息类专业课或选修课，数字图像处理具有综合性强、先导课程多、实践要求高和算法更新快等特点，在教学中，这些特点对教师的知识储备、教学能力和学生的专业基础有较高要求。尽管人工智能已广泛应用于图像处理领域，然而在目前高校的教学中较少涉及，人才培养相对滞后于先进技术的发展，无法适应时代特点。因此，本文立足于传统的教学内容并结合人工智能技术，进行数字图像处理教学改革，对高校的人才培养具有重要意义[3-6]。

一 课程教学面临的问题

通过调研与教学实践发现，目前数字图像处理课程的教学中主要存在以下不足。

1)对先导课程缺乏补充性回顾和复习。数字图像处理涉及到的先导课程较多且内容较为硬核，主要的先导课程有高等数学、线性代数、概率论与数理统计、信号与系统和数字信号处理，在授课过程中，部分学生由于数学功底薄弱和知识遗忘的问题，容易对课程产生畏难、抵触等厌学情绪。

2)重理论、轻实践。为了保证教学内容的严谨性，教师在课堂上往往着重于理论推导，对实验设计的重视程度不足，内容也多偏重于MATLAB 编程的验证性实验，缺少对当前流行的Python 和OpenCV 的引入，不能很好地提升学生工程实践能力。

3)教学内容陈旧。当前的课件和教材虽然经典，但是延用多年，内容不能很好地与当前新兴的人工智能技术相衔接，对最新的数字图像处理方法阐述较少，不利于培养学生的创新能力。

4)实验内容的延续性和拓展性较差。当前用于实验的算法已经相当成熟且过于基础，未涉及当前较为前沿的技术与算法[7]，不利于学生后期的探索和拓展研究。

5)考核方式单一。当前大多数课程教学仍采用考试和实验报告相结合的形式，缺少对学生综合能力和团队意识的培养。

二 数字图像处理教学改革方案

针对课程教学中存在的诸多问题，为了在现有教学的基础上更好地顺应人工智能技术热潮，改善本课程的教学效果，充分提高学生的工程实践能力和科研探索能力，使得学生能够掌握数字图像处理的传统方法和相关的人工智能技术，同时具备了解国际前沿动态的能力，本文提出并总结了适合本课程的教学改革方案，整体改革方案如图1 所示。

图1 数字图像处理教学改革整体方案

（一）以学生为中心的理论内容改革

为了提高学生的学习积极性和课程参与度，改善教学效果，从学生的角度出发，对数字图像处理课程的理论教学内容进行改革，主要从以下几个方面展开。

1)先导课程补充性复习。考虑部分学生在先导课程上存在基础薄弱或知识遗忘的问题，在鼓励学生主动复习的同时，基于数字图像处理课程的需要，在图像滤波、复原等需要较深理论的地方，对信号处理、微积分、线性代数等简明复习，并对相关重难点进行讲解。

2)更新课件，引入深度学习内容。目前，多数高校选择Gonzalez R C 编写的《Digital Image Processing》(第3 版)[8](或其中文译本)作为教材，该书作为主流权威的数字图像处理教材已有40 多年的历史。在第3 版的基础上，《Digital Image Processing》(第4 版)[9]在模式识别章节增加了使用神经网络对图像进行分类与识别的内容。基于教材的改版，并结合人工智能背景，对教学课件进行了更新，增加了对神经网络的原理介绍及应用实践。

3)设置3～4 名研究生助教。本次教学改革中，在重视理论讲解的基础上，对实验的设计进行优化，从而加强对学生的动手能力训练。为保证理论课和实验课的顺利进行，增设3～4 名助教，及时解答学生遇到的各种问题，培养学生对数字图像处理的学习兴趣与探索精神。

4)使用Python 和PyTorch 框架。在数字图像处理领域，除了可以使用MATLAB 进行仿真，越来越多的科研工作者选择Python 作为其主要的编程语言，特别是在搭建神经网络时，PyTorch 和TensorFlow 成为主流的深度学习框架。从学生的就业和后期深造角度出发，在教学内容上逐步加强对Python 和PyTorch 框架的讲解，并设计使用深度学习进行数字图像处理的实验。

5)更新实验样例图像。由于教材《Digital Image Processing》(第4 版)中选取的样例图像比较经典，为了提高学生学习兴趣和课堂参与度，在设计验证性实验时，从互联网资源或公开数据集(如ImageNet[10])中选择比较新颖有趣的图像，从而丰富经典的样例图像库，如图2 所示引入动植物、人物、景物等图。

图2 新增实验样例图

（二）以项目为驱动的实验内容改革

目前，在数字图像处理教学中的辅助实验设计存在知识点零散、以验证性为主且使用单一的MATLAB 语言编程等问题。以空域滤波的学习为例，教师在课堂上讲解均值滤波器、高斯滤波器和中值滤波器等的理论知识，学生则按照实验指导书机械地对图像进行加噪声和滤波操作。虽然这样的教育方法能加深学生对理论知识的理解，却不能很好地提高学生工程实现能力、激发学生探索意识。此外，以往的实验设计未涉及到神经网络，既没有落实第4 版教材的内容更新，也不符合当下人工智能技术潮流。

为了解决上述问题，在验证性实验的基础上，结合第4 版教材的模式识别章节，首次引入Python 语言和PyTorch、TensorFlow 深度学习框架教学，并设计了两个基于深度学习的综合实验项目：基于卷积神经网络的CIFAR-10 图像分类实验、基于深度自编码网络的图像去噪实验。在实验课中，将综合实验项目分成项目介绍、项目准备、项目实现和项目汇报4 个阶段展开。以下以基于卷积神经网络的CIFAR-10 图像分类为例，阐述这4 个阶段的具体细节。

1)项目介绍。首先，教师介绍数据集和项目总体要求：实验所用数据集为公开的CIFAR-10 数据集[11]，如图3 所示。该数据集含有50 000 张训练图，10 000 张测试图，共有飞机、汽车、鸟、猫、鹿、狗、青蛙、马、轮船和卡车10 个类别(用数字0～9 表示)，图像尺寸是32×32×3。学生要做的是搭建并训练参数为θ 的神经网络f，对于给定的图像I∈R32×32×3，识别其类别标签y∈ {0,1,2,...,9}，这一过程可表示为

图3 CIFAR-10 数据集10 个类别的部分图像

考虑到大部分学生的笔记本配置有限，学生使用5 000 张训练图和1 000 张测试图即可。学生需尽最大努力，保证训练集和测试集准确率分别不低于80%和70%。

其次，教师给出神经网络搭建样例。如图4 所示，为了给学生提供参考并启发学生思考、起到抛砖引玉的作用，教师搭建出简单的图像分类神经网络并进行讲解。尽管该网络层数较浅，但同时运用到了理论课上讲授的卷积层、非线性激活函数、池化层和全连接层等。另外，助教要率先完成实验内容并对实验内容深入理解，提供给学生基于Python 和PyTorch 的参考代码。

图4 用于CIFAR-10 图像分类的网络举例

2)项目准备。项目准备分为学生组队、文献调研和相关知识学习三个过程。首先，为提升学生的团队协作能力，鼓励学生在课下自由组队，但限制队员人数为2～3人。考虑到部分学生性格内向等原因，对于逾期未组队的学生，由教师或助教为其选定队友。其次，为培养学生的探索意识和创新能力，由助教讲授科技文献检索方法，鼓励基础较好的学生利用学校图书馆数据库，查阅相关ICCV、ECCV 和CVPR 等计算机视觉会议论文，对于基础较弱的学生，适当降低要求。最后，学生要主动学习相关的知识点，如神经网络调参技巧、代码的工程性等。

3)项目实现。神经网络的设计和代码实现是综合项目的核心部分。在神经网络设计方面，要引导学生参考该领域内权威论文所提出的神经网络架构(如VGG-16[12]、ResNet[13]、MobileNet[14]等)，并针对自己的数据集和硬件配置，设计出适当的神经网络架构。在代码实现方面，学生要积累神经网络的调参经验，如学习率大小、批次大小、优化方法(如SGD、Adam、RMSProp 等)的选择等。

4)项目汇报。在学生完成项目后，以小组为单位制作PPT 来交流和展示综合项目中学到的知识、卷积神经网络的设计、代码实现、最终的训练集和测试集准确率等方面的内容。教师应当给出点评及相应的分数。

（三）以全面、多角度为目标的考核方式改革

当前数字图像处理的教学往往以理论课考试和实验报告作为本课程的期末成绩，这种考核方式比较单一，不能很好地反映学生的学习情况，同时缺少对学生的实践能力和团队合作意识的培养和考察。因此，新增了考核项目并优化相应的考核比重，如图5 所示。

图5 期末考核占比

从多个角度出发，充分保证学生的学习效果和能力培养，分别赋予出勤(含课堂问答)、实验报告、理论考试和综合项目为10%、20%、20%、50%的比重。此外，如图6 所示，为充分调动小组队员的积极性并考虑学生的基础差异，对综合项目的算法设计、代码实现、PPT 制作和汇报答辩分别赋予35%、35%、15%、15%的比重。

图6 综合项目考核占比

（四）以探索为方向的综合项目扩展改革

为了保证综合项目的延续性，并做到差异化培养兴趣高、主动性强和基础扎实的学生，在教学的最后对综合项目进行了扩展性尝试。综合项目的扩展可以从两个方向展开，分别是适度增加综合项目难度和引入更多的深度学习类综合项目。对于适度增加综合项目难度，以本文提到的CIFAR-10 图像分类为例，引入对抗攻击(比如对原始图像添加扰动等)，要求学生分别实现基于最近邻分类器和卷积神经网络的图像分类，并在对抗攻击的条件下保证训练集和测试集准确率，最后将实验结果进行对比并解释二者的性能差异。同时，考虑到当下的人工智能技术热潮，以及深度学习、机器学习在图像处理和计算机视觉领域取得的重大突破，将在后续的教学中引入更多的综合项目，如基于生成对抗网络的图像超分辨率重建[15]、基于注意力机制的图像复原[16]、基于卷积神经网络的图像去噪[17]等。最后，对学生进行科研写作的指导和训练，鼓励学生创新，并总结梳理创新成果，撰写学术论文。

三 结束语

本文讨论了数字图像处理课程的教学改革方案，立足于人工智能技术热潮，以培养学生的科研探索能力和动手实践能力为目的，针对以往教学中突出存在的问题，提出以学生为中心的理论内容改革、以项目为驱动的实验内容改革、以全面和多角度为目标的考核方式改革、以探索为方向的综合项目扩展改革。该教学改革充分调动了学生的学习积极性，提高了学生的课程参与度，培养了学生对数字图像处理的兴趣，锻炼了学生的综合能力，改善了课堂氛围和教学效果，使学生全面地掌握了传统图像处理方法和相关人工智能技术，为学生毕业后在数字图像处理领域的就业、深造、科学研究等打下坚实的基础。