基于百度飞桨平台的计算机视觉课程改革与实践

潘刚 丁进 孙迪

摘  要：计算机视觉是当前计算机和人工智能领域的热门方向，但前沿课程内容在算法、算力和数据方面的需求，使得传统授课模式无法满足对当前学生实践能力培养的需求。在教育部产学合作协同育人的背景下，该文从课程核心内容、前沿技术扩展、先进实验设计和考核方式改革等多方面，开展课程的革新与探索，并在实际教学活动详解的基础上，验证教学质量和学生综合能力的提升，为计算机视觉相关课程提供参考。

关键词：计算机视觉；飞桨平台；新工科；产学合作；协同育人

中图分类号：G642        文献标志码：A          文章编号：2096-000X（2024）02-0010-05

Abstract： Computer vision is currently a popular direction in the field of computer and artificial intelligence， but the requirements of cutting-edge course content in terms of algorithms， computing power and data make the traditional teaching mode unable to meet the needs of current students' practical ability training. Under the background of industry-university cooperation and collaborative education， this paper carries out the innovation and exploration of the curriculum from the core content of the curriculum， the expansion of cutting-edge technology， the design of advanced experiments， and the reform of assessment methods. It verifies the improvement of teaching quality and students' comprehensive ability， and provides a reference for computer vision related courses.

Keywords： computer vision; PaddlePaddle; new engineering and technical disciplines; industry-university cooperation; collaborative education

当前，我国高校工程教育规模居世界第一，但工程师总体合格程度在全球相对靠后。我国工程教育发展面临着发展困境。2017年，教育部启动实施“新工科”建设，改造升级传统工科专业，加快发展新兴工科专业，使得我国从工程教育大国向工程教育强国迈进[1]。接着，又陆续推出“复旦共识”“天大行动”“北京指南”等，从多个方向探索和实践工程教育改革新路径。如今，越来越多的高校参与到新工科建设中，不断推动现有工科专业的改革，主动设置新兴工科专业，培养国家重大战略需求的未来工程领军人才。

计算机视觉始终是计算机各领域中最为活跃、发展最快速、应用范围最广的学科方向之一，其核心内容涵盖对图像和视频等媒体内容的识别、增强和合成等任务，在智能制造、机器人、安防、医疗影像和消费类电子产品等多个方向有着广泛的应用前景。因此，计算机视觉已成为计算机科学与技术、软件工程、电子信息等专业中的重要专业课程，在本科生和研究生中有着较大的受众基础。另一方面，计算机视觉与人工智能结合是当前计算机视觉发展的特点和趋势。人工智能，尤其是其中的机器学习和深度学习，是在数据驱动下对复杂系统建模和预测的新方法论，是对传统教学内容和思维方式的颠覆和革新，但其在数据和算力方面所需要的基本门槛要求，也对传统课堂教学提出了更高的物质要求。因此，由于计算机视觉学科本身的特点，加之当前计算机视觉与人工智能结合的趋势，对其教学活动中实践性的开展尤为侧重，对学生动手能力和解决实际问题的能力培养提出了更高的要求，使得传统“重理论、轻实验”的授课方式已无法适应新工科建设的需要，因此，亟需进行有针对性的教学改革。

天津大学是国内首设人工智能本科专业的高校之一，更是新工科建设“天大行动”的领导者。为解决传统计算机视觉课程授课方式与前沿技术实践需求之间的矛盾，天津大学与百度飞桨开展产学合作协同育人项目，进一步贯彻落实《国务院办公厅关于深化高等学校创新创业教育改革的实施意见》文件精神，深入推进产学合作协同育人，探索符合学校实际情况的计算机视觉课程改革。

一  计算机视觉课程的现状分析

计算机视觉课程在大多数学校作为专业选修课，学时安排多为32～40学时，其中实验学时为8～16学时。该课程理论性强，体系庞杂，知识更新快、对学生动手能力要求高。从授课教师的角度，该课程特点可归纳为以下几点。

（一）  课程知识点多

完整的计算机视觉课程包括特征检测、分割、配准、结构重建、运动估计、拼接、立体视觉和识别等问题及相关算法，知识点数量多而杂，形式多样、应用场景复杂。

（二）  理论教学枯燥

计算机视觉理论基础以數学作为支撑，形式以公式为主，学生在有限的授课时间内对大量复杂公式的理解效果往往欠佳。

（三）  实验教学对硬件的依赖

当前视觉前沿方法为基于机器学习的方法，此类实验的开展对硬件设备，尤其是显卡的要求高，这是大部分学生的自有电脑无法满足的。而多数高校缺乏支撑大范围实验的硬件基础，因此，难以大范围开展前沿方法的实验教学活动。

（四）  实验教学对数据的要求

当前，基于机器学习的计算机视觉方法的另一个特点是数据驱动，其实验教学的开展对相关主题的数据质和量均有较高的要求。因此，实验数据的课前收集和课中分发显得尤为重要，但此类数据除少量集中在Kaggle等平台外，大部分分散在各地科研团队自行维护的网络存储中，在有限的实验周期内由学生收集尤为困难。加之计算机视觉领域的数据集普遍较大，课中向学生进行分发并进行数据准备，将占用大量的有效实验时间。

（五）  考核和评价方式不够客观

结合计算机专业要求和计算机视觉的特点，考核更应体现学生实现代码的能力。但由于缺乏统一的实验平台，即使开展实验，对学生实现代码的验证也不能依赖教师的阅读，这样工作量庞大，且评价方式无法保证客观和公平。

结合计算机视觉课程的特点，应对新工科创新人才需求，迫切需要教师针对课程的教学内容、教学形式、课程评价体系等方面进行改革，探索如何激发学生的内驱力，为学生实验提供良好的实验平台和公平的评价方法，其目的是提高学生的工程实践能力与创新能力。湖南大学[2]和中国地质大学[3]从提升学生学习主动性出发，在图像处理课程中引入“互联网+”，实现线上线下一体化教学模式，从教学内容、手段、考核方式等多方面开展改革实践。武汉科技大学[4]从案例教学的角度出发，立足在线平台海量案例资源，提升学生使用框架编程的能力。中国农业大学[5]、南昌大学[6]针对人工智能课程，依托产学合作开展课程改革与建设的模式，借助产业界的丰富资源，提高学生实践能力。西安电子科技大学[7]、武汉工程大学[8]从教师模式和实践方法角度对计算机视觉课程的教学过程开展有益的探索。华北电力大学[9]、同济大学[10]、武汉理工大学[11]针对图像处理和计算机视觉等课程编程实践问题，利用多种实践平台进行教学改革，取得初步成效。但面向更大范围学生群体，开展前沿技术的计算机视觉实践教学探索的工作尚不够充分。

二  依托产学合作育人的计算机视觉课程教学改革

（一）  教学内容的补充完善

当前计算机视觉的前沿方法与机器学习技术有关，但对于计算机科学与技术和软件工程专业的学生，作为前序课程的人工智能课程在课程设置中多为选修，因此，只有一部分同学具备相关知识基础。同时，对于这部分选修过人工智能课程的同学，机器学习在整个课程中的占比很少，一般为2～4个学时，且多以讲授理论为主，缺乏实际上机实验的有效训练。在此现状下，由于相关知识基础普遍薄弱，如直接开展前沿计算机视觉的内容讲解，学生往往颇为吃力，严重影响学习效果。

因此，在本课程的教学过程中，适度引入与计算机视觉紧密相关的机器学习内容，使得学生补全最相关的机器学习基础知识，从根本上理解相关算法的原理，掌握算法应用于计算机视觉场景的原理和先进性，从而能够更好地深入了解领域动态，快速领会前沿知识和新兴技术，掌握视觉的应用场景，加强理论与实际的关联。

（二）  利用高水平学术论文的知识扩展

由于计算机视觉技术更新迭代快，因此，课程内容的选择，在完成基本经典理论讲解的基础上，应加入最新技术的内容，使得学生在打好基础的同时，不拘泥于经典教材，能够有足够新的视野，掌握最新的技术。

对于前沿技术的出处，除了如TPAMI（IEEE Transactions on Pattern Analysis and Machine Intelligence），IJCV（International Journal of Computer Vision）， TMM（IEEE Transactions on Multimedia）等顶级学术期刊之外，还包括计算机视觉领域的顶级学术会议。与其他学科相比，计算机领域学术会议的重要程度尤为明显，这是由于视觉领域的技术更新速度快，而高水平学术会议的审稿周期和见刊周期更短，因此，最前沿的学术论文往往发表于高水平学术会议上，本课程中推荐学生选择CVPR（IEEE Conference on Computer Vision and Pattern Recognition）、ICCV（IEEE International Conference on Computer Vision）和ECCV（European Conference on Computer Vision）三个视觉领域顶级学术会议的论文作为扩展阅读。

（三）  前沿實验内容的改进

计算机视觉课程以算法理论为基础，实践为核心，对学生而言，只有理解算法并能够用代码将算法实现，才是真正掌握，这也是校企协同育人过程中的重点和难点。因此，课程中实验学时的内容安排显得尤为重要。本课程选择分类、合成、跨模态修复三类四项任务作为实验内容（表1），其中前三项内容代表了计算机视觉中最典型的任务，第四项代表了视觉领域前沿问题之一。在方法和神经网络的选择上，选择了最为经典且常用的VGG、AutoEncoder、U-Net和Encoder-Decoder+BERT四类网络结构。在实验内容设计上，考虑到学生平均基础情况，在前两个实验中，采用提供代码框架、由学生填补细节代码的方式，这样可以让学生在最初接触实验时，暂时规避对代码框架的不熟悉，集中精力在关键网络架构的代码编写上，提升学习效率，积累信心；对后续实验内容，鼓励学生在具备一定编程基础后，自主编写完整的代码，并完成训练和调参的全过程。这样循序渐进的实验设置方式有助于学生快速上手、培养全方面能力。

表1  实验内容设计明细

（四）  考核内容和方案的设计

课程目标要兼顾学生对前沿技术和实际代码能力的掌握，因而，通过单纯闭卷考试的方式往往难以实现对学生的全面考察和评价。为了将理论知识与前沿技术紧密相连，本课程以扩展阅读推荐的顶级学术期刊和会议论文为主线，通过实施实战化、无标准答案的期末大作业，实现以学生为中心，激发学生的自主学习能力、好胜心和创新的灵感。所谓无标准答案的期末大作业，就是由学生自主选择计算机视觉中的一个话题，并自行查找推荐的学术期刊和会议的前沿学术论文，要求主题相关，数量不少于3篇，选定后需经由授课教师确认时效性和难度后，方可开始准备。其目的是锻炼学生自主查阅和检索学术论文的能力。学生在阅读论文过程中，要注意所选论文之间的关联，尤其是尝试从作者的角度，探寻发现问题、解决问题的思路，对于有深刻理解的同学，在成绩上予以奖励。在阅读论文的基础上，还要求学生复现论文。这样可以在考察学生理论能力的同时，兼顾对学生动手编程能力的评价。尤其是对于主动改進原方法的并取得良好效果的同学，在打分上有所倾斜。考核时，由学生公开宣讲自己的大作业前沿技术报告，展示实验结果，并接受授课教师和其他评委的现场提问。

经过以上多轮次的训练，这样可以更好地发挥学生的主观能动性和创新能力，拓宽学生的知识面，为今后的学习和研究打下良好的基础。

最终的期末成绩由三部分组成，具体要求及评分标准如下。

1）出勤：理论课程的讲授均要求学生参与并签到，不得缺勤。课堂考勤占总成绩的5%。

2）实验：课程设有4次实验课，8学时，要求学生全程参与，独立完成并按时提交实验报告。实验成绩由学生在系统中提交的代码在测试用例上通过的百分比判定。实验成绩占总成绩的15%。

3）期末报告：包括前沿技术报告和答辩表现，并综合考察复现代码能力，并对运行结果进行测试，提交设计报告，共占总成绩的80%。

三  教学实践详解和成效分析

课程在实验环节选用飞桨AI Studio教学实训平台，该平台集成了算力、编程环境、深度学习框架、数据及文档等丰富的教育资源，对学生而言可以实现“一站式”学习。从教师的角色而言，该平台可支持完整课程的创建，包括教学大纲、课件、作业、考试、教学视频和随堂测试等内容和功能，能够满足在线教学的基本逻辑和内容要求。同时，该平台还集成了大量学习资源，包括公开课程、比赛、数据集、公开项目和源代码等，为课程的开展提供海量的资源参考。

从2021年9月至2022年6月，本课程分别面向智算学部的本科生和研究生开设了2门课程，选课人数合计111人。选课学生具有基本的计算机专业背景知识和一定的编程基础，能够较快地适应飞桨的AI Studio平台和PaddlePaddle框架。

在基于机器学习的计算机视觉实验中，需要重点关注的是算法、算力和数据三方面问题。

算力是实验的物质基础。对于机器学习的实验而言，虽然随着硬件成本的不断下降，单位时间的算力成本已逐渐降低，个人开展实验已经可行。但面对课程受众广的情况，同时开展实验的学生人数多，算力仍然是稀缺资源。如采用各单位自购多台服务器的方式，算力分散，开展小规模实验尚可，但涉及到上百人的大型教学活动，硬件就成为主要瓶颈。而由于成本等因素的限制，各单位自建云平台并大面积普及仍存在不小难度。因此，算力依然是掣肘高校教学的大难题。飞桨AI Studio平台为符合条件的教学活动提供免费算力，在本课程开展过程中，经过申请，飞桨为每位学生提供100小时Tesla V100的算力。以本课程开展的实验内容为例，算力充足，且略有结余；显卡配置高，足以应对绝大部分主流的网络结构，这就扫清了开展大规模机器学习实验的最大障碍。

数据是实验的关键。机器学习的本质是数据驱动下的拟合和预测。数据的质和量直接决定了实验效果的好坏。开展基于机器学习方法的实验，对实验数据的收集尤为重要。一般情况下，由教师课前汇集需要的基础实验数据，并以网络共享的方式供学生上机时使用。但基于机器学习的计算机视觉实验数据集往往过于庞大，单个数据集几十GB甚至上百GB颇为常见，仅将数据传递给学生的过程就极为耗时，加之对数据的预处理等操作，将占据实验学时的大部分。飞桨AI Studio平台汇集了大量计算机视觉相关的开源数据集，并在该平台的各类视觉任务中得以应用，其数据的质和量均得到了反复验证。基于飞桨AI Studio平台的开源数据集，学生可以轻松地在实验中将其调用，大大节省了数据传输和预处理消耗的时间。同时，教师还可以在已有数据集上进行补充和修改，根据开设实验的特殊需求，进行个性化编辑，仅需一次准备，可在实验中供学生大范围并行使用，节省了实验在数据准备上的时间和存储开销，大幅度提升了实验效率。使得教师可以从大量的简单重复劳动中解放出来，集中精力在实验的重点部分。

算法是实验的核心。如上所述，实验内容选择了当前视觉领域常用的VGG、AutoEncoder、U-Net和Encoder-Decoder+BERT四种网络结构。实验过程中，学生面临的任务难度由易到难，搭建网络的难度由简单到复杂。开展实验之前，由授课教师和助教演示一个简单网络的搭建全过程，并对代码进行逐行讲解，使得无基础的学生能够完整跟随编程流程，从而快速掌握。为降低初始实验的难度，由授课教师提供实验代码的一部分，将其中关键的代码略去，交由学生独立完成。之后的实验，再由学生独立完成所有代码编写工作。这样，在有限的四次实验中，能够确保无基础的学生也能够从逐步熟悉到完全掌握主流网络的搭建过程，从实验中提升动手能力。另一方面需要注意的是，PaddlePaddle是一套自主研发且独立的深度学习框架，这就可能使得具有其他框架开发经验的学生存在适应问题。在授课之前，我们也与其他框架如Caffe、TensorFlow、PyTorch等进行了对比（表2）。在授课中发现，PaddlePaddle与PyTorch代码风格相似，具有语句简单、易于理解的特点；从学生的实际反馈来看，并无明显的适应障碍，有利于实验顺利且高效的开展。

对学生完成实验并系统提交的时间进行分析，如图1所示。平均仅4.0%的学生在课程规定的时间内完成了所有实验内容，说明实验对大多数学生而言具有一定难度；平均51.6%的学生在实验结束1周内完成实验，最终90.3%的学生在实验结束2周的截止时间内完成实验，说明课后投入充足时间，大多数同学能够完成所有实验内容。

对学生实验的完成度进行分析。选课学生完成所有实验的比例达到了92%，较为圆满地完成了课程设置的预期目标。尤其值得注意的是，其中有58%的学生是首次接触基于机器学习的实验，說明本课程实验设置难易程度较为合理，课程教学取得的良好效果。

四  结束语

计算机视觉课程在教育部产学研项目的支持下成功开展，实现了大范围基于机器学习的计算机视觉实验的有益尝试，促进理论基础知识和实验动手方面的平衡，全方位提升了计算机视觉课程的教学质量，也坚定了后续相关课程开展机器学习方法实验的信息和决心。令人鼓舞的是，所指导的学生以计算机视觉相关实践题目为题继续深入研究，获得了国家级大学生创新创业训练项目立项2项，入围第八届中国国际“互联网+”大学生创新创业大赛天津赛区市赛1项，真正实现了利用课上学到的知识，直接应用和服务于实践的目的。这也带给我们启示：未来课程中，可以进一步优化和扩展课程内容，依托有利软硬件平台，从课堂内和外两方面，实现更为立体的全过程育人。

参考文献：

[1] 王飞，刘胜辉，崔玉祥.工程教育专业认证背景下的地方工科院校新工科建设的思考[J].高教学刊，2021（3）：63-66.

[2] 凌志刚，温和，李华丽.面向新工科的数字图像处理课程线上线下一体化教学改革[J].计算机教育，2022（3）：139-142.

[3] 杨京辉.基于数字图像处理课程的多维度教学探索[J].高教学刊，2021，7（29）：120-122，126.

[4] 黄莉，张凯，胡威，等.新工科模式下面向案例的人工智能课程教学研究[J].电脑知识与技术，2019，15（35）：162-163.

[5] 赵明，刘磊，马钦，等.依托产学合作育人的人工智能课程建设和实践[J].计算机教育，2021（10）：24-27.

[6] 饶泓，吴佳跃，樊莉莉，等.基于AI Studio平台的机器学习课程实践教学[J].计算机教育，2021（6）：115-119.

[7] 韩红，焦李成.谈计算机视觉课程的教学创新[J].计算机教育，2010（19）：84-86.

[8] 闵锋，鲁统伟.面向生产实践的机器视觉课程教学探索与实践[J].计算机教育，2017（10）：41-43.

[9] 李新利，杨国田，刘禾.基于理论与实践并重的图像处理与分析课程建设[J].高教学刊，2019，101（5）：101-102，105.

[10] 张林，沈莹.面向计算机视觉课程的综合性实验平台[J].计算机教育，2017（5）：136-139.

[11] 周俊伟，朱安娜，王亮亮，等.面向国产MindSpore平台与Atlas 200的计算机视觉教学改革[J].计算机教育，2022（4）：56-60.