基于深度学习的计算机视觉创新实验平台设计与实现

肖成勇， 李 擎， 张德政， 崔家瑞， 陈 岩

（北京科技大学a.自动化学院；b.计算机与通信工程学院，北京 100083）

0 引 言

智能制造作为“中国制造2025”的主攻方向，是促进我国传统制造业向智能化制造转型升级、实现我国由制造大国向制造强国跨越的重大战略政策［1］。计算机视觉在智能制造工业检测中发挥着检测识别和定位分析的重要作用，为提高工业检测的速率、准确率、自动化以及智能化做出了重要贡献［2］。

为培养计算机视觉人才，很多高校开设了计算机视觉、数字图像处理等课程。随着GPU的普及和算力的增加，深度学习算法已成为如今计算机视觉的标配［3］，目标检测［4-6］、工业检测［7］、图像分割［8］、图像理解［9］等都用到了深度学习方法。计算机视觉课程也与深度学习技术紧密联系，成为一门重要的、课程内容与时俱进的自动化、人工智能和计算机专业课程。但是深度学习对计算机硬件条件要求高，高性能显卡体积大，功耗高及售价贵，使其难以在高校实验室规模配置。为满足高校计算机视觉实践教学的需求，提升学生计算机视觉的创新和实践能力，基于嵌入式GPU［10-12］设计开发了一款成本低、功耗低、体积小、通用性、开放性与可扩展性强的计算机视觉创新平台。

1 计算机视觉创新实验平台设计

为了更好地培养学生创新和工程实践能力，同时方便教学管理和评价，平台从高阶性、创新性、挑战性、工程性和管理智能化5 个方面进行设计。①高阶性，能体现计算机视觉相关知识能力素质的有机融合，重点培养学生解决复杂问题的综合能力和高级思维；②

创新性，能反映学科前沿性和时代性，教学形式呈现先进性和互动性，学习结果具有探究性和个性化。③挑战度，教学实践项目要有一定难度，需要“跳一跳”才能够得着，更能选拔优秀人才。④工程性，源于实际工程项目，实验更具有兴趣性，学生更容易获得满足感；⑤管理智能化，在实践教学过程中能互动反馈和智能考核评价，满足信息技术与实践教学深度融合的要求。基于以上原则，设计的“边-云”互动计算机视觉创新实验平台如图1 所示。

图1 边-云互动计算机视觉创新实验平台总体方案

“边”是指边缘计算节点，即本文设计的基于嵌入式GPU的计算机视觉计算装置，它是学生完成计算机视觉实验的计算平台，能将学生的实验过程和结果数据通过局域网或者4G 传输到云端实践教学管理系统。

“云”则是搭建在云计算服务架构上的实践教学管理系统，其核心是基于IMoodle 环境（Improved Modular Object-Oriented Dynamic Learning Environment，改进模块化的面向对象动态学习环境）的课程管理系统，主要完成教学资源共享、智能考核评价、优秀案例汇聚、学生能力提升指导等功能。

2 计算机视觉计算装置设计

2.1 硬件设计

计算机视觉计算装置采用主板+扩展板的形式进行设计，总体框图如图2 所示。

图2 计算机视觉处理装置总体框图

2.2 嵌入式GPU介绍

主板采用NVIDIA 的高性价比器件Jetson Nano，技术参数如表1 所示。

表1 Jetson Nano技术参数

2.3 扩展板电路设计

为了保证实验装置的通用性、开放性与可扩展性，扩展板利用CP2108 将主板的1 个USB口扩展出4 个UART口，然后分别通过RSM3485ECHT、CSM100V33和TIMAX3232 转换为2 个RS-485、1 个CAN 和1 个RS-232 口。再通过LAN9500A 将主板的1 个USB 口转换为以太网接口。通过Gport-G43 将主板上GPIO的UART针转换为4G通信接口。设计的扩展板实物如图3 所示。（1）电源管理模块。电源管理模块主要为Jetson Nano主板及扩展板电路供电。在实验装置中，需要使用+12 V、+5 V、和+3.3 V的直流稳压电源，本设计使用开关电源将220 V 转化为+12 V 直流电源，其中，核心主板、4G和以太网转换器件需要+5 V 电源，另外部分外围器件需+3.3 V 电源，为简化系统电源电路的设计，使用多个SCT2331 做直流电压变换。

图3 扩展板实物图

（2）USB转多个串口接口。利用CP2108 将主板的USB3.0 接口转换成4 个串口，用于扩展CAN、RS-485 和RS-232 接口。

（3）USB转以太网扩展接口。高清网络摄像机是目前视频影像采集的主流设备，主板相应地提供了USB、MIPI CSI2 和千兆以太网接口标准，在很多场景下，主板原有的千兆以太网接口经常被高清摄像机占用，为了使设备具备更好的通用性，方便接入有线网络，本设计利用LAN9500AI 将主板的另一个USB3.0

扩展为1 个以太网接口。

（4）RS-485 扩展电路。RS-485 是经常使用的工业现场总线之一，可以通过RS-485 总线将装置计算和分析结果传输到PLC 控制器，利用RSM3485ECHT 将扩展出的2 个串口转换成2 路RS-485 接口。

（5）CAN接口电路。CAN具有可靠性高、成本低廉、使用普遍、方便应用到汽车等移动设备的特点，是一种应用广泛的工业现场总线。为了拓展嵌入式计算机视觉的应用范围，扩展了CAN 接口，利用CSM100V33 将USB 转换的1 路串口转换成CAN，用来将深度学习计算和分析结果接入移动设备控制网络。

台式烤香肠是一种以猪肉、鸡肉为主要原料，经绞肉、腌制、添加辅料和香辛料、灌装、热处理、速冻、包装等工艺制成的一种肉灌肠类制品，具有味道鲜美、营养丰富等特点，倍受消费者喜爱的一种低温肉制品[1，2]。

（6）4G通信模块电路。随着工业发展，嵌入式设备接入网络的需求日益强烈，在没有有线网络的环境下，通常通过4G 连接运营商网络，因此扩展了4G 通信接口，利用Gport-G43 将主板上GPIO的UART转换扩展为4G通信接口，用于将实践教学过程和结果数据通过4G网络传输到实践教学管理平台。

2.4 计算环境设置

为了简化实践教学过程，本设计预先在计算机视觉计算装置中布置了以下环境用于实践教学：

操作系统：Ubuntu 18.04

内存：64GB

3 实践教学案例设计

针对自动化、计算机科学与技术、人工智能和机械工程4 个专业计算机视觉等5 门课程相关的知识点，设计了5 大类，共29 个实验项目，如表2 所示。

其中工程综合创新实验结合项目组多年的智慧矿山科研成果，以满足智慧矿山所涉及的计算机视觉感知需求为出发点，以加强创新、工程实践能力培养为核心，坚持教学与科研相结合，以矿石块度分布检测为例，详细介绍实践教学案例。

表2 案例设计及支撑课程

矿石块度是选矿生产中的重要技术指标，反应了破碎过程中各级破碎机的工作状况，决定了整个选矿过程的生产质量和效率。近年来随着计算机视觉技术，特别是深度学习的发展，开始逐渐应用到矿石块度在线检测中［13］。本文设计的矿石块度检测实验是使用计算机视觉计算装置自动分析从摄像机获取的图像序列，使用机器学习算法对图像中的矿石进行分割，计算矿石块度尺寸，统计矿石块度分布，对超出设定阈值的矿石块自动预警。本案例包括图像读取、边缘分割、块度计算、块度分布统计和报警等5 个模块。图4 所示为案例处理图像序列的流程与框架，系统读取图像后，首先检测并跟踪图像中的矿石目标，然后对矿石边缘进行分割，再进行等效直径和块度分布计算，最后对出现的大块进行预警。

图4 矿石块度分布检测案例的处理框架

（2）边缘分割模块。边缘分割模块用来对图像中矿石边缘进行分割，是后续块度计算、统计和预警的基础。目前有基于阈值、边缘、区域和深度学习的语义分割4 类算法，由于前3 类分割方法大多是基于图像本身的低阶视觉信息，计算复杂度低，而矿石图像存在目标和背景相似的特点，并且常常会有阴影等问题，因此这些方法很难在矿石图像分割这类复杂分割任务上取得令人满意的效果，而深度学习对大量标注样本的学习，可以获得具有较强鲁棒性的图像分割模型。为了让学生对边缘分割各种算法有更好的理解，实践教学管理平台上建立了算法模型库，可以提供Canny、

Sobel、Prewitt 边缘检测算子、分水岭、形态学和VGGNet、GoogLeNet、ResNet、UNet等算法供学生调用，并且鼓励学生设计自己的深度学习算法提升矿石分割精度和速度。

（3）块度计算模块。矿石块度是指矿石所占空间大小的尺度，通常用面积径来表示。面积径是矿石在图片上占有的像素数，实际面积S=mG，m表示像素个数，G表示每个像素大小。面积径：

（4）块度分布统计模块。由于采集的矿石图像是由许多矿石块组成，使用矿石块度分布来反映所有矿石的尺寸分布规律。为了表示块度分布，从小到大按一定的规则选多个代表块度尺寸，x1，x2，…，xn组成一定的块度区间［x1，x2］，［xn-1，xn］，采用各块度区间内的矿石数量表征矿石块的频度分布f1，f2，…，fn，，其中

（5）预警显示模块。块度计算模块一旦检测到矿石面积径超过设定阈值，系统给出报警提示，并将报警记录到日志。报警事件记录要素包括报警类别、时间以及报警时刻的图片。

图5 人机交互及教学管理界面

案例设计了人机互动的GUI用户界面，如图5 右侧所示，实现了图像读取、边缘分割、块度计算、块度分布统计和报警等功能，并对结果进行可视化展示。学生根据所选的教学案例设计算法和设置参数，导入待处理的图像。根据案例要求设置大块报警规则。最后点击运行，即可在界面上观察到边缘分割、块度分布、块度累积分布、块度分布趋势和报警处理结果，加深对算法和实验结果的理解。

4 云端实践教学管理系统

基于IMoodle平台搭建的实践教学平台，已成功应用到“工业自动化生产线实训”和“信号处理”等课程中［14-16］。本文对教学管理平台进行了更新完善，针对计算机视觉、数字图像处理和机器学习等教学内容拓展了教学资源、优秀算法案例库和模型评价知识库功能，最终实现的实践教学管理系统界面如图5 左侧功能栏所示，包括实验预习、资源管理、教学案例和实验结果智能考核等功能。实现教学管理过程如图6所示。

图6 “边-云”互动实践教学管理过程

（1）资源上传。首先教师将实践教学案例背景资料、现场生产影像、图像样本数据集、图像处理算法源代码和参考文献等教学资源上传到云端。

（2）实验预习。学生在实验之前完成实训案例相关的知识点预习测试，测试通过后可以下载所选案例相关的资源，包括训练样本集、参考代码和模型评价指标等。

（3）模型设计。学生查阅文献和熟悉参考代码，根据实验任务进行算法流程设计、算法选择、损失函数设计、优化器、学习率、迭代步长等深度学习模型设计。

（4）课上实验。用设计好的深度学习模型训练下载的样本，得到平均交并比（MIoU）、类别平均像素准确率（mAP）和集合相似度系数（Dice）指标［17］，模型指标数据自动上传到云端实践教学平台。

（5）能力提升。在云端实践教学管理平台建立模型分析知识库，基于该数据集以及接收的模型指标判断模型参数是否合适，是否存在过拟合或者欠拟合，从而自动给出模型改进意见，返回给学生进行模型参数改进，直到达到实训案例要求的精度。

（6）资源更新。课上实验结束后，学生完成实验报告，报告内容包括所用的实验样本集、模型设计过程、课上实验调参过程、最终模型参数、模型性能指标和实验总结，TOP10 算法的学生实验报告进入优秀算法案例库，供后续学生借鉴和参考。

5 结 语

智能制造背景下，设计并实施了基于深度学习的计算机视觉创新实验平台和实践教学案例，平台由边缘计算端和云端教学管理系统组成，具有以下特色：①基于嵌入式GPU 的面向深度学习算法的计算机视觉计算硬件装置和软件系统；②边-云相结合，实现教学管理过程智能化；③支撑了计算机视觉、数字图像处理和机器学习等多门核心课程和相关专业的实践教学。3 年来覆盖了自动化、人工智能、计算机科学与技术和机械工程4 个专业，支撑了5 门课程的29 个实验项目，共1 500 余人次的实验教学工作，全方位提升了学生的动手实践能力、创新意识和解决复杂问题的能力。在平台研制过程中授权发明专利2 项，登记软件著作权4 项。在平台支撑下，学生在2019 年和2020 年CCF大数据与计算智能大赛、Kaggle 商业竞赛和“天池大数据竞赛”3 次获得一等奖。实践表明，该平台有助于学生理解计算机视觉，特别是深度学习相关的理论和实用价值，拓展了学生的视野、激发了学生的想象力，提升了学生创新实践能力。