基于3D图像分割的深度学习摩轮类型识别方法

滕丽娟

（浙江同济科技职业学院 浙江省杭州市 311200）

1 引言

我国是摩托车轮毂产销大国，随着人民生活水平日益提高，人们对轮毂产品的品质要求越来越高，产品更新换代的周期越来越短，产品的复杂程度也随之增高。在摩托车轮毂生产行业，面向柔性自动化生产线的摩轮识别系统利用计算机视觉、深度学习等技术方法，在生产中对摩轮进行类型识别、分拣、计数等工作。从铸造炉出来的不同类型摩轮流入生产线，需要对摩轮进行类型识别，选择不同加工路线、加工工艺和机加工车床，进行精加工处理。

目前的轮毂识别主要采用特征值识别和深度学习识别算法。文献[1]提出特征值比较方法，通过提取轮毂的内径、外径、辐条数目、辐窗的周长等特征参数，使用边缘检测和圆拟合等方法建立轮毂模板库，通过在线拍摄的轮毂图片和模板比较，得到轮毂的类型。但是在实际检测过程中，轮毂的样式设计越来越复杂，特别是对于非对称和非规则的辐条，很难用固定的形状模型来描绘轮毂，对于复杂轮毂识别率较低。另外，轮毂在生产线上拍摄的照片，会把轮毂下面的辊道也拍出，辊道由于是不锈钢材质，对光照特别敏感，如果对轮毂图像直接进行图像分析会存在很大困难，比如在使用Canny 算子的时候，会把辊道归于辐条。文献[2]提出使用深度学习识别轮毂缺陷，依据轮毂X 射线图形，利用卷积神经网络训练轮毂缺陷分类模型，达到了较高的缺陷识别率。文献[3]提出使用BP 神经网络模型识别轮毂，这个算法缺陷对于辐条面积大的轮毂，有较高的识别率。但是摩轮辐条面积小，图像会包含大量辊道信息，造成识别率低。目前深度学习已被应用于各种工业生产领域[4]，卷积神经网络在目标识别[4][8]、缺陷识别[5]、图像分类[6]的应用上取得了巨大的成功[10][11][12]。本文提出使用摩轮的3D 图像处理全局摩轮照片，去除辊道等干扰，通过卷积神经网络EfficientNet 模型训练和识别摩轮特征获得摩轮轮廓信息，缩短了训练时间，减少了训练照片数量，在实践中，识别准确率提高到99.8%。

2 图像采集和预处理

2.1 图像采集

图1：摩轮图像预处理

图2：卷积神经网络性能对比

图3：八类摩轮

摩轮图片由CCD 全局工业相机拍摄，相机采用500 万相机，拍摄的照片像素为2448*2040，相机安装在机柜上，通过工控机上的相机软件调整曝光、增益、焦距等参数。在工业相机旁边安装3D 激光位移传感器，摩轮在辊道的带动下，匀速进入机柜，触发光电传感器，3D 激光位移传感器拍摄摩轮的三维轮廓，同时工业相机拍摄摩轮全局照片。

2.2 图像预处理

图4：测试结果

在摩轮图片的处理过程中，由于光照差异、拍摄设备不同、辊道影响，会对图片产生一定程度的干扰，特别是摩托车轮毂由于辐条间距大，需要在背景图中去掉辊道，文献[7]提出使用原始图和背景图片的相减方法，由于关照不均匀和反光的影响产生的色差都不一致，并且摩轮辐条细，而且辊道上的轮毂在摄像头下没有中心定位，图像中的背景很难去除。本文使用了3D线扫描得到摩轮的轮廓，在原始图中去掉全部背景信息，包括去掉辐条中间的部分，得到摩轮轮廓图片，如图1 所示。

图像预处理过程主要流程如下：

步骤1：工业相机拍摄的摩轮图片经过二值化处理和形态学处理，并去噪；

步骤2：使用Opencv 中的方法HoughCircles 找到摩轮圆心，通过findContours 函数找到整个轮廓，得到摩轮图片；

步骤3：通过3D 线扫描数据，还原摩轮模型；

步骤4：结合摩轮的二维图像和三维数据，把高度为辊道的点全部设置为黑色，去除辊道背景。

3 基于EfficientNet的摩轮分类方法

3.1 EfficientNet网络简介

深度学习近十年在人工智能领域取得了重大的突破。它在自然语言处理、语音识别、图形图像与视频分析、多媒体等诸多领域都取得了巨大成功。深度学习主要使用在图像分类和目标识别领域，在传统卷积神经网络上改进和发展得到许多新型神经网络，如AlexNet、ShuffleNet、ResNet 和MobileNet 等，这些先进的神经网络模型降低了训练集的数量，缩短了训练时间。其中EfficientNet网络模型，使用了一种多维度混合的模型缩放方法，区别于Resnet-18 通过增加网络深度提高准确率，使用复合系数φ 统一缩放模型的网络深度、网络宽度、图像分辨率，如公式（1）所示[9]。

表1：训练参数

表2：对比实验

EfficientNet 是一种新的模型缩放方法，具有模型小、效率高、参数的数量少的特点，通过复合缩放的方法，使这种深层模型的top-1 等准确率上表现优于传统的卷积神经网络模型。特别是EfficientNet-B7 在top-1 上达到84.3%的精度，比同类的神经网络尺寸小8.4 倍，推理速度快6.1 倍。EfficientNet 和其他网络性能的对比如图2 所示。

图2 中，横轴为模型参数数量，纵轴为准确率。相同参数数量下EfficientNet 的准确率高于ResNet、Inception、NASNet 等模型。比如相同的Top1 准确率，ResNet-152 参数数量是EfficientNet-B1的7.6 倍。

3.2 模型构建和训练

测试样本为八类轮毂，型号和款式如图3 所示。

每类轮毂300 张图片，按照训练图片和验证图片采用8:2 的数量分成训练集和验证集。为了减少轮毂反光对系统干扰，训练的图片采用图像增强算法，对图像的亮度、对比度、旋转等进行增强操作。模型采用EfficientNet-B4 算法。训练参数，如表1 所示。

为了缩短训练时间，采用GPU NVIDIA GeForce RTX2060 Super 8G 显卡训练。

3.3 测试结果

使用EfficientNet-B4 模型训练图片，测试结果如图4 所示。

图4 中，X 轴为Epoch 模型经过20 轮训练，经历了120 分钟， Loss 达到0.0593，Top1 准确度为99.89%，模型在迭代7 轮之后，训练损失趋于平衡，同时准确率也趋于平衡。说明模型在识别摩轮上具有较好的效果。本系统在生产线上应用，采用置信度95%作为判断的依据，结果判别10000 个轮毂，达到99.8%的准确度。

3.4 分类检测模型对比

本部分采用了EfficientNet 的模型B0、B4 和B7 进行对比，结果如表2 所示。

通过对比可知，EfficientNet-B7 虽然精度最高，但是训练时间最长，需要更高的显卡支持才能缩短训练时间。

4 结语

本文构造了基于深度学习的摩轮型号分类系统，通过3D 线激光位移传感器，对图像进行了分割，减少了辊道对原始图片的干扰，从而减少了深度学习图片训练的张数，加快了深度学习训练的速度，提高了识别率，降低了产线工人增加新类别轮毂的等待时间。由于EfficientNet-B7 模型大、训练时间长，需要更高的硬件资源，在实际中采用EfficientNet-B4 算法完全能保证摩轮分类识别上准确率，通过系统在产线上长时间运行，测试了10000 多张图片，判别识别率到达99.82%，没有产生一张误判，由于轮毂反光不一样，产生了几张置信度低的图片。实验结果表明，EfficientNet 算法在分类问题上有良好的性能，本文构建的分类系统可行，为摩轮的分类提供了参考。