基于深度学习与图像处理的废弃物分类与定位方法

2021-08-20陈亚宇孙骥晟李建龙王宏达毕士君

科学技术与工程 2021年21期

陈亚宇，孙骥晟*，李建龙，王宏达，毕士君

(1.河北工程大学机械与装备工程学院，邯郸 056038；2.河北维立方科技有限公司，唐山 063000)

根据中国生态环境部《2020年全国大、中城市固体废物污染环境防治年报》，2019年中国生活垃圾产量为23 560.2万t，并呈逐年上涨趋势[1]。改变城市生活垃圾处理方式，对中国的经济发展、社会生活以及可持续发展都具有重要意义[2-3]。城市生活废弃物中主要包含塑料、玻璃、木材、纸张以及金属等大量的可回收物资，建立完善回收机制的核心在于高效分拣[4-5]。但现有废弃物分类回收主要以人工完成分拣工作，在分拣效率或成本上都缺乏明显优势，且长期工作在恶劣环境下会影响人员身体健康[6]。故提出基于深度学习机器视觉与图像处理的废弃物识别方法，对实现废弃物分拣智能化具有重要意义。文献[7]提出的OverFeat-GoogLeNet模型，将高清摄像头固定在清扫车前方距离地面2～3 m处，通过摄像头采集图像，输入分类模型，经训练模型准确率达到了77.35%；文献[8]提出基于ResNet-50迁移学习模型，结合支持向量机(support vector machine，SVM)分类器进行的垃圾分类任务，经过训练准确率达到了87%；文献[9]中采用的AlexNet分类模型实现垃圾分类，准确率可达65%。传统分类模型只能有效识别垃圾种类且准确率不高，针对进一步废弃物像素分析也并没有做过多深入研究，因此现提出基于改进分类模型算法，在提高分类准确率的基础上利用图像处理技术，实现对废弃物的分类及位置标定。

1 系统构建

基于深度学习与图像处理的废弃物分类与定位原理如图1所示。首先由图像采集装置采集图像，经传输线传入后台PC，其次将采集的图像同时输入废弃物轮廓提取及定位模型和废弃物分类模型中，最后输出废弃物类别信息与质心坐标实现对废弃物的准确分类与定位。

图1 废弃物分类与定位方法原理图

2 废弃物分类模型

2.1 深度学习分类模型搭建

废弃物分类模型采用深度学习卷积神经网络搭建，通过对训练集图像进行特征提取并学习图像特征[10]，可实现对新图像内废弃物类别预测。

2.1.1 前向传播

前向传播过程是从样本中抽取一个样本X，通过将X输入预先搭建好的卷积神经网络模型，样本X通过每一层网络进行计算，得到最终输出，表达式为

Youtput=f(…f(X1W1+b1)W2+b2)Wn+bn

(1)

式(1)中：X1为输入特征；W1、W2、…、Wn为权重；b1、b2、…、bn为偏置量；f(·)为激活函数；Youtput为输出。

2.1.1 反向传播

由正向传播计算所得到的权重，对损失函数求偏导数并通过隐藏层将用梯度下降方法更新的权重向前传递。计算输出值Youtput与预先标记的label值Yi之间的误差，损失函数表达式为

(2)

通过梯度下降方法对权重进行更新，权重更新表达式为

(3)

(4)

式中：Wi、bi为更新前的第i层权重值和偏置量；Wi，new、bi，new为更新后第i层权重值和偏置量；α∂Loss/∂Wi为第i层权重梯度值；α∂Loss/∂bi为第i层偏置量梯度值；α为学习率。

采用改进的Inception模块[11]与残差单元(residual unit)[12]搭建分类模型，改进Inception模块具体结构如图2所示。将卷积层与池化层分4路并行运算并整合运算结果，在增加了网络深度的同时，增强网络对不同输入特征各尺度的适应性。同时采用降维思想，将5×5大小卷积核替换为2个3×3大小卷积核，可大幅度减少计算量。模型中引入的残差单元，将前一层特征与该层特征进行特征融合，防止因网络过深发生退化现象。

图2 改进的Inception模块结构

改进分类模型结构如图3所示，采用卷积和池化操作对224×224×3大小的输入图像提取特征，分别得到图3中所注大小的特征图像，卷积与池化计算公式为

图3 改进分类模型结构

(5)

式(5)中：F为输出图像大小；n为输入图像大小；p为输入图像外圈补0的圈数；f为卷积核大小；s为步距，当输出结果为小数时自动向下取整。

AlexNet，VGG-16以及ResNet-50+SVM模型分别如图4～图6所示。

图4 AlexNet模型结构

图5 VGG-16模型结构

图6 ResNet-50+SVM模型结构

3 废弃物轮廓提取及定位模型

在废弃物分类准确率提高前提下，为实现目标精准定位，首先采用图像处理算法实现目标轮廓提取，最后结合质心定位模型标定废弃物质心。

3.1 图像滤波

滤波是图像处理中常见的去除噪声方法，常见的滤波方法有均值滤波和中值滤波[13]。均值滤波原理的表述式为

g(x,y)=mean{f(x-q,y-r)|q,r∈u}

(6)

式(6)中：g(x,y)为输出图像；f(x,y)为输入图像；u为滤波器模板。通过求取滤波器模板u所包围像素点的灰度求平均，将所求灰度平均值代替图原图中像素值，实现噪声的消除。

中值滤波计算公式为

g(x,y)=med{f(x-q,y-r)|q,r∈u}

(7)

式(7)中：g(x,y)为输出图像；f(x,y)为输入图像；u为滤波器模板。

利用统计学排序原理，将图像中一点处邻域内各点用其邻域内像素中值替换，使周围像素更接近真实值进而实现降噪功能。

3.2 阈值分割

由图像采集装置收集到的图片中通常含有大量无关信息，要剔除目标物体外的背景信息需利用阈值分割算法[14]。阈值分割是通过设定的最佳阈值与图像中像素点进行比较，大于最佳阈值时将该点像素值置为255，小于则置为0，进而对相关信息进行提取，实现图像分割，阈值分割计算公式为

(8)

式(8)中：I(x,y)为输入像素；f(x,y)为输出像素；v为最佳阈值。

3.3 轮廓提取

轮廓提取采用边缘检测算子，经典边缘检测算法有sobel、roberts、prewitt算子等[15]。但传统边缘检测算子对于不规则物体的检测效果一般，故提出一种基于双结构万向边缘检测算子，表达式为

F°B1⊕B2-F·B1ΘB2

(9)

式(9)中：符号°代表图开运算；符号⊕代表膨胀操作；符号·代表团运算；符号Θ代表腐蚀操作。

B1、B2结构如式(10)所示：

(10)

利用X元素结构B1对图像F进行开、闭运算去除图像中的残余噪声。采用B2万向检测结构对图像膨胀与腐蚀以提取轮廓，由于B2中不同的线性走向，故可利用该方法检测不规则物体轮廓，且效果良好，轮廓信息表达完整。

3.4 目标定位

基于改进的轮廓提取算法得到的轮廓信息，通过迭代求出目标物体轮廓点水平方向x轴与垂直方向y轴中最大、最小坐标值，即

(11)

式(11)中：(x1,x2,…,xi)为所有轮廓点x轴坐标值；(y1,y2,…,yi)为所有轮廓点y轴坐标值；imax、imin为轮廓点x轴坐标的最大、最小值；jmax、jmin为轮廓点y轴坐标的最大、最小值。

根据式(11)中计算结果，将imax、imin、jmax、jmin代入质心定位计算公式中，求取目标物体质心坐标，可得

(12)

(13)

(14)

式中：G00、G02和G20分别为图像的零阶矩、二阶矩。根据式(12)～式(14)可计算目标物体质心坐标值(x,y)。

4 实验结果与分析

4.1 废弃物分类模型实验结果分析

采用TrashNet数据集对分类模型训练和验证，数据集详细信息如表1所示。实验流程：①将数据集按9∶1的比例分为训练集和验证集；②利用reshape和随机裁剪等对数据集扩充；③搭建网络模型；④通过不断调整超参数，并在测试集上对模型进行评估，使模型达到预期效果；⑤测试模型使其达到理想效果。

表1 数据集详细信息

经过对模型的优化，最终在学习率lr(learning rate)为0.000 4，随机失活率(dropout)为0.4时，模型达到最优效果。分类模型在扩充的数据集上训练140个epoch后，得到训练集、验证集的最高准确率分别为94.1%和88.8%。

废弃物分类模型在数据集上损失值及准确率的可视化图如图7、图8所示。分类模型在验证集上的收敛速度较快，在60个epoch基本达到最佳状态，95个epoch后准确率不再上升。采用的数据集扩充方法，在增加样本数量的同时，增强了网络的鲁棒性，使网络有更优的泛化能力。扩充后的数据集可一定程度减少网络过拟合发生概率，网络特征响应能力增强。

图8 损失值

将改进的模型与其他模型在TrashNet数据集上对比，结果如表2所示。改进的分类模型准确率可达88.8%，高于表2中所列举的所有模型准确率。

表2 不同模型下基于TrashNet数据集准确率对比

4.2 废弃物轮廓提取及定位模型实验结果与分析

为模拟真实工况条件下废弃物图像信息采集过程，在带有非均匀碎屑及土壤的背景板上，在不同光照环境下，对不同材料、不同形状的废弃物进行图像采集，采集结果如图9所示，图9(a)、图9(d)为正常光照条件下，不同材料、形状采集的图像；图9(b)、图9(c)为曝光不足、曝光过高条件下采集的图像。

图9 采集图像

为减少计算量加速运算速度，对RGB图像灰度化、二值化处理，如图10(a)、图10(b)所示；其次对经中值滤波的图像进行阈值分割，如图10(c)所示；最后利用改进的边缘检测算法提取图像轮廓信息，如图10(d)所示。由图10(d)得到废弃物轮廓信息后，结合质心定位算法，实现对废弃物的质心定位，如图11所示。处理后的图像可消除噪声对定位精度的影响，且轮廓信息连贯清晰。