深度学习在垃圾分类中的应用

莫卓亚 许家誉 肖景钰

摘要：随着深度学习技术的发展，人工智能技术开始逐渐与传统行业相结合。垃圾分类和回收是促进资源循坏利用、减少环境污染的重要手段。垃圾分类从人工分拣，开始向自动化及智能化分拣的方向演进，其中人工智能技术对于提高垃圾分拣效率、提升固废利用率有着积极的作用。本文针对垃圾分类行业内已有的深度学习技术、公开数据集以及未来可能的研究方向等进行探讨，为后续研究工作提供参考。

关键词：深度学习、人工智能、垃圾分类、资源回收、环保

一、引言

随着现代社会经济的进步，我国城市化进程加快，人类生产活动的增加，所产生的垃圾数量也逐步增多。垃圾无法得到有效处理已经成为经济发展和环境保护的阻碍，如果不采取积极有效的措施，提高垃圾的循环利用率，将会对自然环境和人民生活造成长远的、难以估计的危害。生活垃圾主要是多种废弃物混合而成，既包括可回收垃圾，也包括不可回收垃圾、有害垃圾等。因此要实现垃圾的再利用和无害化，必须要实现不同垃圾的分类处理。目前城市垃圾的分类回收工作主要依赖城市垃圾分拣中心，其垃圾分类方法主要依赖磁力、浮力、重力、风力等传统的方式进行半自动化分选，人工分选是其中必不可少的环节，作为前述环节的补充。传统的垃圾分类行业饱受劳动强度高、分选效率低以及工作环境差等问题的困扰，用机器视觉和深度学习代替人眼进行识别、并用自动化设备实现智能垃圾分选是行业大势所趋。

二、基于深度学习的垃圾分类方法

随着人工智能技术的发展，深度学习融合现有的技术手段成为许多行业的潮流。目前在垃圾分类行业的一个重要改进方向为，利用视觉采集设备收集垃圾图像，然后训练基于深度学习的模型对图像进行分类，并用智能设备根据图片分类结果对相应垃圾物体进行分选。其中垃圾图像的分类训练至关重要，决定了垃圾分类过程能否准确进行。为了解深度学习在垃圾分类领域内的研究现状，推动深度学习在垃圾分类中的应用，本文对垃圾分类图像识别领域内已有的深度学习方法进行调研，将相关方法进行归纳总结，为后续研究提供参考。

1.基于DenseNet的方法

DenseNet[1] 不同于传统卷积神经网络结构，其在每一个卷积层之间都创建了一个跳跃连接操作，可以有效提高图像信息在模型中的利用率，提升模型对图像信息的理解能力，从而提高模型鲁棒性和分类性能。Susanth [2] 等人发现，相较于ResNet50、AlexNet以及VGG16等模型的垃圾分类性能，在数据集 TrashNet上，DenseNet169的表现优于之前几个模型。虽然DenseNet模型性能优秀，但是在实际应用中需要消耗过多算力，因此之后不断有人针对DenseNet模型进行改进，提升分类计算效率和准确率。如Mao[3] 等人提出用遗传算法对DenseNet的网络参数进行优化，减少参数量，提高处理效率。Bircano [4] 等人提出一种基于DenseNet的改进网络RecycleNet，其优势在于利用新的连结模式，使得RecycleNet的参数量降低了一半以上，而性能几乎没有改变。

2.基于YOLO 的方法

YOLO系列方法[5]是一種一阶段的方法，刚开始提出是为了解决目标检测问题。由于其结构简单、目标检测性能良好的特性，研究者们也逐渐将其应用到垃圾分类中来。文献[6]提出一种基于 YOLOv2 的改进网络模型，同时结合传统机器学习中的聚类算法来提升模型的分类效果，并且在装修垃圾的分类中取得较好的效果。为了解决YOLO系列模型对小物体的识别与分类效果不佳的问题，吴子沛[7]提出一种新型交并比计算方法来替代传统计算方法，并且为了让预选框尺寸适配小物体识别，同时采用了聚类算法，进一步提高识别效果。

3.基于残差网络的方法

残差网络[8]的诞生极大地促进了深度学习的发展， 相较于之前的神经网络，其优势在于很大程度上解决了深度模型的“网络退化”现象，让模型的深度首次超过100层。在垃圾分类领域中，残差连接是消除过拟合的重要手段。Wang [9]提出一种基于ResNet的垃圾识别模型，利用较深的模型提高性能，并使用区域建议的方式来解决目标区域检测错误的问题，最终取得较好的效果。文献[10]将注意力机制与ResNet相结合，ResNet负责提取全局和局部特征进行融合，注意力机制用于对关键特征进行筛选。该文献所提出的模型能提高特征利用效率并避免梯度消失的问题。

4.基于Faster R-CNN的方法

Faster R-CNN[11]是在R-CNN[12]与Fast R-CNN[13]的基础上的改进目标检测模型，其性能相对与两者进一步提升。它将图像特征提取、候选框（proposal）生成、候选框回归（bounding box regression）以及分类整合为一体，明显提高了运行速度。基于此，陶威远等人[14]结合SMC滤波器和Faster R-CNN框架来对垃圾图像进行识别和分类，并取得了较好的效果。Seredkin 等人[15]采用预训练的Faster R-CNN模型，实现垃圾图像分类，且准确率较高。马雯等人[16]对Faster R-CNN网络进行调整，同时改进非极大抑制算法以提高候选框的精确度，使得模型分类效果有较大提升。

5.基于SSD的方法

SSD模型[17]（Single Shot MultiBox Detector）与 YOLO 一样，是 One-Stage 目标检测模型的一种。它吸收了Faster R-CNN与YOLO模型各自的优点，在检测速度方面超越Faster R-CNN模型并在mAP上超过YOLO，已经成为主要的目标检测框架之一。由于其速度与性能的优势，对SSD模型的直接运用也获得不少研究者的青睐。陈春煌[18]提出一种基于深度学习的智能垃圾分类系统，该系统采用SSD模型对输入垃圾图像的轮廓信息进行学习和分类，垃圾图像分类效果达到产业化要求。董子源[19]也选择SSD作为分类网络baseline，同时运用模型压缩手段，以进一步提高模型的分类与定位速度。钱昱成等人[20]用密集抽样的方式进行数据增强，提高SSD模型对城市垃圾适应性。

三、开源垃圾分类数据集

数据集对深度学习模型的训练至关重要。目前由于公开的垃圾分类数据集较少，因此研究者们主要采用自行构建的数据集进行训练。不过仍有公司和知名研究机构发布了多个重要的开源垃圾数据集。

1.TrashNet 数据集

TrashNet[21] 数据集为斯坦福大学的Gary Thung 和Mindy Yang由2016年所构建的图像数据集。该数据集一共包括2527张垃圾彩色图像。其中图像包括：玻璃图像501张，纸张图像594张，纸板图像403张，塑料图像482张，金属图像410张和其他垃圾图像137张。作者将6类垃圾分别放置在白色底板上，在阳光或室内灯光下对物体进行拍摄。该数据集中图片分辨率均为512×384像素。

2.TACO 数据集

TACO[22] 是可同时用于垃圾分类和检测的数据集，其中包括1500张图像标注信息和4784个位置标注信息，共28个大类和60个小类。该数据集的垃圾图片来自于不同环境。

3.AquaTrash[23] 数据集

该数据集由TrashNet 数据集和TACO数据集融合产生。由于前两个数据集都存在一些瑕疵（数据集标注问题），其中TrashNet部分图片缺乏标注信息，而TACO的图片标注存在错误。

4.华为云垃圾数据集

华为云垃圾数据集发布于2019年华为云人工智能大赛-垃圾分类挑战杯比赛。数据集包括43个类别的垃圾图像，总共14964张。但是其数据分布存在不均衡的问题，如牙签等垃圾图像数量较少，而菜叶等垃圾图像数量较多，会对训练效果产生一定的影响。

四、研究展望

在垃圾分类中深度学习方法具有准确率高、鲁棒性强等优点，且具有非常强的迁移能力和应用前景。目前研究人员主要针对以下方向进行研究：

1.无监督或自监督的垃圾分类

无监督学习是指在深度学习模型训练过程中，训练数据无需人工标注，直接对研究对象模型进行建模的学习方法。無监督和自监督的深度学习方法在图像处理领域逐渐占有重要地位，越来越多的研究者开始重视这一方向。对于目前垃圾分类领域内开源数据集样本较少的情况，基于无监督的深度学习会极大改善这一困境，大幅降低数据标注的成本。

2. 迁移学习与垃圾分类相结合

现有的训练数据集匮乏的问题，另外一个可能的解决方式是迁移学习。迁移学习是指从相关领域中迁移标注数据或者知识结构，改进目标领域任务学习效果的方法。深度学习可以借助迁移学习的方式，网络模型先在大规模相关数据集上进行训练，之后再对模型进行微调，从而提取更多深层特征，解决数据匮乏的问题。

3. 分类网络模型的高效化与轻量化

虽然当前深度学习中存在一些轻量化的方法，但是由于垃圾分类任务的复杂性，该领域仍然面临运算量高、处理速度慢和运算设备成本高的问题。此外，真实应用场景中，存在垃圾分类背景多变且垃圾种类会不断增长的问题，需要设计更有鲁棒性和高性能的模型来应对挑战。

五、总结

本文针对深度学习在垃圾分类领域中的现有工作进行了介绍与总结，对已有的开源训练数据集进行了调研。另外，本文分析了基于深度学习的垃圾分类方法面临的问题，并提出未来可能的研究方向和解决办法。深度学习技术在垃圾分类领域中已经取得长足进步，但是后续的发展仍然面临一些挑战，希望本文能为未来相关研究人员提供一定参考。

参考文献：

[1] Huang G， Liu Z， Van Der Maaten L， et al. Densely connected convolutional networks[C]// Proceedings of the IEEE conference on computer vision and pattern recognition. 2017： 4700-4708.

[2] Susanth G S， Livingston L M J， Livingston L G X A.Garbage Waste Segregation Using Deep LearningTechniques[C]// IOP Conference Series： Materials Scienceand Engineering. IOP Publishing， 2021， 1012（1）： 012040.

[3] Mao W L， Chen W C， Wang C T， et al. Recycling waste classification using optimized convolutional neural network[J]. Resources， Conservation and Recycling， 2021， 164： 105132.

[4] Bircano ğ lu C， Atay M， Be ş er F， et al. Recyclenet： Intelligent waste sorting using deep neural networks[C]//2018 Innovations in Intelligent Systems and Applications （INISTA）. IEEE， 2018： 1-7.

[5] 刘俊明，孟卫华.基于深度学习的单阶段目标检测算法研究综述[J]. 航空兵器， 2020， 27（3）： 44-53.

[6] Liu Y， Ge Z， Lv G， et al. Research on Automatic Garbage Detection System Based on Deep Learning and Narrowband Internet of Things[C]// Journal of Physics：Conference Series. IOP Publishing， 2018， 1069： 012032.

[7] 吴子沛. 面向垃圾分类的瓶罐识别分类系统[D]. 河北工程大学， 2020.

[8] He K， Zhang X， Ren S， et al. Deep residual learning for image recognition[C]// Proceedings of the IEEE conference on computer vision and pattern recognition. 2016： 770-778.

[9] Wang Y， Zhang X. Autonomous garbage detection for intelligent urban management[C]// MATEC Web of Conferences.EDP Sciences， 2018， 232： 01056.

[10] 董子源， 韩卫光. 基于卷积神经网络的垃圾图像分类算法[J]. 计算机系统应用， 2020， 29（8）： 199-204.

[11] Ren S， He K， Girshick R， et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2017， 39（6）：1137-1149.

[12] Girshick R， Donahue J， Darrell T， et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[J]. IEEE Computer Society， 2013.

[13] Girshick R. Fast R-CNN[J]. Computer Science， 2015.

[14] 陶威远， 姜太平， 郑一然. 基于Faster R-CNN算法的垃圾分类识别系统[J]. 网络安全技术与应用， 2020（3）：3.

[15] SEREDKIN A V， TOKAREV M P， PLOHIH I A， et al.Development of a method detection and classification of waste objects on a conveyor for a robotic sorting system[J].Journal of Physics Conference Series，2019，1359： 012127.

[16] 马雯， 于炯， 王潇，等. 基于改进Faster R-CNN的垃圾检测与分类方法[J]. 计算机工程， 2021， 47（8）：7.

[17] Liu W， Anguelov D， Erhan D， et al. SSD： Single Shot MultiBox Detector[J]. 2015.

[18] 陈春煌.基于TensorFlow的新型智能垃圾分类系统研发[J].现代工业经济和信息化，2021，11（12）：45.

[19] 董子源. 基于深度学习的垃圾分类系统设计与实现[D].中国科学院大学（中国科学院沈阳计算技术研究所），2020.DOI：10.27587/d.cnki.gksjs.2020.000005.

[20] 錢昱成，符水波.基于SSD算法的城市垃圾智能分类研究[J].电子技术与软件工程，2021（15）：140-141.

[21] Yang M， Thung G. Classification of trash for recyclability status[J]. CS229 Project Report， 2016， 2016.

[22] Proença P F， Simões P. TACO： Trash annotations in context for litter detection[J]. arXiv preprint arXiv：2003.06975， 2020.

[23] Panwar H， Gupta P K， Siddiqui M K， et al. AquaVision： Automating the detection of waste in water bodiesusing deep transfer learning[J]. Case Studies in Chemical and Environmental Engineering， 2020： 100026.

作者简介：莫卓亚（1984.5-），女，浙江绍兴人，硕士，中级工程师，任职于广东弓叶科技有限公司

东莞市引进创新创业领军人才计划资助（编号：东财〔2016〕380号）