基于图像深度学习的垃圾热值预测研究

2021-06-03谢昊源黄群星林晓青李晓东严建华

化工学报 2021年5期

谢昊源，黄群星，林晓青，李晓东，严建华

（浙江大学工程师学院，浙江大学热能工程研究所，浙江杭州310027）

引言

垃圾处理已然成为国家环境保护、经济发展的重点问题。垃圾热值检测是垃圾处理中的重要环节，这是因为垃圾热值的波动性会对炉内垃圾的稳定燃烧造成影响，燃烧状态关系着炉内压力、温度、氧量和风机风压等多项参数[1]。当炉内出现不充分燃烧时，不仅会对运行效率和机组寿命产生影响，还会产生更多有害气体污染环境。对垃圾热值进行预测能够使操作人员提前掌握热值的波动范围和时间，能使他们及时调整辅助用料量、一次风量和二次风量等参数来维持炉内垃圾的稳定燃烧，减小垃圾热值波动对运行效率与机组寿命的影响。

由于垃圾形态各异且所处背景干扰信息较多，图像中的垃圾特征较难被提取并识别，但利用卷积神经网络中的Canny算子能够有效将垃圾从复杂背景中分离并识别[2]。另外，现有研究在垃圾图像识别中加入了多目标姿势评估框架MOPED，加强了对同种垃圾不同形态的识别，并利用Mean-shift目标跟踪模型加强对垃圾的特征点跟踪并提取出垃圾的完整轮廓，从而增加识别准确率[3]。因此，对于利用垃圾图像进行垃圾热值预测研究来说，减少垃圾图像中的干扰信息并提取出垃圾有效特征能够提升垃圾识别时的准确性和可靠性。

我国针对垃圾的热值检测主要采用仪器检测方法，该类方法存在一定滞后性和随机性。针对以上缺陷，相关研究提出利用灰色关联度预测生活垃圾热值的影响，并利用BP(back propagation)神经网络或是遗传算法(genetic algorithm)对神经网络的权值和阈值进行优化，从而建立垃圾热值预测模型[4]。为了实现垃圾图像实时检测，相关研究尝试使用Yolo系列模型对垃圾检测过程进行建模，实现了较高的检测精度和检测速度[5]。另外，针对在图像中垃圾遮挡、重叠等问题，常采用局部特征描述方法包括SIFT(scale-invariant feature transform)、SURF(speeded up robust features)[6]。

目前实现热值的实时智能预测存在一些困难。首先，垃圾热值预测模型大多是国外学者提出，由于国内外的垃圾组成成分不同，因此这些模型的适用性较低。其次，由于目前我国缺少有效的储存入炉垃圾图像的数据库，在使用入炉垃圾图像训练深度学习网络时存在一定困难。另外，现有的热值预测方法依赖历史时序数据，存在一定的滞后性和精度不足。最后，在利用深度学习模型识别垃圾种类时，垃圾的重叠、遮挡、消融以及变形都会影响图像的识别精度。

本文首先探讨了我国生活垃圾的处置现状、垃圾物理特性及常用的垃圾热值检测方法，其次探讨了国内外智能识别垃圾图像的进展与不足，并提出基于图像深度学习的垃圾热值预测方法，最后展望了深度学习在图像识别领域的应用情况以及垃圾热值智能预测的发展前景。另外，本文利用高清工业相机采集入炉垃圾图像，建立符合我国垃圾组分结构的入炉垃圾图像数据库，并对数据库中的图像采用数据增强处理，在一定程度上能够减少垃圾堆叠和遮挡对图像识别精度的影响，最后通过Yolov5模型对图像中的垃圾类别进行快速识别，并对输出垃圾类别结果进行热值预测。

1 生活垃圾的产生量及特性

随着城镇人口的逐年增加，人们生活习惯的改变导致部分地区出现“垃圾围城”的现象。如图1所示，《2019年全国大、中城市固体废物污染环境防治年报》中提到，2019年全国生活垃圾生产量约3.43亿吨[7]。城市生活垃圾产量的逐年增大，不仅给城市发展带来阻力，更是十分影响生态环境。因此，2020年由国务院发布的《关于全面加强生态环境保护坚决打好污染防治攻坚战的意见》中要求实现所有城市和县城生活垃圾处理能力全覆盖，一方面推进垃圾资源化利用，另一方面大力发展垃圾焚烧发电产业[8]。

图1 2015—2020年中国城市生活垃圾产生量及同比增长率Fig.1 Municipal solid waste generation and year-on-year growth rate of China in 2015—2020

我国垃圾组分复杂多变，垃圾热值波动范围大、各组分燃烧时间不统一，十分影响炉内垃圾稳定燃烧。另外，我国入炉垃圾组成结构与国外有较大差别，现有的热值预测模型不能针对性地解决我国垃圾热值波动问题[9]。因此，通过图像深度学习技术对我国当前垃圾热值进行智能预测，有助于垃圾电厂各项参数的“超前调控”，对实现垃圾稳定燃烧具有重要意义。

2 生活垃圾物理特性及热值测量

如表1所示，《生活垃圾分类标志》[10]将垃圾焚烧电厂处理的生活垃圾按物理组成成分分为11类，分别为塑料类、橡胶类、木竹类、纺织物、纸类、土砖类、厨余类、金属类、玻璃类、其他类、混合类。但由于金属、玻璃和土砖等废弃物难燃、热值低，因此通常将它们的热值估算为零。

表1 生活垃圾物理成分组成Table 1 Composition of physical composition of domestic garbage

我国生活垃圾的组分特点为易腐有机质多、含水量较高及热值较低。垃圾的发热量主要受垃圾的水分（W）、灰分（A）和可燃分（R）的影响，因此可依据可燃区的界限值：W≤50%、A≤60%、R≥25%，来判断生活垃圾是否可燃[11]。如表2，为保证炉内稳定燃烧，当生活垃圾的低位热值在3350～4200 kJ/kg，可以不加或少加辅助燃料燃烧。当生活垃圾低位热值在4200～5000 kJ/kg时，需要一次、二次风预热至200～250℃。当生活垃圾低位热值在5650～8500 kJ/kg时，需要一次风预热至100～200℃。当生活垃圾低位热值在8500 kJ/kg以上时，一次风常温即可稳定燃烧。

表2 生活垃圾焚烧与热值的关系Table 2 The relationship between domestic waste incineration and calorific value

垃圾的热值是决定垃圾能否采取热处理的一个重要因素，同时也是确定热处理过程中辅助燃料用量的重要因素。我国垃圾种类繁多、水分含量高，一方面可以通过垃圾分类将含水量高的垃圾分离处理[12]，另一方面可以将高水分垃圾进行高温干燥预处理，同样能够提高垃圾热值[13]。另外，相关研究认为垃圾的组分结构对垃圾热值的影响程度大于垃圾的含水率[14]，Bonifazi等[15]针对四个城镇的垃圾焚烧炉进行试验，通过改变入口垃圾的组分结构来提高垃圾燃烧热值，其同样认为垃圾的组分结构对垃圾热值有较大影响。除此之外，相比于发达国家以塑料包装为主的生活垃圾结构，我国主要以厨余垃圾为生活垃圾的主要组分，其高含水率使得我国垃圾热值偏低[16]。

目前垃圾热值测量方法主要有三种方法，分别是仪器测试（氧弹量热法）、估值法（以塑胶、动植物性有机物含量计算）、公式法（Dulong/Scheurer-Kestner等）[17]。其中，垃圾物理组成成分、垃圾元素含量分析法、工业特性分析是常用的垃圾热值检测方法，并形成了相应的经验公式与预测模型[18]。由于垃圾物理组成成分不需要实验室分析仪器且认为垃圾中的塑料、纸张、厨余垃圾对热值影响较大，因此垃圾物理组成成分法应用更加普遍，表3为三种垃圾热值计算方法经验公式。

然而我国垃圾的组成成分十分复杂，大量不可燃成分掺杂其中，传统的经验公式与估算法既不能精确测量垃圾热值，更无法预测垃圾热值。目前，相关研究首先建立基于神经网络的生活垃圾热值计算模型，该模型通过拟合垃圾热值的历史数据，避免垃圾中的不可燃成分影响热值计算结果[22]，并利用灰色关联度和BP神经网络对热值进行预测模拟，后续又进一步通过遗传算法对神经网络的权值和阈值进行优化，完善了入炉垃圾的热值预测模型[23]。但由于我国垃圾成分中的含水量变化范围大，垃圾热值也会产生大幅度波动，使用基于历史数据特征建立的热值预测模型难免会因为时序问题产生较大误差[24],而基于深度学习的实时图像识别方法并不依赖于历史时序信息，具有更强的泛化性。同时，该方法可以对当前检测窗口下的垃圾热值波动做出实时反应，从而为实现机组各项参数“超前调控”提供条件。

表3 三种垃圾热值计算方法经验公式Table 3 Three empirical formulasfor calculating the calorific value of garbage

3 国内外智能识别垃圾图像的进展与不足

生活垃圾图像中存在较多与垃圾特征无关的背景信息，这增加了垃圾的识别难度。现有研究通过使用支持向量机（SVM）和残差网络进行垃圾识别测试，能够对垃圾图像进行一定的分类处理，但因垃圾图像数据集较小和图像自身较多的干扰信息而产生较大误差[25]。随后，深度卷积神经网络的加入，通过卷积核较快提取出垃圾图像中的特征信息，不仅增加了垃圾图像的处理速度，还增加了垃圾分类识别的准确性[26]。在卷积神经网络的基础上，出现了网络结构更复杂的Yolov2-dense，其不仅能够快速处理垃圾图像，还能在垃圾识别的过程对垃圾进行定位，在保证垃圾识别准确率的同时能够对垃圾进行正确的分类放置[27]。

在对垃圾图像进行识别的过程中，图像中垃圾间遮挡和重叠十分影响图像识别精度，常用局部特征描述方法解决该类问题，具体包括SIFT（scaleinvariant feature transform）、SURF（speeded up robust features）[28]。现有研究提出了一种基于回归的Yolo模型，其能够通过提取被遮挡图像中的局部特征来降低垃圾间遮挡所带来的识别误差，并进一步改进模型结构提出Yolov2模型，增加了垃圾图像的识别速度。另一方面，将Yolo模型应用在电厂发电负荷图像分析中，其检测速度和准确性都能在一定程度上满足电厂要求[29-30]。

近年来深度学习与图像识别技术逐步开始进行着有效融合，这在一定程度上能使图像识别技术更加智能和高效，但融合了深度学习后的图像识别技术在图像采集、算法模型和结果分析等方面仍然存在一些的问题。在垃圾图像的采集过程中，首先工业相机容易受到雾气、蚊虫、光照等外界因素影响。其次，由于我国垃圾组分复杂多变，所需识别的种类繁多，且经过垃圾厂堆料区发酵后部分垃圾辨识度不高，增加了垃圾图像识别的难度。最后，垃圾在运送过程中所产生的堆叠、遮挡问题同样也给垃圾图像识别造成一定的困难。在算法模型方面，目前大多热值预测采用神经网络或遗传算法搭建模型，对基于图像识别的垃圾热值预测理论研究较少。另外，相较于常用的图像检测模型，图像深度学习能够为垃圾热值实时预测提供更高的图像处理速度和更精准的图像识别精度。在输出结果分析方面，由于本文模型采用识别矩形框(bounding box)面积占比代替实际不规则形状垃圾面积，从而产生一定范围内的误差，对热值的预测精度也会产生一定影响。

4 基于图像深度学习的垃圾热值预测方法概述

本文通过高清工业相机对入炉垃圾图像的实时采集与分类标记建立图像数据库，并耦合图像缩放、色彩空间调整和mosaic数据增强等图像数据处理方法及神经网络训练，提出建立基于Yolov5的垃圾热值实时预测模型的设想。通过该模型进行热值预测后，可以对垃圾焚烧发电厂的垃圾履带速度、一次风量和二次风量等参数进行提前调控。

如图2通过工业高清相机每隔5 s采集一张入炉垃圾图像，采集到一定数量后，对图像数据进行标注，形成垃圾图像数据集。接着，在数据库中随机抽取一部分数据作为测试数据集，用于评估模型精度。对于所有训练集数据，在进行数据增强后输入带有预训练权重的Yolov5模型中进行微调，最终形成所需的神经网络权值。

另外，将测试集数据输入到已训练好的网络进行测试，输出Yolov5能够识别的各类垃圾的框标。接着通过计算每种垃圾框标的面积占比来确认最终该类垃圾占总垃圾的比例，同时又得到该类垃圾的识别框总面积值，热值的计算方式为垃圾占比比例、垃圾种类的面积、垃圾密度、各类垃圾平均热值的乘积，得到该图像垃圾的预测热值。由于缺乏所采集到的入炉垃圾图片中对应的标准热值，因此，需要搭建小型实验平台，对图像中的垃圾样品进行氧弹量热分析，测试出其标准热值后，与预测垃圾热值进行数据拟合，得到相应误差系数，用于后续对预测热值的校正。

4.1 建立图像深度学习模型

本文通过使用Yolov5的图像深度学习模型进行迁移学习，对入炉垃圾图像进行图像中垃圾类别的目标检测并预测热值。

如图3所示，Yolov5模型分为四个主要部分，分别为输入端、Backbone、Neck、Prediction。下面进行具体说明。

输入端分为三个部分：mosaic数据增强、自适应锚框计算和自适应图片缩放，其中mosaic数据增强是为了能够让模型更好地检测图像中的小目标物体，自适应锚框计算是通过更新每一次迭代输出的预测框面积，能够使预测结果更加合理，自适应图片缩放是为了将原始图片统一缩放到一个标准尺寸，再送入检测网络中检测。Backbone分为两个结构：Focus结构主要是对图像进行切片操作，CSP结构主要是为了从网络结构设计的角度解决推理中计算量很大的问题。Neck为FPN+PAN结构是为了加强网络特征融合。Prediction使用的是GIOU_Loss函数，该函数用来估算检测目标矩形框的识别损失[31]。

Yolov5模型能够基于图像特征信息进行深度学习，根据其含有的残差组件个数分为四个预训练网络结构，分别为Yolov5s、Yolov5m、Yolov5l、Yolov5x，其残差组件依次递增，如表4为Yolov5不同网络结构的卷积核个数以及残差组件个数。随着网络深度的加深，模型也具有越来越强的特征提取及特征融合能力[32]。

图2 Yolov5计算方法流程图Fig.2 Yolov5 calculation method flowchart

图3 Yolov5的网络结构图Fig.3 Yolov5 network structure diagram

表4 Yolov5不同网络结构的卷积核个数以及残差组件个数Table 4 The number of convolution kernels and the number of residual components of different network structures in Yolov5

4.2 入炉垃圾图像采集

入炉垃圾的图像采集需要运用高清工业相机，工业相机从芯片上分为CCD和CMOS两种，由于输送垃圾的传送带为运动状态，应选用CCD相机。根据相机检测运动物体的原则，选择的相机的帧率需大于检测速度，保证处理图像的时间要短，需要在相机曝光和传输时间内完成。最后，由于相机分为面阵相机和线阵相机，而本文中需要检测运动中的垃圾图像，对图像的精度和清晰度要求很高，面阵相机的分辨率和帧率很大程度上不能满足需求，因此选择线阵相机。

4.3 建立入炉垃圾图像数据库及数据增强

将所采集的图像中的垃圾进行分类标注，针对标注好的垃圾类别建立入炉垃圾图像数据库，并通过数据增强的方式提高模型对图像的识别精度。数据增强通常分为三部分，分别为图像变换、随机替换、混合图像[33]。其中图像变换主要由颜色变换和几何变换两部分组成，颜色变换即为将图像的亮度、对比度、饱和度和噪声进行更改以增强数据，几何变换则是对图像进行随机缩放、裁剪、旋转以此形成新的数据集。随机替换是这三种增强方式中比较常用的一种，其将图像的部分区域替换为随机值或是训练集的平均像素值，能够防止模型记忆训练数据过拟合。混合图像则是通过将不同图像随机剪裁和拼接，将不相同的图像进行混合，从而扩充训练数据集，来提高训练精度。

本文中的数据增强方式主要为图像变换和混合图像，即采用缩放、色彩空间调整和mosaic增强。图像缩放是非常常见的方法，即将原有图像数据集中的图像通过放大、缩小产生更多数据集，在深度学习网络训练时能够识别该物体不同大小的形态，从而确定识别精度，这能够减少一种垃圾的不同形态对识别带来的干扰[34]。图像色彩空间调整如图4所示，将图像的色彩/色度、图像饱和度、图像亮度进行调整，增加数据集进行图像识别训练，这有助于在垃圾识别中，避免识别背景的光线变化带来的影响。mosaic增强如图5所示，是将多种需识别的物体按一定比例组合为一张图像，经过多次训练后，其能够使得模型识别出比正常尺寸小的物体，这对于识别电厂中较小的垃圾起到关键作用。

4.4 垃圾热值确定方法

如表5所示，根据《生活垃圾采样和分析方法》[35]中所提到的各类生活垃圾热值标准量及氢元素含量，在无量热仪的条件下可以选用式（1）热值经验估算公式计算。

图4 图像色彩空间调整后数据增强示例图Fig.4 Example diagram of color space adjustment data enhancement

图5 图像mosaic数据增强后示例图Fig.5 Example diagram of mosaic data enhancement

表5 各类生活垃圾占比、热值及氢含量Table 5 Calorific value and hydrogen content of various types of domestic waste

式中，Q′i(h)为某类生活垃圾的干基高位热值，kJ/kg。

在统计了各类垃圾的平均标准热值后，利用Yolov5深度学习框架，对各类垃圾进行目标检测，并用矩形框标识出图像中的各类垃圾，通过计算在图像中各类垃圾的矩形框面积和，假设垃圾厚度一定，利用垃圾的矩形框面积代替垃圾体积。如式（2）为某种垃圾预测热值=某种垃圾的矩形框面积和×垃圾密度×某种垃圾平均热值×假设垃圾厚度×误差系数，如式（3）为垃圾预测总热值为各类垃圾预测热值之和。抽取部分图像中的垃圾样本，通过氧弹量热法计算出其标准热值，并与图像预测热值数据拟合，进一步优化误差系数α。

式中，Qp为某类垃圾预测热值，kJ/kg；Q′p为n类垃圾预测热值总和，kJ/kg；S为某类垃圾的矩形框面积和，m2；ρ为某类垃圾密度，kg/m3；Qr为某类垃圾平均经验热值，kJ/kg；h为某类垃圾假设厚度，m；α为误差系数。

4.5 模型验证

模型的验证分为两个阶段。第一阶段对垃圾目标检测结果进行验证，对所有测试样本进行检测，将检测结果与标注结果进行对比，评估该阶段的准确性。第二阶段对热值检测精度进行验证。在确保了目标检测精度的情况下，根据识别所生成的检测框进行热值计算，并将该计算结果与实验室分析所得结果进行对比，从而评估模型在热值检测上的准确性。最终应用在实际电厂中，通过高清工业相机实时采集图像，实现垃圾稳定燃烧，减小垃圾热值波动对电厂所带来的影响。

5 未来展望

目前全球都在大力推行计算机视觉领域的发展，深度学习在计算机视觉领域已经占据了绝对的主导地位[36]。深度学习的加入能够帮助计算机图像识别技术在精度和速度方面得到进一步提升。根据全球技术解决方案提供商Soft Serve发布的Big Data Snapshot研究报告显示，约有62%的大中型公司希望在未来两年内能将深度学习用于商业分析[37]。传统的图像识别技术一直依赖人工设计的特征，对深层次信息难以抽取，深度学习采用一系列非线性变换，能够更高效地处理图像中的深层次信息。当前，深度学习在图像识别领域主要以卷积神经网络研究为主，未来将进一步通过改善卷积运算形式来简化深度学习的复杂性，使得图像识别技术的应用场景更广、应用技术更简明[38]。未来将不断地改进与完善用于图像分类任务的深度学习模型，将该类模型更好地通过迁移学习应用于垃圾热值的预测中，利用深度学习的泛化性，能够通过垃圾图像信息对热值进行预测。

在现有的垃圾焚烧发电厂中，操作人员往往通过定期对垃圾样品抽样检测来进行热值估算，相较于巨大的垃圾堆放量，样品检测量远远不够，存在较大估算误差[39]。另外，当出现垃圾热值大范围波动时，现场操作人员只能根据经验不断调节风量、传送带速度以及抓料量，这不仅会影响垃圾稳定燃烧，还影响设备的使用寿命。因此，通过提取垃圾图像信息来对热值进行智能预测，能够较好地提高垃圾热值估算的准确性、即时性，并改善热值波动带来的经济、环境影响。具体将开展的工作如下。

（1）将通过开展垃圾给料工艺以及垃圾热值的波动特性的研究，合理设计采集垃圾图像的频率以及采集图像的大小。

（2）将通过高清工业相机采集入炉垃圾图像，并通过数据标注建立符合我国垃圾成分结构的入炉垃圾图像数据库。

（3）继续优化垃圾热值预测的深度学习模型，提高机器视觉对于垃圾特征的提取精度与提取速度，从而更快地预测热值。

（4）将对垃圾样本进行氧弹量热法分析，同时对比智能预测垃圾样本热值的方法，计算出误差系数，进一步缩小垃圾图像识别中因垃圾厚度、识别不全等问题带来的误差。