多种识别方式组合的智能分类垃圾桶

马新玲，郭兆阳，乐祺中，杨旭东

(华东理工大学机械与动力工程学院， 上海 200237)

0 引言

垃圾分类是我国环境保护的新兴发展热点，在我国尚处于初步阶段，目前主要依靠人工对垃圾进行分类[1]。由于居民分类的意识和能力的欠缺，推广垃圾分类阻力大、难度高、准确性偏低。因此，需要使用机器辅助对垃圾进行识别和分类，使这一过程自动化、智能化。

目前，智能化垃圾处理设备的研究主要针对提升分类的准确性，研究方向集中在机器视觉、机器学习和图像处理算法。祝朝坤等[2]基于TensorFlow开发深度学习应用程序，指出Inception-v4在智能识别中准确度较高;吕程熙[3]比较了深度神经网络(DNN)和卷积神经网络(CNN)，认为CNN在不同分类任务中具有更高的准确度；宁凯等[4]设计了基于视觉的智能扫地机器人，使对常见的可回收垃圾识别率提升到85%。在其他垃圾识别和分类方法研究方面，赵冬娥等[5]研究了高光谱成像在垃圾分类识别中的应用；黄惠玲等[6]基于颜色特征对建筑垃圾进行了识别；Cordes等[7]通过模式识别对于掩埋在地下的废物特征进行了分析与分类。这些识别方法各有局限，其对特定种类的垃圾识别是有效的，但是在多元化垃圾的分类任务中，不能准确地对所有种类垃圾进行分类。因此，研发一种能够集合多种识别方式优势的垃圾分类装置是必要的。

本文设计了一款集合多种识别方式的智能分类垃圾桶，将机器视觉、物相分析、热成像图的温度场分析和轮廓特征分析这4种识别方式共同应用，并利用投票算法给出可信度较高的分类结论。这款垃圾桶使垃圾分类不再受单一方法的局限，从而提高垃圾分类的准确度。

1 智能分类垃圾桶的结构设计

本文设计的垃圾桶模型如图1所示，其主体部分分为2层。上层为识别区，用于识别设备的安置；下层为垃圾桶摆放区，可以摆放4种不同类别(湿垃圾、可回收垃圾、干垃圾和有害垃圾)的垃圾桶。

图1 垃圾桶设计模型

与普通智能垃圾桶相比，本垃圾桶的特点在于：

a.在垃圾桶内部上方增加1个用于识别的平台，中间是可以打开的活页结构。没有垃圾和正在识别垃圾时，识别平台处于合拢状态。当单个垃圾识别结束后，平台向下打开，使垃圾落入桶中。

b.识别平台的周围放置摄像头、微型光谱仪、红外热成像仪这3个图像获取设备，分别用于机器视觉识别摄像、热成像图和物相光谱图的获取。设备之间间隔120°，这样设计既为避免设备距离太近产生的互相干扰，又可避免2个设备呈180°时红外线或射线照射造成另一设备的损坏。

c.识别平台下方是4个垃圾桶的选择结构，当完成识别判断垃圾的类别之后，使相应类别的小垃圾桶移动到垃圾桶底部中央，待上方识别台板合拢、垃圾不再下落时，小垃圾桶归到原位。

d.垃圾桶顶部投入口的开闭可调。当内部正处于垃圾识别时，顶部投入口关闭，防止新的垃圾对识别产生干扰。当识别结束时，垃圾被分类到小桶之后，顶部投入口再次打开。

在垃圾桶运行时，其上述内部指令的流程，如图2所示。

图2 垃圾桶工作流程

2 多识别方式的设计

2.1 机器视觉识别

垃圾桶配备的摄像头用于机器视觉方式的识别。机器视觉是一种图像识别方法，其通过图像与数据集比对，快速高效地推测分析图像中的物体种类。目前，机器视觉在自动驾驶[8]、医疗诊断[9]和气候判别[10]等领域有较快的发展。而在垃圾识别分类过程中，数据集与算法的选择是最重要的2个参数。

本垃圾桶的机器视觉识别数据集选用COCO数据集[11]，该数据集收录20余种日常垃圾图像，数据集容量近千张，能够较好地对比识别常见的包装类垃圾。

算法选择方面，目前广泛应用的特征提取方法有深度残差网络ResNet算法与谷歌Inception算法，识别分类方法则有SSD[12]、Faster-RCNN[13]、Mask-RCNN[14]。为选择在垃圾分类中快速、准确的提取-识别算法组合，本文设计了组合对比实验，共同识别1幅包含3个物体(苹果、剪刀和牙刷)的有重叠的复杂图像。识别物体的结果与所用时间如图3所示。

图3 不同组合算法识别结果

由图3可知，在6组实验中， Inception与Faster-RCNN的组合耗时最短且成功判断出物体数量，其图像见图3d，但有1个物品判断错误；而Inception与Mask-RCNN耗时较短，且成功识别出所有物体。可见，对物体进行逐个识别时，Inception与Faster-RCNN的组合是高效的；当对多个物体进行复杂判断时，Inception与Mask-RCNN的组合兼顾效率与准确率，因此本文采用这2套组合算法。

在垃圾桶的应用环境中，可能出现1次投入多个垃圾的情况。因此在机器视觉识别方法中，选择COCO数据集进行匹配，选择Inception与Mask-RCNN的组合算法。本文采用的数据集主要针对生活垃圾的判断，故机器视觉识别方式在可回收垃圾与干垃圾的判断中的结论是比较可靠的，而对生活中不常见的有害垃圾和形状不定的湿垃圾的判断则较为困难。

2.2 激光照射后热成像识别

本垃圾桶配置小功率激光器和热成像仪，用于产生激光照射后形成物体的热成像图，通过2种图像分析与识别方式，分别可以得到物体的材料特性和提取物体的外部轮廓。通过热成像图温度场的颜色可以提取温度。经有限元仿真验证，通过热成像图中节点温度的提取和特征曲线的绘制，可以识别出木材、塑料、金属、玻璃和橡胶等固体材料。同时利用热量分布，可以判断物体中是否含有液体。

对于热成像图，同时采用提取边界特征的方法，可以得到物体外部轮廓，通过数据库对比判断该物体是什么。为了提高温度判断的敏感性，需要提高热成像图中的温度场对比度；而要提取合适的边界特征，需要对图像进行预处理。经仿真实验，采用图像处理与提取技术，得到了合适的温度场图与轮廓图的3条途径，可以进行湿垃圾和可回收垃圾的判别分类。

2.3 物相分析图识别

本垃圾桶配置小型X射线发射与接收装置和小型物相分析仪，可用于物相分析。X射线物相定量分析方法是常用的物相成分确定与物相比例分析的方法[15]。

当面临相似组分的分离问题时，采用对其化学成分直接进行分析的X射线衍射法，能够准确判别材料的组成元素。如利用物相分析仪对一种废弃类似玻璃物进行分析时，得到废弃物的光谱图。经过与已知材料光谱图对比，发现其主要波峰与二氧化硅一致，可以精确证明该物体含有二氧化硅成分，从而判别其为玻璃，属可回收垃圾。

3 投票表决算法

通过上述机器视觉、热成像温度场分析、热成像轮廓分析与物相分析4种识别方式的研究，发现对于不同种类的废弃物识别，各方式各有侧重：

a.机器视觉判别法对可回收物与干垃圾识别比较敏感，经学习能识别一些有害垃圾。

b.基于激光照射热成像的温度场图像分析对固体垃圾的识别比较准确，对于含水分的湿垃圾也有一定的判断能力。

c.基于激光照射热成像的轮廓分析对于形状规则的可回收物有比较强的判断能力，也能识别一些有害垃圾。

d.物相分析识别对于有害垃圾的识别比较准确，对金属等可回收材料判别较为准确，也能识别到物体中所含的水分。

当以上4种识别结果完全相同时，分类将达成一致。而当识别结果出现不一致，则引入AHP层次分析法[16]的一种投票算法进行表决。

根据分析所得的侧重点，不同方式判断出的不同结果具有各自的可信度，按照可信度评价1～9进行评估，建立可信度评价表，如表1所示。其中，每种垃圾的总可信度都设定为20，保证了投票表决结果的公平性。

表1 可信度评价表

当判别结果出现差异，对判别结果进行可信度投票。例如，在1次判别中，机器视觉方式与物相分析方式判定为可回收物，而基于热成像的温度场和轮廓分析判定为干垃圾，此时可回收物的可信度为5+7=12，干垃圾的可信度为7+3=10，可回收物的可信度较高，故可判断为可回收物。

该投票方法综合考虑了4种判断依据，并且将识别结果的可信度纳入考量。投票减小了各识别方式在其不擅长的领域的干扰，如热成像温度场对有害垃圾、机器视觉对湿垃圾识别的困难。同时，投票提升了各识别方式在擅长领域判断的权重，如在物相分析中判断出有害垃圾，那么垃圾很可能含有有害因素，最终分类为有害垃圾的可能性较大。

4 组合识别方式的实验

为说明组合识别方式在垃圾分类中的优越性，制作了组合识别的模型样机进行实验。在实验中，共取样50种不同材质的垃圾，主要为固体垃圾，其中部分含液体。

实验判断图像如图4所示，将待识别垃圾放到识别台上，通过不同识别方式依次对垃圾种类进行判断，利用投票算法得到对物体材料和分类的判断。实验中，共有43种垃圾的材料识别(包括是否含液体的判断)结果正确，准确率达86%；46种垃圾的分类结果正确，准确率达92%。

图4 垃圾组合识别实验

实验结果表明：对于绝大多数种类的固体废弃物，组合识别方式能够准确对材料进行识别，并做出合理的分类判断。

5 结束语

本文设计了一款基于多种识别方式的智能分类垃圾桶，研究了设计结构和识别过程。采用高清摄像头、红外热成像仪与X射线光谱仪3个采集设备，使用4种识别方法对垃圾进行分类：

a.使用高清摄像头获取图像，通过机器视觉、特征提取与卷积神经网络算法，对物体进行识别，并给出分类的结论。

b.使用小功率激光照射垃圾表面，红外热成像仪获取热成像图。对热成像图进行图像处理和轮廓提取并与数据集中的物体轮廓进行比对，得到分类结论。

c.对上述热成像图进行单一成分的温度场分析，利用传热特性获得物体的材料特征，根据推断出的材料进行分类。

d.使用便携式X射线发射仪对垃圾材料进行物相分析，准确识别物体的组成材料并以此进行分类。

当4种方式的识别分类结果相同时，可直接获得最终结果。而当分类结果不同时，通过基于可信度的投票表决算法，计算比较得到最为可信的结果。实验表明，该方法对各类固体废弃物的综合识别分类准确率大于90%，因此该垃圾桶在识别方面发挥了各识别方式的优势，降低了可信度不高的识别结果的影响，进一步提升垃圾桶的垃圾分类准确率。