基于深度学习的智能垃圾桶设计

潘仲勋，葛宇童，董京伟，牛 爽，刘振晔

（1.北京工业大学软件学院，北京100124；2.北京工业大学计算机学院，北京100124）

1 研究意义及现状

本项目基于对全球智能化家居的调查和分析，通过总结各国不同的智能家居的特点，设计出以机器学习为基础的智能家居系统。项目主要注重的是智能家居对于语音的识别，这样既可以体现出智能家居的智能性，还可以将不同的家居统一成一个系统。在项目的设计方法中，采用先调研再设计测试，最后实现整体设计的方法，体现了结构化和模块化的项目设计，可以很好地保证整个系统的完整性。

1.1 研究意义

智能家居最终目的是让家庭更舒适、更方便、更安全、更符合环保。随着人类消费需求和住宅智能化的不断发展，今天的智能家居系统将拥有更加丰富的内容，系统配置也越来越复杂。现今市场上销售的智能家居缺少整体性，只是简单的模块堆积，缺少智能性。现计划设计研发一种对房屋整体性把控的智能家居系统，分为两种模式：人工通过智能语音控制；无人时传感器对房间进行自主控制。

实现智能垃圾桶的智能分类。垃圾分类被提上国家发展战略，设计一款便于实现垃圾分类的垃圾桶显得十分必要。目前垃圾分类面临最大的问题是居民不清楚垃圾如何分类。现计划研究一款垃圾桶，使用者只需要说出要丢的垃圾名字，就能实现对应种类的垃圾桶开盖，通过软硬件结合实现智能垃圾桶的智能分类。

家居的自动化。随着自动化的普遍趋势，家居的自动化也已经成为了必然的趋势，而在无人在家时，家居能否能自动运行成为了关键。

人工语音识别进行电器的控制。现今市场上售卖的智能家居缺少整体性，一个家居只能独立完成其功能，无法与实现人机交互、万物互联，缺少智能性。现计划设计研发一种物联网智能模块，将电器智能化。通过人工语音识别进行电器的控制。

本项目主要通过以下四个方面的研究，来实现上文所述的三大基本构想。

第一部分为智能识别判断人的语音内容研究。语言识别必是实现人工智能、智能家居的一个重要途径。准确地识别人类语言的研究便是实现的第一步。

第二部分为语言识别与物联网模块结合。实现人工语言识别后，就需要对应家居做出对应的反应。实现语音识别模块以及物联网模块相结合。

第三部分为通过传感器对环境信息的采集，以及综合自主分析，实现对家居的自动控制。现在随着自动化的普遍趋势，家居的自动化已经成为了必然的趋势，而在无人在家时，家居能否自动运行成为了关键。

第四部分为设计新型物联网模块，实现普通电器也能联网，进行语音或者APP控制，实现对普通电器的智能控制。现今市场上售卖的家居厂家众多，要求厂家生产出来的家居都支持同一个系统的语音控制，显然不现实。但可以研究能完成特定物联网功能的模块，并将普通电器进行改造，使其成为智能电器，能接受人类语音的命令。通过人类语音识别进行电器的控制。

1.2 国内外研究现状

自1984年世界上第一套智能家居在美国建成以来，欧美和东南亚等经济较发达的国家先后提出了各种智能家居的方案。智能家居在美国、日本、德国、法国、韩国的广泛应用，为世界范围内智能家居产业标准制定和业务模型探索起到了至关重要的作用。1998年微软提出“维纳斯计划”之后，相关行业都在积极推动这个产业的发展。但是从严格意义上来说，目前仍处于初级启动阶段。

美国智能家居以数字家庭和数字技术改造为契机，偏重于豪华感，追求舒适和享受，但其能源消耗很大，不符合现阶段世界范围内低碳、环保和开源节流的理念。日本的智能家居是开发、设计、施工规模化与集团化，以人为本，注重功能，兼顾未来发展与环境保护，大量采用新材料、新技术，充分利用信息、网络、控制与人工智能技术，实现住宅技术现代化。德国的智能家居追求专项功能的开发，注重基本的功能性。韩国政府对智能小区和智能家居采取多项政策扶持，规定在首尔等大城市的新建小区必须具有智能家居系统，目前，韩国全国80%以上的新建项目采用智能家居系统，产生了像三星、LG等知名的智能家居品牌。

3.1.2 个人出版物的海外传播现状 对于个人出版物来说，作者由于长期在某一国家从事武术教学工作，对该国的语言较为了解，能够保证语言的表达更加准确，但是出版物中的教学内容却缺乏标准。当前，许多在国外从事武术教学的教师，武术习练背景参差不齐，许多没有赴外教学许可的人员也在传播中国武术。由于教学人员自身业务素质的不足，导致其出版的纸质教材或视频影像中，教学内容不标准，动作错误频出，为中国武术的海外传播带来了阻碍。

2 智能垃圾分类箱总体结构设计

2.1 日常家庭垃圾产生情况

垃圾分类是环境质量全面改善的必然要求，垃圾分类是化解“邻避效应”的必然要求[1]。笔者们对于家庭日常垃圾产生情况进行调研，此调研依据作为设计垃圾桶功能分区的重要前提。通过数据搜集，数据分析以及相关文献研究得到以下分析情况。

通过“全国各省历年统计年鉴”搜集了家庭日常购买产品情况，包装行业的数据，国家地区垃圾产生量，具体如表1所示。

表1 日产生各类垃圾质量占比

从表1中可以看出不可回收垃圾和厨余垃圾日产生占比基本一致，可回收垃圾产生量最大，对于家庭来说，有害垃圾产生量最小。

2.2 功能区域划分

目前，国内家用垃圾分类普及率低，原因在于垃圾分离所需垃圾桶数量多、某些垃圾异味容易散发[2]。根据日常家庭垃圾产生情况，笔者们设计了以下垃圾桶，如图1所示。

图1 垃圾桶

3 语音识别模块及其技术基础

此程序使用的是Python语言，同时也使用了百度云提供的语音识别技术。选择Python进行编程是因为其编写简单、代码简洁且功能强大，使用其所拥有的各种包、库来完成语音识别的功能。

程序分为两个部分。第一个部分是实时进行用户的语音录入，使用Python的PyAudio来实现这一功能，设置采样率为百度语音识别所需要的16 000，并将其保存为一个wav文件；第二个部分是调用百度云提供能的语音识别技术的库函数进行语音向字符串的转换。

在开发的初期，普通话的语音识别有50 000次的免费试用次数，也大大降低了产品开发的相关成本，比较适合项目的需要。

4 利用深度学习实现根据图片识别垃圾

4.1 深度学习的优缺点

深度学习是近些年以来人工智能领域的一项非常火爆的技术。它在数字图像处理、自然语言处理、语音识别等领域有着广泛的应用。它有着学习能力强、覆盖范围广、适应性好、数据驱动、上限高、可移植性好等优点，但同时也存在着计算量大、便携性差、模型设计复杂、容易存在偏见等客观缺点。因此笔者们在实验过程中通过图像增强优化来提高各种垃圾的特征，通过提高训练次数来尽量找出最优模型的方式来尽可能地提高准确率[3]。

4.2 数据集采集和标注

深度学习是近十年来人工智能领域取得的重要突破。它在语音识别、自然语言处理、计算机视觉、图像与视频分析、多媒体等诸多领域的应用取得了巨大成功[4]。垃圾图片的数据集通过网络上大量的彩色垃圾图片进行采集，收集了金属工具、塑料包装等二十种，共计一千余张的垃圾图片，如图2、图3所示。通过json文件进行对垃圾突变类型的标注。

图2 垃圾图片数据集种类

图3 垃圾图片数据集（部分）

4.3 图像增强优化

为了能够最大化地利用数据，利用少量的数据能获得更多的训练集和更好的训练效果，对训练数据图片进行增强是一个十分有效的手段，于是将一张原图片进行旋转，平移后能强调某些特征，扩大图像中的不同垃圾物体特征之间的差异，加强图像判断和识别效果，具体如图4、图5所示。

图4 对图片的随机平移

4.4 训练模型问题及优化

在实验的过程中，笔者们发现模型对于所要预测的图片的明暗色彩区分度并不是很高，导致在有些特殊场景下分不清不同种类的垃圾，有时会因此出现堆叠垃圾的漏识现象。针对这个问题，笔者们通过提高epoch（训练次数），将training loss降低并且将模型不断优化保存以及利用上述所提到的图像增强优化来不断提高不同种类垃圾之间的特征值差异这两种方法来提高准确性。

4.5 预测效果

通过对原图像与预测图像进行对比，效果基本符合预期，具体如图5、图6所示。

图5 对图片的随机旋转

图6 原图像

4.6 结语

通过以上对图片增强处理以及对与模型的训练次数及优化和数据集的优化处理后，垃圾分类识别的准确度得到了显著提高，但是仍然存在着在较暗环境下的垃圾堆叠、漏识、误识现象。但是由于使用的深度学习方法所用到的硬件要求并没有很高，并且也并不需要外接设备来进行实时监控，同时也有着可观的准确率，符合实际场景的分类需求。

图7 预测图像