可回收物智能分拣系统的设计与实现

何永康，宋连庆，颉清云，郭瑞鸿

(西安工程大学 电子信息学院，陕西 西安 710600)

0 引 言

随着机器视觉技术的发展，基于机器视觉的可回收物智能分拣成为可能[1-4]。智能分拣在诸多领域都有广泛的应用，首先对现有智能分拣的研究成果进行总结和分析。文献[5]采用YOLO v3对流水线上餐具进行定位和分类，通过机械臂抓取达到目标物分拣目的。文献[6]对并联机器人分拣系统的研究，通过机器视觉提高控制系统的性能。文献[7]提出一种基于实例分割网络与迭代优化方法的工件抓取系统，通过优化3D视觉模型，提高机械臂抓取成功率，但工作周期依旧需要12 s左右。文献[8]针对垃圾分拣设计的一台机器人，采用机器学习平台完成分类，智能机械臂控制系统完成分拣操作。

以上都在物品分拣或垃圾分拣的研究上做了深入的研究，仅考虑在算法上提高分类精度以及定位的准确性，未考虑到分拣速度的问题以及实际推广过程成本问题。当前垃圾分拣设备也主要以机械臂为主，机械臂的局限性在于速度难以提升，对目标分拣物的外形物理因素也有一定要求。在面对处理量大、收益低的可回收物来说，虽然已有比较成熟的技术，但可回收物智能分拣设备在市场普及率与实际需求之间，仍存在不小的差距。

综上所述，针对分拣速度低和设备成本高的问题，本文设计了一套改进的可回收物智能分拣系统。系统利用流水线加拨杆的操作模式取代机械臂，完成多步进电机同步控制的设计，对不同可回收物类别进行分拣操作。以RetNet50网络模型为基础，引入Gamma校正图像预处理并且改进Softmax函数，提高可回收物分类的正确率。最终在满足分拣正确率的要求下，分拣速度也有较大提升。

1 硬件系统

1.1 整体结构设计

本文设计的可回收物智能分拣系统结构如图1(a)所示，主要包括传送带结构、图像采集、图像分类、分拣控制系统以及分拣操作部分。传送带结构实现物品的传送，将物品从投放位置运送到图像采集位置，再到分拣操作位置；图像采集完成实时的物品图像采集和数据传输；图像分类在PC机上实现，首先完成分类模型的训练，然后采用循环的PC上位机识别程序，完成实时分类的任务；分拣控制系统是实现分拣任务的操作，由控制系统和硬件分拣机构组成，用来替代传统机械臂模式的可回收物分拣。

图1 分拣系统概况

系统运行流程如图1(b)所示。首先，将可回收物逐个放入自动传送带上，由红外避障传感器触发摄像头完成图像采集，并传输给计算机形成数字图像。然后，使用训练好的分类模型，对图像中的物品进行实时分类识别。其次，将分类信息通过串口，传输给控制系统。最后，控制系统控制步进电机完成指定的分拣任务。本系统在分拣的整个过程方面，相对由于机械臂的分拣方式，结构和控制系统方面都有较大的简化，不需要对物品进行复杂的实时定位，减低了定位算法的难度，也不需要使用机械臂完成，降低在分拣控制方面对快速性和精确度的要求，因而突出了本系统的简便性和易于实现的优势。

1.2 分拣系统

本文在满足实验需求的情况下，搭建了分拣系统的硬件平台。分拣系统硬件由传送装置以及分拣拨杆部分组成。传送装置采用流水线的模式，流水线整体采用40铝型材构成。全线总长1.5 m，传送带宽度为30 cm，能够满足对一般物品的分拣要求。流水线动力采用775直流减速电机，通过齿轮传动链接，带动主动轮实现流水线传动，实物结构如图2(a)所示。分拣拨杆组成部分是用来实现分拣任务的操作，本文所采用的拨杆结构为自行设计，实物结构如图2(b)所示。拨杆操作驱动采用42步进电机完成，步进电机通过丝杆和链接件组成的链接结构完成动力的传递，如图2(b)中链接结构所示。拨杆的一段固定在流水线侧面的固定轴上，拨杆的张开与闭合操作由步进电机的正传与反转完成，给拨杆一个比较精确的角度控制，并且能够提供一个稳定的分拣力度。

图2 实物结构

通过平台实验，最终能够分拣重量小于0.3 kg、长宽在10 mm～300 mm范围内的物品。拨杆排布在传送带两侧，每侧各两个共4个，另有一类不进行操作，总共可对5类物品进行分拣。整个分拣系统在实验室环境下所占的面积相对较小只有2 m2～3 m2，不需要设置专门放置机械臂的空间，也不需要过多的注意分拣操作的空间范围的要求，节约了分拣设备的场地需求。本系统的灵活性相对于机械臂的分拣系统同样具有一定的优势，需要完成更多种类或者更大体积分拣任务要求，仅需要对分拣系统进行较小调节即可。例如，同样需要增加分拣物品种类的要求，本系统仅需要增加流水线的长度，满足安装分拣拨杆和放置分拣框的需求即可。而机械臂分拣系统在增加分拣框的同时，必须考虑机械臂的操作范围是否能够满足，在分拣类别较多不能够满足分拣范围时，不仅需要增加流水线长度还需要增加机械臂数量，一般情况下每台机械臂只能够进行4类物品的分拣，其系统改造的复杂程度工作量比本系统都要高出很多。

2 控制系统

利用嵌入式实时操作系统(RTOS)在任务调度管理方面的优势[9]搭建分拣控制系统。控制系统包括实时操作系统、传送带速度控制、步进电机操作控制、分拣框的实时监测和图像采集控制。

2.1 控制系统总体结构

控制系统采用STM32芯片作为主控芯片，以Free-RTOS实时嵌入式系统为程序框架，简化程序设计难度，完成复杂任务的控制[10]。FreeRTOS是一款实时性高、内核占用空间小的开源嵌入式实时操作系统，同时具有高度灵活性、最优的模块化设计、高可读性以及可维护性，能在嵌入式设备中广泛使用[11]。使用FreeRTOS管理处理器的时间和资源，使得复杂嵌入式系统软件开发和维护变得高效，同时能够提高系统稳定性和可靠性[12]。

本文主要设计了传感器触发、串口通信、步进电机选择以及超声波检测4个任务，这4个主要任务之间的控制系统流程关系如图3所示。任务之间的实时并行执行是分拣操作能否及时和准确的前提，并行任务之间的信息传输是分拣操作的关键。

图3 控制系统流程

控制系统芯片采用STM32f103c8t6，芯片移植Free-RTOS实时操作系统。各功能模块与控制芯片之间的链接关系如图4控制系统原理所示。

图4 控制系统原理

控制系统原理有7个不同功能的模块组成，核心的控制芯片板是一个STM32F103C8T6最小系统版，4个步进电机驱动模块，5个超声波检测模块，一个有源蜂鸣器模块，两个红外避障传感器，一个分类结果信息传输的USART串口部分和一个流水线直流电机驱动模块。

2.2 传送带速度控制

传送带电机采用L298 N驱动模块，具有双路H桥电机驱动，可以同时驱动两路12 V直流电机[13]。直流电机速度调节，通过STM32定时器产生不同占空比的脉冲宽度调制(PWM)。PWM的频率由时钟频率f、预分频值M、计数周期T决定，占空比由定时器寄存器值compare来决定，流水线速度V与控制电机PWM占空比之间的系数为K，其关系如式(1)所示，可以通过改变compare值来改变速度V

(1)

流水线使用两个红外避障传感器R1和R2，可测得物体经过时T1和T2的值。R1和R2之间的间距为L，与流水线实时监测的速度v之间的关系如式(2)所示

v=(T1-T2)/L

(2)

采用负反馈系统，将测得的实时流水线速度与设定速度相比较修正compare值。使流水线始终保持在恒速运行，相互关系如图5所示。

2.3 多步进电机多任务同步控制算法设计

步进电机驱动采用A4988模块实现，主控芯片通过对驱动模块的方向、步频和使能的控制完成分拣操作。此部分完成4台步进电机的实时多任务同步控制，每个任务控制需要根据物品的类别、实时的位置以及同时多响应的实际情况来及时准确实现具体任务的操作。

图5 速度校正流程

为解决上面所提出的多部件电机多任务同步控制问题，设计如图6所示多任务控制算法。tp表示时间数组1，当有物品进入时，红外避障传感器R1触发进行标记的时间存储。class表示类别数组，是分类之后的结果存储。ts为任务符合分拣操作要求时的实时时间，对tp和ts计算，可以得到一个新的时间数组t。通过时间t可以计算出此时物品具体的位置，按照class数组对应的类别，可以进行具体的任务(task)操作执行。此部分以固定地址查询为设计思路，实现同一物品在被分拣处理过程中不同参数之间的有效关联。本文的解决方法是建立固定的数据组，在不同数据组的相同位置，存储同一物品的处理信息，所有信息组的相同位置便可共同组成任务的执行参数。每个任务为单独执行的系统任务，实现各个任务之间的运行互不干扰，当满足分拣任务要求，即可读取所需参数完成分拣操作。

图6 多任务控制算法设计

从图6(a)可以看到，不同数据和任务之间对应的数组位置不同。图6(b)是多任务同时运行的流水线，可以看出并行任务在一定周期内便可执行完。因此设置一定大小的数据数组和任务个数，将整个数组任务循环执行，便可在有限的任务里完成不间断的分拣操作需求。

2.4 分拣框实时监控

分拣框的实时检测设计，对5个分拣框采用超声波测距模块进行实时监测。超声波检测控制采用轮询方式，接线方式如图4控制系统原理中控制系统检测模块所示。设置的时间为每秒对5个超声波传感器轮询一次，模块Trig引脚分别接不同的芯片端口进行触发控制，Echo端口接同一个端口进行距离数据的采集。此种方式可以在有限的时钟外设情况下，完成多个监控任务的执行。具体运行流程为：超声波模块进行轮询检查，当某个框内物品超过设定位置后，蜂鸣器进行报警提示，同时该位置的指示灯进行闪烁。

2.5 图像采集控制

图像采集系统作为一个单独的部分，该部分采用STM32f407作为控制器，驱动OV2640摄像头进行物体图片的采集和传输。当有物品到来时，红外避障传感器被触发，信号传输给控制器。控制器控制摄像头进行拍照操作，通过串口将数据信息实时传输给计算机[14]。具体流程如图7所示。

图7 图像采集控制流程

3 分类系统

3.1 数据集制作

数据集来源不同，在神经网络训练中最终会影响分类的准确度[15]。数据集制作流程如图8所示。

图8 数据集制作流程

图9 数据集部分样本

3.2 分类器设计

本系统以ResNet50模型为基础，对传统Softmax函数进行改进，作为本系统的分类器并对其进行模型训练。

ResNet50模型为深度残差网络模型，残差网络主要以残差块构成。残差网络的出现在于解决随着网络的加深，训练集准确率下降的问题，并且具有易于优化计算量小等特点[17,18]。残差块通过Shortcut Connection跨层链接传递参数，以解决深度网络的过拟合梯度爆炸等问题[19]。主要有两种残差模块：ID BLOCK和CONV BLOCK。ID BLOCK其输入输出维度不变，如图10(a)所示；CONV BLOCK其输入输出维度不同，主要功能为改变特征向量维度如图10(b)所示。其中CONV是不同的卷积操作，Relu为激活函数如式(3)所示，当x大于0时，函数的导数值始终为1，不存在梯度消失的问题[20]。ResNet50中包含了49个卷积层和1个全连接层[21]，其基本构成单位为残差模块。因为每个残差块都包含3个卷积层，因此有1+3(3+4+6+3)=49个卷积层，如图10(c)所示

(3)

图10 卷积神经网络结构

图10(c)全连接层后，采用式(4)Softmax函数为分类器[22]。其中yi为Softmax函数的输入，K为分类的总个数，K个类别的输出求和为1[23]，输出值中最大的一类即为判断出的类别

(4)

在实际可回收物分拣过程中，分拣效果的好坏，体现在分拣的误检率上。而对于可回收物分拣来说，其中其它物这一类别属于特殊的一类。将可回收物识别为其它物，在实际中只能算漏检，而对于可回收物品的分拣正确不会造成太大的损失。相反，如果将不是该类的分拣为该类，则属于误检率。同样比值的误检率和漏检率造成的损失，漏检会高很多。分拣的误检率高低，是可回收物分拣质量的保证。因此，本文在损失一定的漏检率上，对网络进行改进，在Softmax函数后增加权重来降低除其它物以外物品的分拣误检率，如式(5)所示

(5)

式中：WK为输出类别权重值，K为系统分拣类别。权重值中，a为其它物的权重值，其余权重值设置为1，则在分类结果上偏向其它物，降低除其它物之外可回收物的误检率。

3.3 Gamma校正

在神经网络图像分类中，光照对图像处理有一定的影响。系统在图像采集过程中，可能会出现分拣物过大或者光源影响，产生高光区、过渡区以及阴影区[24]。为增强在实际应用场景中的鲁棒性，本文对采集到的原图利用Gamma校正算法进行预处理。式(6)为Gamma校正算法，其中，IG(aij) 是原始图像的某个像素灰度值 (0≤i,j≤255)， [IO(aij)]max表示原始图像灰度值的最大值，IG(aij) 是经过Gamma校正后像素灰度值的输出，参数γ决定了转换曲线的形状[25]。图11是阴影比较明显的一张图片，Gamma校正前后的对比

(6)

图11 Gamma校正前后对比

4 实验与分析

4.1 实验测试环境搭建

本文是采用传送带的智能分拣完成了硬件实物的制作以及控制系统的调试，如图12所示为系统的实物展示。通过收集到部分实物可回收物，作为实际试验素材，在实际运行中做测试与验证。

图12 分拣系统实物展示

4.2 分类算法验证

由于实验样本量少本文采用迁移学习，迁移学习就是把已有训练好的模型更改相关层后，用于新任务的训练[26]。迁移学习方法可行性高且模型泛型能力强，是由于模型低层CNN主要学习低级的边缘和颜色信息特征，在此基础特征信息上CNN主要学习的则是图像特定的高层特征[27]。首先，采用传统的Softmax函数对测试集进行验证，Softmax混淆矩阵实验结果见表1。在当前的实验室环境下，可回收物识别平均准确率为88.2%。

其次，采用改进后的Softmax函数对测试集进行验证，改进Softmax混淆矩阵实验结果见表2。可以对比看出，被识别为其它物的概率有比较明显的减少。可回收物识别平均准确率为87.2%，较表1有所下降符合预期设想。

表1 Softmax混淆矩阵

表2 改进Softmax混淆矩阵

通过传统算法与改进算法的对比分析，得到表3的结果。表3中，仅对纸箱、玻璃瓶、易拉罐和塑料瓶4类统计误检率。从结果可以看出，改进算法比传统算法对可回收物的误检率普遍有了降低，平均降低3.5%。实验验证改进的算法策略对可回收物的分拣性能有一定提升。

表3 4类物品传统算法与改进算法误检率对比/%

表4是对纸箱、塑料瓶、易拉罐和玻璃瓶4类物品进行传统算法和改进算法漏检率的统计。传统算法平均漏检率为12.75%，改进算法为14.25%，改进算法比传统算法增加了1.5%。而从表3可得到在分拣正确率上提升了3.5%，使可回收物部分分拣正确率从89.8%提升到93.3%，相比较而言符合实际分拣的需求。

表4 4类物品传统算法与改进算法漏检率对比/%

由于实际图像采集过程中，环境和设备因素导致采集到的图像相对于网络数据集较暗。本文将γ值设计为0.5提高图像亮度，可得到Gamma校正前后分类结果的对比见表5。对于纸箱和其它物来说影响相对较小，塑料瓶、易拉罐和玻璃瓶正确率均有提升，验证预处理对实际分拣系统平台的准确率有一定程度的提高。

表5 Gamma(γ=0.5)校正前后分类对比

4.3 分拣系统实验与分析

通过对实物的分拣，来验证可回收物的分拣速度。影响分拣速度的因素与传送带的运行速度直接相关，表6是在物品投放间距约为20 cm下，不同等级传送带速度的实验结果。通过结果可以看出，传送带的运行速度越快，分拣速度也越快。当速度超过10 cm/s时分拣效率却降低，这是受图像采集和分类的周期所限。综合实验后，本系统能够稳定运行的传送带最佳速度约为10 cm/s。

表6 传送带速度对分拣速度的影响

在传送带速度为10 cm/s下，设置传送带上待分拣物的不同间距，进行物品分拣速度的最优间距实验。如表7所示，设置了4个等级测试间距对分拣速度的影响。

表7 物品间距对分拣速度的影响

通过实验可以看出，物品间距过小会影响物品的分拣。当间距大约为15 cm的时候是比较合适的，分拣速度为3.44 s/个。而影响机械臂分拣速度的因素较多，根据机械臂性能、抓手的方式、分拣操作运动范围等共同决定。在查阅众多文献发现对分拣速度进行具体研究的较少，参照文献[7]中垃圾分拣工作周期为12 s左右，本文系统明显优于机械臂分拣模型。借鉴文献[28]中UR3机械臂对垃圾分拣的一些性能参数与本文设计系统对比，见表8。

表8 不同分拣方法性能参数对比

表8中，UR3机械臂分拣重量大于本文系统，因为本文所采用的步进电机扭矩的限制，可更换步进电机提高分拣的重量；可分拣尺寸范围，本文去掉抓取环节而优于UR3机械臂；UR3机械臂操作范围为500 mm，也因此限制了单台的分拣种类数为3类，本系统没有操作范围的限制在分拣种类上也具有一定优势。综上分析，本文所设计的系统，在一定程度上解决了机械臂分拣的一些瓶颈问题，在可回收物分拣性能上有一定提高。

5 结束语

本文所设计的可回收物智能分拣系统为可回收物的智能分拣提供一种可行性较高的方案。在可回收物智能分拣方面，通过实物实验验证其可行性，并且在设备成本方面较优。系统详细介绍了多步进电机多任务的控制设计和分类系统的设计，通过改进的Softmax函数和Gamma算法提高了分类的正确率。同时，系统的设计也具有很高的灵活性，可以在改动较小的情况下，对物品的分拣种类进行扩充满足不同的需求。与其它分拣系统相比较，本系统对可回收物的分拣性能良好。并且在未来实际工作上可以进一步提升分拣速度。由于实验条件的限制，本系统旨在完成初步的实现。对分拣硬件系统进一步改进，整体的分拣速度有一个较高的提升，理论上是可以超过每秒分拣一件以上的物品。从这个结果上来看，对于可回收物的智能分拣设备普及具有一定意义。