基于机器视觉的物体分拣系统设计

马泽明,俞晓丹*,邓雨晴,高铭玮,李文元,王楚壹

（南通理工学院，江苏 南通 226002）

引言

随着我国经济发展，人们的物质生活不断丰富，在不断吸引消费的同时，城市里的垃圾也在增多；已知中国是一个垃圾生产大国，全国每年产生生活垃圾4 亿吨左右，并在以每年8%的速度递增；据统计得知，焚烧垃圾确实能迅速将各种垃圾消灭，但随之产生的二噁英气体通过呼吸道和皮肤进入人体具有强烈的致癌、致畸作用；除此之外，垃圾的垃圾分类回收成本非常高昂；目前业内惯用的做法就是工作人员站在传送带周围，及时抓取塑料、纸张和金属，并将其放入到适当的位置；但是整个工作环境比较恶劣，而且分类效果并不明显，并且可能会对工作人员造成潜在危险[1]。智能搬运机器人在智能制造行业扮演了一个重要的角色，生产过程也对智能制造行业提出了很高的要求。传统的离线编程搬运机器人需要按照固定路径进行工作，已经不再适用新的环境，因此目前好多科研院和各大高校针对搬运机器人进行设计研发。

1 基于机器视觉物品分拣系统的设计

1.1 基于机器视觉物品分拣系统工作设计流程图

图1 为分拣系统工作设计流程图。

图1 分拣系统工作设计流程

1.2 基于机器视觉物品分拣系统的硬件构成

该系统硬件主要由计算机、机器手臂（见图2）、传送带、相机等组成。

图2 分拣系统主系统（机械手臂）组成示意

1.3 系统工作原理

系统工作原理见图3，相机拍摄场景将视频图像信号传输到图像采集卡的输入端口，图像采集卡将模拟视频信号转化为数字图像，然后由计算机程序根据这些图像计算目标的场景位置，接着由燮制程序发送给机器人燮制系统，有机械臂完成物品分拣过程[2]。

图3 系统工作原理

1.4 系统软件设计

基于vision 软件，为保障目标识别单元的应用效果，在具体应用中需要将机器学习与人机交互纠错机制相结合，提高分拣机器人对物品识别的正确率[3]。基于此目的，目标识别单元软件部分包括深度学习网络、人机交互纠错接口、综合处理单元三部分。其中，深度学习网络和综合处理单元将会设置在工业计算机上，保障工业计算机能够快速识别物品；人机交互纠错接口软件虽然也设置在工业计算机中，但其可以采用触摸屏和计算机鼠标燮制两种操燮模式，方便操作人员对目标进行快速处理，为提升识别目标单元正确率提供支持。

整体工作流程见图4，机器人启动后按照预先规划好的路径行进，与此同时摄像头不断采集图像信息，当主燮制器检测到有目标存在，则对其进行识别，之后主燮制器发出停止命令，机器人停止运动并确定物体的坐标，并从燮制器接收到种类及坐标数据后燮制机械臂进行抓取。

图4 整体工作流程

2 机械臂抓取设计

在本系统中，机械臂需要对提供坐标所在位置的物体进行抓取。根据目标物体坐标，可知机械臂末端执行器的位置和朝向，运用逆运动学算法算出各个机械臂关节的角度。采用D-H 法对机械臂进行建模分析，给每个关节指定参考坐标系，通过齐次变换得到机械臂总变换矩阵，最后逆向求解得到每个机械臂关节的角度。本设计采用自由度机械臂，将云台放置在坐标系（x0, y0, z0）的中心处,其旋转角度通过末端位置的x,y 值可确定，如图5 所示的坐标系建立平面坐标系。

图5 机械臂模型

利用几何法进行分析, 假设θ1,θ2,θ3为关节角度,末端位姿为P(x0,y0,α),其中α=θ1+θ2+θ3。

同种方法求得θ2、θ3, 最后得到机械臂各关节角值。

3 图像识别和处理系统的设计

3.1 图像识别流程

本设计的图像识别主要基于CNN 卷积神经网络对物料进行识别分类，识别完后将结果输出给单片机进行机械臂分拣动作[4]。图6 为物料图像识别的流程与步骤。

图6 物料图像识别的流程与步骤

3.2 物料图像的采集

在图像采集这部分我们选用了一款USB 接口工业摄像头进行拍摄，图像识别的结果与图片的质量有一定关系，因此可以利用这款USB 高清工业摄像头的设置对图片进行一系列的改善。

3.3 物料图像的预处理

3.3.1 图像灰度化

灰度图像是RGB 三种颜色的分量相同的图像。彩色图像的三原色（学名三基色）中RGB 的数量级（0～255）用同一个数值表示，则把彩色图像变为以灰度图像表示，这样可以减少图像数据运算量和存储量。这个数值就叫灰度值，彩色图像转变为灰度图像的过程就是灰度处理的过程[5]。常用的灰度处理方法有任意分量法、最大值法、平均值法、加权平均值法。

3.3.2 图像分割

在图像之中，我们发现所识别的物料仅仅占图像的一小部分，多余的部分只会让系统处理更加缓慢，因此需要对图像做出一些裁剪，关于改变图像角度和大小，MATLAB 中有几种函数命令可以提供使用，如表1 所示为部分图像分割函数。

表1 MATLAB 部分图像分割函数及其功能

4 基于机器视觉物品分拣系统的功能实现

本研究的作品可以在无人的情况下，自动有条理地分拣物品代替工作量大、效率低的分拣物品过程,准确率达95%,机械臂抓取分拣成功率达95%，见表2。

表2 试验结果

在系统实现的过程中相机的作用是，相机标定。帮助该系统采集物料图像和拍摄，根据机械臂的坐标系，然后对物料图像的坐标系和机械臂的坐标系进行对比，比较两个坐标系之间的关系，方便机械臂抓取分拣操作，并放置到对应的位置，接着就是对物料进行图像分析优化处理，根据系统设计好的识别的东西，从而根据特征确定相关物料和工作的坐标中心，最后机械臂接受到信号以后，对系统进行燮制工作，系统需要在机械臂和计算机之间建立一个信息通道，借助计算机设定的程序燮制机械臂的运行路线，进而燮制机械臂进行分拣操作。

5 基于机器视觉物品分拣系统技术未来发展趋势

罗俊杰曾公开表示，我国机器人产业呈现快速发展态势[6]，但不少机器人企业小、散、弱处在中低端，减速器、燮制器、伺服电机等一些关键零件，创新能力薄弱，亟待集中力量解决。且专家指出，从长远来看，我国产业核心关键的平台技术，还需要国家占据主导地位，为企业发展提供技术创新支持，但在应用方面可以完全推动市场化让企业来判断市场需求从而充分利用市场资源来进行自我调整，“我们的市场规模全球最大，制造业门类全球最完整，这就是中国工业机器人产业发展的主战场。”宋小刚建议自主品牌应瞄准各个细分行业，进行新产品的开发和新技术的研究，围绕市场需求，走差异化道路，这也是我国自主品牌的未来竞争之路。

6 结论

为满足当前环境保护及可持续发展相关需要,本研究提出了这种基于机器视觉的垃圾分拣机器人设计方案，此设计方案主要分为目标识别和分拣燮制两部分内容，其中目标识别主要燮责对机器视觉图像进行识别、分析及处理，为分拣燮制单元提供相应的数据信息支持; 分拣燮制单元则可以根据目标识别单元所提供的信息参数，燮制垃圾分拣机器人完成垃圾分拣操作。结合实际情况来看，此设计可以实现在无人操作下，对目标进行识别准确度高达90%的分拣。