基于机器视觉的人工智能分拣系统研究与设计

陈旺　邱晓荣

关键词：机器视觉；机械臂；智能分拣；Python

中图分类号：TP393 文献标识码：A

文章编号：1009-3044（2023）10-0016-03

随着人工智能制造技术的不断成熟，AI机械臂在制造业生产中扮演着越来越重要的角色[1]。分拣机械臂已经开始用于物流包裹分拣业务中，它能代替工人对流水线上的包裹进行分拣。传统分拣机械臂采用示教或离线编程来规划抓取方向和运动路径，虽然能完成分拣作业，但对包裹的摆放位置和大小要求较严格，很容易导致机械臂抓取包裹失败。而基于机器视觉的分拣机械臂支持示教再现、脚本控制、Blockly图形化编程、激光雕刻、3D打印、视觉识别等功能，灵活应用于智能分拣、电路板焊接等自动化生产线，让它既可以成为轻人工智能用户中解决实际问题的利剑，也可以成为创客用户想象力的承载平台，具有灵活性高、分拣稳定等优势，弥补了传统分拣机械臂的不足。根据国内的轻人工智能市场需求，研究基于机器视觉的物品分拣系统，具有一定的应用价值和现实意义。

1 人工智能分拣系统简介

系统主要由四大模块单元组成，分别为PLC系统传送带单元、MVS图像采集单元、Python图像处理单元和M1机器臂分拣单元。

1）PLC传送带单元：包括传送带、上料仓、伺服驱动器与电机，系统通过伺服驱动器控制电机的运行，电机负责驱动传送带。传送带单元主要用于传输待分拣物品，使得待分拣物品进入相机拍摄区域和机器臂分拣区域，增强系统定位动作与分拣动作的协调性，提高视觉分拣系统的分拣效率。

2）MVS图像采集单元：包括人工智能相机和传输网线，该单元将采集到的物品图像传输给图像处理单元进行处理可进行灰度与RGB彩色两种模式处理。

3）Python图像处理单元：系统的核心单元之一，包括视觉处理Python算法。处理单元中的工控机接收到图像采集单元所采集的物品圖像后，调用视觉处理算法对物品图像进行处理分析，得到图像中物品对应的种类信息和位置坐标信息，最后将该信息发送给机器臂分拣单元。

4）M1机械臂分拣单元：主要由关节坐标型机械臂、机械臂伺服控制器、真空气泵、真空吸盘等硬件组成。机械臂分拣单元是基于视觉的物品分拣系统的执行机构，并根据分拣信息对传送带上的物品进行抓取与放置，分为三种运动方式（Move、MoveJ、Jump）其中Move的运动方式为点到点之间的直线运动，适合在同一高度的点位移动；而MoveJ的运动方式为点到直线，适合用于拥有同一个初始点位去往不同目的地的移动；最后Jump的运动方式是跳跃式移动，该模式十分灵活，可以拥有多种运动方式。最后视觉系统会根据物品的位置坐标信息确定分拣机械臂的抓取点[2]，根据物品的种类信息确定分拣机械臂的放置区域。在接收来自PLC处理后的信息后发送给视觉进行拍照，在视觉里面匹配特征模板，并且生成特征点用来抓取，而且将生成的这些数据以电信号的方式发送给M1机械臂分拣单元，在接收到指令后开始抓取相对应的物品，完成指令执行。

2 系统软件设计

基于机器视觉的物品分拣系统的软件部分是在Python 及M1 Studio 开发环境下开发编写的，其中视觉算法部分是在Python 环境下开发，在进行开发前需要进行文件包的换源，防止本地文件调用不成功，而后再把视觉算法移植到M1 Studio环境下进行部署应用开发，在PLC的编程使用的是西门子的博图15.1，采用S71200的控制集成系统作为本视觉系统的控制单元。本文设计的视觉分拣系统软件框架分为四个模块，分别是语音人脸模块、图像识别模块、PLC客户端以及协作机械臂。

1）语音人脸模块：该模块会搭建一个语音客户端，并使用百度云的语音识别服务，它可以识别使用者的身份信息，并且作为客户端登录PLC服务端，下发语音指令，该模块中尤其需要注意的是调用百度云智能语音的三个key，否则很容易出现报错。

2）图像识别：该模块是借助MVS相机进行图像识别训练，对所有的物料进行“记忆”，通过每样100张在不同光源和环境的训练下形成对应的精确训练模型文件，用来提高该物品的识别精准度[6]。

3）PLC客户端：该模块作为“中介”存在，将由语音人脸发送过来的电信号处理后转发给协作机械臂。

4）协作机械臂：该模块作为执行单元，在接收PLC客户端处理后的信息后，驱动伺服传送带和空压机运行相对应的运动路线，完成精确分拣物品的任务。

3系统硬件设计

1）人工智能相机及光学镜头

人工智能相机是图像采集单元的核心组成部分之一，相机的成像质量能够直接影响到后续的图像处理结果。根据相机内置的图像传感器类型。人工智能相机型号的选择要根据具体需求来确定，考虑的参数包括分辨率、数据传输速率等。相机分辨率表示相机成像平面上的像素总个数，分辨率越高，则相机捕获的图像质量越高也越清晰，成像效果肯定也越好，但是相对应的图像占有的存储空间也越大，相机的数据传输速率要求也越高。

系统根据视觉分拣系统工作范围和物品定位精度等项目要求，选择使用海康威视的MV-CE200-10GM 型人工智能相机，该相机基于千兆以太网通信协议传输图像数据，具有2000 万像素分辨率，每秒采集图像为6 帧，可连续拍摄，同时可以进行灰度与RGB彩色转换功能，是一款功能非常良好的相机。在视觉软件DobotVisionStudio 4.1.2中编写好对应程序以及参数后，就可以连接相机进行相关拍摄。该款相机的具体参数如表1所示。

2）分拣机械臂

根据人工智能机械臂的运动形式分为笛卡尔坐标型机械臂与直角关节坐标型。直角坐标型机械臂能在X 轴、Y 轴与Z 轴上平稳移动不会发生跳动，且这三个轴上的运动是相互独立的[3]。直角坐标型机械臂主要通过三个轴上的线性运动来完成作业，其具有控制操作简单、稳定性高、工作精度高等优点，因此本课题选用的是直角坐标型模式。

相比笛卡尔坐标型，直角坐标型机械臂具有较低的构造成本，适用于开发低成本项目，因此，本课题选择使用的也是直角坐标型机械臂作为视觉分拣系统中的分拣机械臂，直角坐标型机械臂的模型图如图2 所示。

3）传送带

本系统使用的传送带为皮质传送带，可进行正反转。系统运行过程中传送带的速度和时间可以在PLC编程里面进行适当调节。传送带上配备了编码器，可以检测传送带的运行速度并把数据传输到工控机上。

4 机器视觉分拣系统的设计总方案

4.1 硬件平台搭建

本文设计的分拣系统硬件由M1坐标型机械臂、人工智能相机MVS、KOWA 的LM25JCM-S 型光学镜头、工控机、达尔拓的低音真空泵、真空吸盘、PLC传送带、伺服驱动器等组成，其中，人工智能相机与光学镜头被安装在直角坐标型机械臂本体以外的固定支架上，位于传送带上方，在传送带和相机之间可搭建条形光源作为外设光源。

而相机标定是为了获得各个坐标系之间的现实关系与逻辑关系，从而将图像中的某个点转换到三维几何空间的某个点，形成一个正确的标定转换通道。在相机标定过程就是对世界坐标系、相机坐标系、图像坐标系和像素坐标系进行坐标变换[4]，实现现实坐标系与M1机械臂之间的标定转换。

1）像素坐标系

假设以图像平面的左上角顶点为原点，（u0，v0）表示其坐标值。相机采集的图像首先是形成标准电信号的形式，然后再通过A/D模数转换器实现信号转换。每幅图像以MxN的数组形式作为存储，像素在图像中表现为M行N列的点，该点的幅值即为灰度值。

2）图像坐标系

同理其中图像平面与光轴的交点为坐标原点O/Z 轴和7轴分别平行于图像平面的两条垂直边，用（x，y） 表示其坐标值，用来反映像素点空间位置信息，图像坐标系是用物理单位（例如：毫米）表示像素在图像中的位置。

在获取到所有的点位之后就可以生成相对应的标定文件，用于实际的空间坐标与机械臂的逻辑坐标进行转换，从而完成接下来M1机械臂的智能判定。

4.2系统工作流程

视觉分拣系统的工作流程如下：

首先通过登录百度云智能语音创建并获取上面的BaiduAPP_ID、BaiduAPI_KEY、SECRET_KEY 三種密钥，而后开始进行语音人脸验证、人脸身份信息识别通过后开始下发语音指令，M1机械臂收到指令将物料台上面的物料抓取放到物料检测区域给人工智能相机发送物料到达的信号，这时候相机开始捕获传送带上的待分拣物品图像并把物品图像传输到工控机PLC，工控机通过视觉定位算法对物品进行分类与定位并生成特征点，等匹配到相对应的模板后，再将所得的物品信息传输到分拣机械臂模块；分拣机械臂根据先前做好的标定转换文件得到抓取点坐标去抓取物品，最后根据物品种类信息将该物品放置到对应的作业区域。

5系统分拣实验与结果

待分拣的塑料物品在传送带上移动。物品先进入相机的图像采集范围，系统采集物品的图像并把图像传输到人工智能系统。人工智能系统通过视觉算法对采集的物品图像进行处理，得到物品对应的种类信息和机械臂待抓取点坐标信息。分拣机械臂根据待抓取点坐标信息对物品进行抓取，最后根据物品对应的种类信息，将其放置到对应的作业区域[5]。并将该物品的信息返回给语音人脸客户端进行登记，分拣开始后可以分两种运行模式，分别是手动停止与自动停止。

1）手动停止

在整个系统运行时，可以使用语音进行手动停止，也可以按压系统平台上的红色急停键，当系统停止后，所有系统硬件都会停止动作，开启安全锁并等待下一步指令。

2）自动停止

该人工智能集成系统可进行单次运行和连续运行，单次运行命令下，所有的模块只会执行一次操作，而后回到初始化状态等待下一步指令，连续运行下PLC的物料仓会和协作机械臂进行互联，直到物料仓库内所有物料全部被提取完才会停止，但此时系统不会回到初始化状态，只有当所执行的命令里所有的物料抓取完毕才会回到初始化状态。

6 结束语

本文基于机器视觉的人工智能分拣系统的结构进行设计制作，其实验样机系统的功能已经基本实现，其机械臂分拣能力较强，运动较为灵活，具有三种运动方式，在不同形态和不同环境中都可以准确抓取，拓展其在人工智能工业的应用功能，在传统工业的技术基础上结合现代人工智能技术让该系统在现在的轻工业市场上潜力巨大，并且，根据国内的市场需求，研究基于机器视觉的物品分拣系统，可以大大节省人力、物力等资源，基本满足市场需求，具有一定的应用价值和现实意义。