基于越疆机械臂的谷物识别分拣系统

［摘 要］自党的“十四五”规划以来，坚持农业农村优先发展，加快农业农村现代化，成为了全面建设社会主义现代化国家的重大任务。文章基于越疆机械臂，借助机器视觉，设计了谷物识别分拣系统，旨在提高农业生产的效率和质量。本系统通过相机对谷物进行实时拍摄，在Pycharm 中进行识别，机械臂根据识别结果对谷物进行分类摆放。模拟试验结果表明，该系统能够快速识别并准确分类摆放，可有效提高生产效率和农业产值。

［关键词］农业农村现代化；机械臂；机器视觉；Pycharm ；快速识别

［中图分类号］TP249 ［文献标志码］A ［文章编号］2095–6487（2024）04–0043–03

农业产业生产经营过程中所表现出来的社会价值非常明显，但根据目前现实情况，我国现代农业发展仍需强化自动化农业机械产品的研发和应用。机械臂技术作为机器人技术的重要分支，在诸多领域都得到了较多的研究与应用，包括在农业领域中被日益重视，其对提高农业生产的机械化与自动化具有显著的作用。国内企业在对机械臂的创新改进中加入了人工智能、智能识别等，使机械臂的智能化程度不断提高。未来人工智能机械臂的使用将成为趋势。本项目使用的机械臂是由越疆公司研发的多功能轻小型的智能机械臂，其最大的优点在于智能化程度较高，可塑性较强且精度较高，能够完成比较精密的工作，而且在完成大规模集成化的生产时有着独特的优势。

机器视觉技术应用于农产品生产领域开始于20世纪70 年代的日本和欧洲国家，其主要采用机器视觉技术对农产品进行检测和分类，如对苹果和西红柿等果蔬的尺寸进行测量，对其表面损伤进行检测及分级。由于机器视觉技术具有非接触性、速度快和可重复获取结果等一系列优势，因此本项目在分拣过程中从装有谷物的包装箱中提取有意义的识别性特征。国内外研究资料显示，针对农产品的图像分割可从纹理、颜色及形状等方面进行处理，可采用其中一个特征或综合多个特征进行分割。

近年来，机器人抓取技术在农业生产中扮演着越来越重要的角色，但机械臂的智能化使用仍然存在瓶颈期。文章旨在通过越疆公司提供的智能机械臂和其他辅助设备，搭建一个通过机器视觉识别绿豆、红豆、黄豆和黑豆，并使机械臂抓取分类摆放的系统，模拟物体上下料、搬运、分类、码垛等使用场景。

1 系统概况

基于越疆机械臂的谷物识别分拣系统是由编程脚本控制、位置检测和启动技术于一体的完整的综合的控制系统。该系统包括了软件部分和机械部分。软件部分运用Python 语言控制整个系统；机械部分包括两台智能机械臂、光电传感器、迷你传送带、海康威视相机，同时配备了机械抓手、吸盘等辅助配件。

该系统工作原理如下：所有设备初始化完成后，运用TCPdfbe08b58ff8e683c81ad24fd093df06/IP 协议，创建服务端与客户端。分拣区共有红豆、黄豆、绿豆和黑豆4 种豆类谷物包装盒（以下统称为“物料”），每种豆类各有4 盒，共计16 盒。按下启动按钮，上料机器人控制机械臂开始逐个抓取待分拣区中的物料，并将物料放置在迷你传输带上，0.5 s 后上升归位到指定位置。传送带运行，将物料传送至光电传感器处后停止，并向识别后台（Pycharm）发送物料到达信号。识别后台收到信号后启动相机，对物料进行颜色识别。识别结果以字符串的形式由TCP 服务器发送给分拣机器人，分拣机器人控制机械臂运动至指定位置颜色区域对物料进行放置归类或者堆叠。完成分类后归位到指定位置。如此循环，直至所有物料完成分拣。

其中，为尽可能提升上料效率，设置光电传感器处有物料遮挡时仅再搬运一个物料；当无遮挡时，此时上一物料已被下料机器人进行分类码垛，经传送带运行后下一物料到达，同时上料机器人及时补充下一物料到固定传送带位置处，即可实现上料机器人的运行效率提升。

2 系统硬件基础

本项目是在越疆公司提供的Dobot Studio 软件平台环境下实现对机械臂的控制。该平台可完全满足自动化控制需要，具有完善的指令控制系统，功能齐全的控制方式，丰富的可扩展编程模块等。此外，性价比高也是谷物识别分拣系统系统采用其的重要原因。

本项目使用的DOBOT Magician 是越疆机器人自主研发的全球首款桌面级四轴智能机器人，具备3D打印、激光雕刻、写字画画等多种功能，预留了13个拓展接口支持二次开发。使用DOBOT Magician 智能机器人，可展开机器人系统认识、机器人D-H 模型认识、机器人基本运动控制，通过软件编程并结合硬件拓展开发更多的应用场景。

本项目相机采用海康威视推出的MV-CS050-10GC 相机，该相机为500 万像素网口面阵相机，搭载全新硬件平台，优化逻辑资源，大幅降低功耗。相机植入CCM 功能，图像质量优异，同时配备了千兆网接口，在无中继情况下，最大传输距离可达到100 m。

3 系统软件基础

3.1 计算机视觉

本项目对谷物识别采用了OpenCV 和ROI 获取。当分拣机器人接收到光电传感器信号时，利用Python打开相机，对处于传送带处的物料进行拍摄，获取仅含有物料的区域，根据4 种谷物的颜色不同来区分4种谷物类型。

ROI（region of interest），感兴趣区域。在图像处理领域，感兴趣区域是从图像中选择的一个图像区域，这个区域是图像分析所关注的重点。由于相机拍摄角度较广，拍摄到的图像结果中包含了除物料以外其他物体，对于通过颜色来区分谷物的方法来说，增加了识别结果错误的概率。由于每次物料在光电传感器前停止的位置相同，因此只需对拍摄结果的特定区域进行截取，得到仅包含物料的图像。

本项目根据4 种谷物颜色不同来进行区分4 种谷物。通过颜色阈值将RGB 图像转换为HSV 图像。由于RGB 颜色空间利用3 个颜色分量的线性组合表示颜色且3 个分量都受亮度信息的影响，无法直观的表示颜色。HSV 颜色空间是从RGB 立方体模型演化而来，是一种将RGB 颜色空间的点“倒”在圆锥体的表示方法，这种方法按照色调、饱和度和明度3个独立的属性建立颜色空间模型。在圆锥的顶点处V=0，H 和S 无定义，表示黑色。圆锥的顶面中心点处S=0，V=1，H 无定义，表示白色。从顶点到中心点即是亮度逐渐变亮的灰色，表示具有不同灰色的灰度。而从圆锥顶点向四处扩散即S 逐渐变大的过程，表示颜色的纯度越高，色彩越鲜艳。而H 色调取值范围0° ～360°，以红色为0°基准点，按照逆时针的方式，绿色为120°，蓝色为240°。

通过cv2.cvtColor 函数将RGB 图像转换为HSV图像，使用cv2.inRange 函数分别设置红色、黑色、黄色和绿色的阈值范围，然后统计图像中红色、黑色、黄色和绿色像素的数量。使用np.argmax 函数找到最大值的索引。在实际应用中存在绿豆识别错为黄豆问题，对此，本项目进行了改进。根据黄豆和绿豆的形态不同，黄豆颗粒要比绿豆颗粒更圆润饱满，因此在处理黄豆与绿豆图片时，先将图片转换为灰度图像，然后使用高斯滤波器对图像进行去噪处理，最后使用霍夫圆变换检测图像中的圆形。如果检测到圆形，则返回"yellow" ；如果没有检测到圆形，则返回"green"。由此改进，极大地提高了谷物识别的正确率，使得该识别系统更加完善。

3.2 各应用部分通信

传送带和光电传感器与上料机器人为USB 串口通信，上料机器人可直接控制传送带的启动和停止，也可以快速接收到光电传感器传来的信号。上料机器人、识别后台和分拣机器人之间为TCP 通信，上料机器人作为客户端向识别后台服务端发送光电传感器信号，再经由服务端转发给分拣机器人，让分拣机器人抓取物料并归置到相应区域。

本项目采用TCP/IP 协议实现机器人程控和识别后台的通信。系统测试中先采用两个网络调试助手模拟机器人程控软件（Dobotstudio）与识别后台通信。验证其可行性后，配置机器人程控软件与识别后台通信。经测试，本通信系统的通信链路信息传输速率及传输准确率高且链路延时低，具有高速率、低延时、高可靠性的特点。

4 系统测试及结果

在测试基于越疆机械臂的谷物识别分拣系统中，本项目预备了物料分为红豆、绿豆、黄豆和黑豆4 类，有红色、绿色、黄色、蓝色4 个分类码放区域。红色区域放置红豆，绿色区域放置绿豆，黄色区域放置黄豆，蓝色区域放置黑豆。待分拣物料上下两层，每层8 个。经过分拣，4 种谷物全部分拣归置到相应区域，以每层2 个，共2 层的顺序进行码垛。

基于越疆机械臂的谷物识别分拣系统试验测试结果见表1，该模拟系统上料、识别、分类、码放结果准确率可达到100%，码放后的物料均在规定的区域内。该模拟系统准确率、总时长、摆放规范性均达到了项目预期，且系统运行过程中机械臂未出现超出运行量程的情况，证明了该系统的可行性。

5 结束语

基于越疆机械臂的谷物识别分拣系统具有高效的工作效率、准确的定位精度、超强的适应能力，实现了机械化和自动化的有效结合。该系统运行稳定，可靠性高，维修方便，具有广泛的应用前景。当前，在解决农业生产的高智能自动化问题方面还存在一定的瓶颈，该项目最终目的就是要解决这一问题，弥补市场缺口，解放劳动力，依托机械臂和其他辅助配件的共同使用改进目前农产品工厂的流水线生产，提高农业生产的利润和价值。

参考文献

[1] 焦永红，李俊. 农业机械自动化控制技术分析[J]. 时代汽车，2023（23）：22-24.

[2] 董子扬. 基于机器视觉与并联机械臂的猕猴桃采摘技术及装置研究[D]. 咸阳：西北农林科技大学，2023.

[3] 李超，陈佳，王瑞娟，等. 基于越疆魔术师机械臂的流水线设计与应用[J]. 科学技术创新，2020（25）：96-98.

[4] 陈艳. 基于机器视觉的家禽机械手掏膛及可食用内脏分拣技术研究[D]. 武汉：华中农业大学，2020.

[5] 刘翠，刘光杰，王政军，等. 基于HSV 的多特征融合目标跟踪算法[J]. 计算机仿真，2023，40（1）：195-199，358.