一种脐橙采摘机器人视觉快速识别方法的探讨

卢峰，胡利军

（江西环境工程职业学院，341000，江西赣州）

在国家实施乡村振兴战略的背景下，赣南脐橙产业逐步成为赣南果农的主要收入来源。但是，以往的脐橙采摘主要采用较为传统的人工采摘作业方式，需要耗费大量的劳动力资源，工作量巨大。随着我国农业科技的不断发展及农业劳动人口总额的降低，脐橙采摘正在向智能化、自动化的方向发展。现阶段，绝大多数脐橙种植地区仍然主要依靠人工采摘，如何利用脐橙采摘机器人提高采摘效率，解决我国农业劳动力不足正是我们研究的问题。在脐橙采摘机器人完成采摘作业的过程中，需要利用视觉系统对果实进行识别与定位，机器人的果实识别准确度与定位效率决定了视觉系统的性能水平，从而对脐橙采摘效果带来直接影响。

基于此，必须对脐橙采摘机器人的视觉系统进行深入研究与创新，研发一种视觉系统，使得脐橙采摘机器人在采摘过程中可以实时、快速定位空间果实并准确采摘。

1 脐橙采摘机器人视觉系统概述

应用脐橙采摘机器人是脐橙智能采摘的趋势，可以实现对脐橙的实时定位并快速采摘。在实时定位的过程中，识别定位的精准度与效率是最关键的影响因素。因此不断提升视觉系统识别定位的准确度与实时性，可以改进并优化脐橙采摘机器人的工作性能，从而提升采摘效率，有利于进一步推广应用。

脐橙采摘机器人的视觉系统一般由以下几个部分组成：摄像机、计算机、图像处理与距离测量设备。现阶段，大部分脐橙采摘机器人应用一个或两个摄像机，所以应用的识别技术主要为单目视觉技术或双目视觉技术。在采摘前，脐橙采摘机器人会应用视觉系统中的摄像机捕捉果实的实时图像，在获取图像后进行处理与分析，从而分辨并识别出果实部位，最后确定脐橙的精准空间坐标。

本文研究的脐橙采摘机器人采用控制器、摄像头、上位机组成的视觉系统，其中控制器采用美国国家仪器公司（简称NI）的myRIO-1900 作为图像处理设备，NI myRIO 是针对教学和学生创新应用的嵌入式系统开发平台，内嵌Xilinx Zynq 芯片，使用户可以利用双核ARM Cortex-A9 的实时性能及Xilinx FPGA 定制化I/O，学习从简单嵌入式系统开发到具有一定复杂度的系统设计，用户可以实时应用，通过myRIO-1900 自带的内置WiFi 功能模块进行无线操作，也可以通过USB有线传输程序下载。图1 为myRIO 实现WiFi 连接的不同方式：myRIO 可以通过一个外置的无线路由器来实现WiFi 连接，如图1（a）所示；myRIO 自身也可以被配置为一个WiFi 热点，上位机和其他智能终端都可以通过其发射的无线网络连接至myRIO上，如图1（b），这样就不需要再通过第三方的无线路由器来实现连接，在实际应用中会显得更加便捷。

图1 myRIO 实现WiFi 连接的不同方式

系统采用单个摄像头进行图像采集，上位机应用编程处理。由于myRIO 有丰富的板载资源，拥有40 条数字I/O线，支持SPI、PWM 输出、正交编码器输入、UART 和I2C，以及8 个单端模拟输入、2 个差分模拟输入、4 个单端模拟输出和2 个对地参考模拟输出，可方便地通过编程控制与连接各种传感器及外围设备，因此视觉系统组成框图如图2 所示。

图2 视觉系统组成框图

2 脐橙采摘机器人视觉系统的果实识别

本文研究的脐橙采摘机器人视觉系统采用NI 公司的LabVIEW 软件,它是一种图形化的编程语言开发环境，已经广泛地被工业界、学术界和研究实验室所接受，被视为一个标准的数据采集和仪器控制软件，其采用图形化编辑语言G 编写使用。对于脐橙采摘我们使用LabVIEW 软件中的Vision Development Module 视觉开发模块，其优势在于机器视觉应用的开发可在之前采集的程序基础上，增加机器视觉相关的算法。LabVIEW 提供了丰富的功能算法，例如边缘检测、颗粒分析、模式匹配、文字识别等，方便了对脐橙采摘的视觉识别。图像采集处理过程如下。

（1）脐橙图片采集。通过图像采集系统中的Acquire Images 相机采集脐橙实物图片，分别对不同光照程度下的脐橙进行数据采集。

（2）采集脐橙数据模板。使用Color Classification颜色分类模块，创建颜色分类样本，选取脐橙样本，尽可能选取不同光照条件下有不同阴影的脐橙。采集完颜色模板后，对其进行训练，采集的模板越多，机器人视觉识别越精细，随后保存采集到的颜色模板。

（3）图像存储。将图像存储到缓存中，方便重新利用它们。将当前的图像复制到一个图像缓存中，以便后续的步骤再利用此图像。图像缓存共有10 个可以利用。

（4）抽取彩色平面。从HSL 图像中抽取饱和度平面，将彩色图像转换成灰度图像。由于我们采摘的脐橙图片是彩色的，我们需要得到一幅灰度图像，以便处理函数能接受灰度图像。

（5）二值化处理。对灰度图像进行二值化处理，处理后图像中只有黑白两色，而不是灰度图或彩色图。采用手动二值化，选择Manual Threshold 手动，可以手动调整阈值范围，从而得到所需的目标。

（6）填充缺口。对图像中丢失的模块进行填充，使得脐橙图像更易识别。

（7）脐橙大小检测。选择合理的脐橙图像半径范围，得到满足条件的脐橙圆心坐标和半径，如图3 所示，为方便机器人后续采摘提供条件。

图3 脐橙检测

我们通过以上对脐橙采摘图像的处理，目标是优先选取图像中脐橙直径识别最大的脐橙个体进行采摘，更易实现我们采摘机器人的采摘功能。

3 实验分析

本研究提出的快速视觉系统由摄像机、上位机、NI myRIO-1900 控制器等组成。在应用过程中通过多角度拍摄20 组图像，采用VI 程序文件进行实时识别实验。为了验证系统的识别情况，采用摄像机随机选取20 个直径范围为50～120 mm 的目标脐橙进行识别测试，如图4 所示，记录和测量坐标中心点和脐橙直径。结果脐橙识别成功17次，漏检1 次（未检出水果），误检2 次。除此之外，在特征分析的过程中所采集的脐橙图片样本具有良好的代表性，能达到较好的采集效果；但如果遇见干扰性较强的橙色背景光线，识别效果较差，还需要进行样本优化或进行其他数据处理。

图4 脐橙识别试验

4 结语

本文对脐橙采摘机器人的视觉系统加以探讨，并提出了一种脐橙机器视觉识别的方法，希望可实现采摘机器人的快速视觉识别与精准定位。考虑进一步提升采摘识别效率及减少橙色背景光线的干扰，本方法还有一定的改进提升空间。