基于视觉识别的自动采摘装置

2023-01-31周传鑫徐昊成杜鹏飞梁楷奇

智能城市 2022年11期

关键词：剪枝蓝牙水果

周传鑫徐昊成杜鹏飞梁楷奇韩放

（河南科技大学机电工程学院，河南洛阳 471003）

在果树种植业中，对水果的采摘质量要求较高。据不完全数据统计，各品类水果采摘期间，采摘的劳动力成本约占整个水果种植成本中的50%左右，水果的采摘质量容易受到果农的操作影响，最终影响成品的经济效益和市场价格。

水果采摘装置的专利在国家专利备案中很多种，包括电动式、机械式、气动式等。根据采摘方向又分为定向采摘和全方向采摘。但是，完成商业转化的专利数量偏少且价格昂贵。

完全依靠人力采摘的工作效率低、劳动强度大，高枝作业还具有一定危险性。因此，实现水果采摘机械化、智能化、经济化具有重要的现实意义。

1 系统总体设计

1.1 视觉相机的选择和使用

视觉相机的主控选用STM32F411 MCU，视觉识别模块选用了OpenCV，并集成OV7725摄像头芯片。视觉识别相机选用面阵CCD工业3D相机，作为工业级图像采集装置，配置300万的ccd摄像头。

人工检测虽然可以实现普通的水果表面检查，但对于有快速采摘要求的果品时，大面积的采摘作业将会导致人工采摘面临疲劳作业，降低劳动效率，增加作业时间。

基于视觉识别的水果采摘装置，优势在于集成装置的电子控制不会因工作时间过长而疲劳，并且可以根据不良品的多维度边界特征，在系统中引入新的算法，提高检测速度和检测质量。文章提出的自动采摘装置所具有的信息打印功能，在检测到表面瑕疵后，自动识别当前瑕疵的图像、大小等信息，并反馈至移动端，在手动控制设备进行采摘操作的同时，还可控制采摘质量，提高优产率[1-2]。

视觉相机如图1所示。

图1 视觉相机

1.2 视觉相机五大硬件检测要求

（1）照明方式：前向照明。此方式可使光源和摄像机位于被测物的同侧，照明装置安装方便且便于拆卸，还可有效减小设备总体积。

（2）工业镜头的选型依据：

视场角=所需分辨率×亚像素×相机尺寸/零件测量公差比

镜头选择需要注意目标高度、影像高度、焦距、影像至目标的距离、放大倍数、中心点/节点以及畸变。

（3）面阵CCD。

（4）摄像头接口：图像为黑白双色传输；接口选择通用的PCI或AGP兼容捕获卡，可以将图像迅速传送到计算机存储器，进行图像识别处理。

（5）视觉处理器：系统处理器与视觉处理器整合于一体。

1.3 剪枝结构的设计和方案敲定

剪枝结构的设计方案有两种。第一种为电子控制。优点在于通过电控的方式操作控制杆在直线上完成抓取动作。控制手柄可以通过蓝牙信号传输控制前端机械手爪的运动。因控制杆具有一定硬度，不易受枝杈影响，所以不需要考虑结构长度是否会影响到手爪的运动效果。但电子控制缺点也较为明显，即低电量状态下无法使用，需要携带足够的备用电池，并且在有电磁干扰的环境中可能会影响信号的传输。第二种为机械手爪设计。优点在于通过尼龙绳连接手爪和控制手柄，结构简单且较为稳定。缺点在于结构设计会导致机械手爪的长度受限。综合以上两种方案，剪枝结构最终选择第一种。

采用42步进电机控制两个刀片对水果枝条进行剪切，对两片刀身同一端进行固定，呈“剪刀状”。剪枝结构的电控设计如图2所示。深色刀片固定在步进电机，而浅色刀片则固定在电机轴上，与电机轴共同运动，从而实现剪切水果枝条的效果。

图2 剪枝结构的电控设计

1.4 水果下落的缓冲管道设计

管道外部包围材料使用柔性纱网型材料，在足够长的纱网型管道设置3～4节缓冲区，缓冲区带有柔性橡胶，选择弹性系数较为合适的合成橡胶使水果能够安全平稳地落到分类果筐中[3]。

1.5 分类果筐设计

水果的品类和大小通过视觉相机识别，分类果筐将根据数据库中设定的参数值对比相机识别后提供的数据。单片机将会控制分类果筐，打开相应的果筐栏，水果沿着斜坡滚下，掉落至阀门开启的果筐栏，提高了水果分类效率，并且视觉相机可根据图像判断水果是否有腐烂、表面瑕疵等情况，将判定结果为“差”的水果筛选出去。

2 智能控制系统设计

2.1 单片机主控选型

主控选用Arduino 的Mega 2560 单片机。Arduino Mega 2560 的微控制器是ATmega 2560，IO口54（15个IO口可以作为PWM输出），模拟输入端口16个，uart串口4个，运行频率达到16 MHz。烧录程序时可以使用USB接口，使用ICSP头进行数据传输。与其他开发板相比，Arduino所处的开发环境简单，资料齐全，开源性强，采用Arduino能够有效地提高设计人员的编程速度。

分类果筐结构与系统运行流程分别如图3、图4所示。

图3 分类果筐结构

图4 系统运行流程

2.2 视觉识别逻辑

（1）算法（预处理算法、检测算法）：图像采集完成后，系统优先对图像进行预处理操作，保证图像的对比度清晰，方便后续图像处理。算法处理方面，选用图像变换和图像增强两种算法，以检测水果的表面质量和尺寸大小。

（2）使用常用的视觉检测软件库：OpenCV。其功能算法相对较多，代码开源，可商用，但开发周期较长，部分特殊算法还需技术人员单独设计实现。OpenCV是基于（开源）发行的跨平台计算机视觉库，能够流畅运行在各操作系统中。OpenCV的核心量级轻且高效，由C语言及C++语言编写，能够实现图像处理和计算机视觉方面的多种通用算法。OpenCV的主要接口也是C++语言。数据库含有大量的Python、Java 和E语言接口。

2.3 蓝牙模块设计

蓝牙模块选用SKB501（BLE5.0），该模块基于nRF52840方案实现，具有性能良好、功耗低、接收灵敏度高、传输距离远等特点，且产品可满足快速编辑需求，能够更好地服务用户需要。

nRF52840 SoC以nRF52系列SoC的架构为基本框架，支持单芯片方案无法实现的复杂低功耗蓝牙和其他低功耗无线应用。与4.2版本的低功耗蓝牙方案相比，nRF52840能够提供4倍覆盖范围以及2倍传输速率的低功耗蓝牙无线连接性能，nRF52840全面支持5.0 传输，并且还集成了Thread、802.15.4、ANT和专有2.4GHz无线通信技术，全速USB 3.0控制器，涵盖4 种SPI 接口的大量新外设（类似EasyDMA等）。该模块可广泛应用于高级信号传输设备以及IoT物联网设备。使用该模块能够更好地满足通信方面的要求，提高通信速度。