基于嵌入式视觉平台的叶菜切割控制系统的设计

2020-05-20钱明艳柳军周锡军

安徽农业科学 2020年9期

关键词：视觉

钱明艳柳军周锡军

摘要针对我国叶菜类蔬菜大规模设施种植、人工收获效率低、成本高且对叶菜损伤较大的实际问题，研究开发一种基于嵌入式视觉平台的叶菜切割控制系统。根据叶菜槽栽培场景的收获需求，切割系统需要控制完成叶菜夹持、自动定位切割位置、调节切割执行高度等作业要求。首先总体设计了切割系统结构，然后从主控制器模块、视觉感知模块两方面进行了系统硬件的设计，并设计了主程序控制流程，研制出叶菜切割系统。测试结果表明，该叶菜切割系统结构合理，为满足槽式设施种植的叶菜收割高效率、低成本、低损伤要求提供了解决方案。

关键词叶菜切割;视觉;OV7725

Abstract Based on the problems of largescale equipment planting of leaf vegetables， low efficiency of artificial harvest， high cost and great damage to leaf vegetables in China， a leaf vegetable cutting control system based on embedded visual platform was developmtd. According to the harvest demand of the leaf vegetable slot cultivation scene， the cutting system needs to control the clamping of leaves and vegetables， automatically locate the cutting position and adjust the cutting execution height. In this paper， the cutting system structure is designed as a whole， and then the hardware of the system is designed from the aspects of main controller module and visual perception module， and the main program control flow is designed to realize the leaf vegetable cutting system. The results show that the structure of the leaf vegetable cutting system is reasonable， which provides a solution for the application of high efficiency， low cost and low damage requirements for leaf vegetable harvesting in slot facilities.

Key words Leaf vegetable cutting;Visual;OV7725

據农业部门公布的数据显示，我国设施蔬菜产业的发展趋势较好，种植面积在逐年增加，预计到2020年种植面积将达到 410.53万hm2左右 [1]。我国栽培的绿叶菜种类繁多，不同种类的叶菜类蔬菜形态各异，且栽培模式、种植密度等集合形态和物理性存在较大的差异，收获基本依靠人工完成[2]。但是随着农业劳动力短缺、人工成本的逐步提高，目前全自动化叶菜生产、收获设备研究逐步成为热点。近年来，我国机械化叶菜收割机研究较多[34]，高龙等[5]研发了智能调节割幅、割茬高度的小型智能叶菜类蔬菜收获机;丁馨明等[6]研究设计了适用于温室蔬菜的（金花菜、豆苗、小菜秧等）收获机;章永年等[7]开发了柔性有序夹持收集蔬菜收获机，其中叶菜收割是实现全自动化蔬菜通用收割的重要一环。

采用有机基质再利用栽培蔬菜，是目前高科技应用于蔬菜生产的重要标志，有效解决了农林副产物的处置利用和环境污染问题，目前已经在种植技术中得到了广泛的应用。笔者研究的切割系统是应用于槽式设施种植的叶菜场景下，基于嵌入式视觉平台的叶菜切割控制系统。

1 叶菜切割系统总体结构

基于嵌入式视觉平台的叶菜切割系统架构主要由红外定位机构、滑块机构、CMOS视觉识别组件、切刀模组、调整模组、横向模组等组成。切割系统架构如图1所示。

切割系统采用定点识别切割的模式，首先定位机构定点确定输送带上的叶菜盒的位置，滑块机构从斜下方向上顶出夹住叶菜两侧，使两侧蔬菜叶片向中间聚集;CMOS视觉识别组件根据定位机构定位的叶菜盒位置，依次识别叶菜盒里叶菜根茎位置;调整模组根据识别到的根茎位置调整切刀的高度;横向模组控制收获机器移动到下一颗叶菜位置，移动7次收割完基质槽8颗叶菜;横向模组初始化，机构复位，蔬菜盒流至下工位进行蔬菜收集，单盒叶菜收割完成。

2 叶菜切割系统硬件设计

2.1 叶菜切割控制系统硬件模块

系统对叶菜的切割首先应识别叶菜根茎的位置，根据根茎位置设计控制系统来控制切割机构进行叶菜根茎切割。叶菜切割系统硬件模块主要由供电电路、控制单元、数据采集电路、控制切割电路构成（图2）。控制单元为切割控制系统的核心部分，对外围电路发出的指令进行响应、中断控制[8]，并对外围电路有效的电流、电压、功率等进行计算;数据采集电路采用CMOS摄像头进行图像的采集，将采集的有效图像反馈给控制单元进行图像处理;控制切割电路接受到控制单元传送来的切割信号，切刀模组进行相应的调整切割。

2.2 主控制器模块

选用ST公司生产的STM32H743为核心控制单元，其内核采用32位ARM Cortex-M7（带双精度浮点单元），最高性能工作频率可达400 MHz，支持双精度浮点运算和16位的A/D[9]、1MB RAM、Art加速器、L1缓存、外设存储器接口以及各种外设，内置集成了加密/哈希处理器，用于实现器件的安全特性，整体性能可满足作为该项目采集控制需求。

2.3 OV7725传感器模块

OV7725是一种低压的CMOS图像传感器设备，内部集成有图像采集、DSP数据处理、模数转换电路，高度集成化，选择的摄像头模组引出19个I/O接口，它以一个小尺寸封装提供了单一芯片VGA相机和图像处理的全部功能[10]。感光阵列大小为640×480，能实现最快60 fpsVGA/s分辨率的视频，并且可配置分辨率、图片数据格式等参数[11]。

主要的工作流程如下：在输入时钟XCLK的驱动下，图像感光阵列接收光子后经过一系列转换输出指定格式模拟图像数据，模拟图像数据通过12位的模数转换器转成数字信号，再经过片上DSP处理后最终输出所配置格式的10位数字式图像数据[12]。指定格式的图像数据是通过SCCB总线配置OV7725相关寄存器得到。

OV7725实现的整体框架如图3所示。首先处理单元FPGA对 SCCB时序描述，进行OV7725的单元配置;配置完成之后，OV7725 sensor将PCLK、href、vsync以及cmos_data信号输出;输出的信号经过格式转换单元进行格式转化，再将转换后的数据送给SDRAM单元，最终将数据传送给上位机进行相应的处理操作[13]。

3 叶菜切割系统软件设计

3.1 叶菜切割系统主控流程

叶菜切割系统采用模块化设计，其主控流程如图4所示。首先，对系统初始化，实现各个模块复位;流水线准备收获的叶菜盒传送至指定位置，通过滑块机构从斜下方顶出夹住叶菜两侧，使叶菜的叶片向中间聚集露出叶菜根茎;随后CMOS视觉模块进行叶菜根茎位置算法识别，根据识别的位置进行割刀高度调整，分别对叶菜盒中8颗叶菜进行切割;结束整盘叶菜切割后机构复位，蔬菜盒流至下工位，下一盒蔬菜盒准备。

3.2 叶菜切割系统视觉流程

在提取叶菜切割根茎图像前，需要考虑叶菜生长环境以及根茎颜色的影响。叶菜根部种植基质颜色（主要是棕褐色基质）以及部分老叶是主要影响视觉识别的因素。针对上述影响因素，软件平台使用了opencv机器视觉库进行系统的图像处理，Python语言编写下位机图像处理部分，C语言编写了下位机控制部分[14]，采用了RGB颜色空间的浅绿色叶菜根茎的色差分量合成的单通道图像进行Otsu自适应阈值分割，能够有效提取出切割图像[15]。

切割系统视觉主控流程如图5所示。首先启动摄像头，对摄像头进行标定，为了得到准确的图像色彩还原，关闭相机白平衡;设定叶菜阈值，再基于设定阈值检测叶菜根茎所在区域，并将识别到的區域在ROI域内框出;再进一步对框定的ROI图像二值化，通过Otsu算法二值化处理方法将在阈值函数内的阈值图像全部像素变为白色，阈值外的全部像素变为黑色;二值化后的图像再通过腐蚀函数erode（size，threshold）、膨胀函数dilate（size，threshold）进行腐蚀、膨胀确定割刀目标区域;其中size是去除边缘相邻处多余的点，阈值函数threshold是用来设置去除相邻点的个数，图像边缘附近的白色杂点、边缘膨胀大小随阈值函数的大小改变。通过测距算法计算出割刀的图像距离与实际距离的比值，切割位置通过串口传给下位机，割刀调整位置进行切割。

4 系统测试分析

4.1 试验概况

在江苏省农业科学院六合实验基地取成熟期的叶菜，该基地采用基质化再利用技术种植叶菜，种植基质槽宽15 cm、长32 cm，叶菜种植距离为4 cm，1条基质槽种植8颗叶菜，收获的蔬菜种类主要为青菜、苦苣、生菜等。试验于2019年8月25日在江苏省农业科学院农业设施与装备研究所进行，主要测试叶菜类蔬菜切割控制系统的性能。此次试验的叶菜主要是青菜，成熟青菜高约3.5 cm，1棵植株平均5片叶向四周散开。

4.2 试验过程

由于图像在采集或传输中会产生大量的噪声，因此在对图像采集和收集时要进行图像的预处理操作。

首先对相机进行标定，关闭白平衡;设定青菜的根茎阈值，对青菜所在区域进行检测，初步将识别到的青菜框定在ROI区域内框处，如图6所示。

其次通过Otsu算法进行二值化图像处理，该方法又称最大类间方差法或大津法，最大限度将图像背景和识别目标的类间方差进行自动阈值分割[16];图像背景识别目标之间的类间方差越大，说明两者之间的差别就越大，当部分图像背景或部分识别目标错分为背景都会导致2部分的差别变小[17]。使用Otsu算法进行二值化处理错分的概率最小，能够准确识别到目标。

将基于设定阈值识别的叶菜进行二值化处理（图7a），再进一步进行阈值调整，分割出青菜根茎的位置（7b）。

进一步对图像进行腐蚀膨胀，图像先膨胀再腐蚀，能有效地区分出目标图像的边界。针对二值化的图像进行腐蚀，可以消除噪点，有效地分割出独立的图形元素，识别出图像中青菜根茎极限区域。青菜根茎膨胀腐蚀运算如图8所示。

最后进行割刀的切割距离计算。由于该研究是根据割刀与青菜根茎的相对位置计算割刀切割的执行高度，因此需要计算出割刀的实际执行高度与图像上割刀应调节高度的关系。此次试验识别青菜根茎的距离以及种植的青菜在叶菜盒中的固定位置，因此可采用参照物的形式来测量距离，根据参照物的大小比例关系来测量割刀的实际距离。

根据青菜在叶菜盒中的位置进行同位置投放参照物，由摄像头中参照物的几何关系可得出摄像头到参照物固定距离与图像中实际距离的比值，如公式（1）所示。由真实环境里参照物的几何关系可得出参照物的实际大小与长度的比值，如公式（2）所示。将公式（2）带入公式（1）可得出实际长度与摄像头的像素成反比，利用公式（3）计算出实际距离与图上距离的比值关系，推导出实际距离和摄像头中产生的像素成反比，得出割刀的实际距离（cm）。

公式中，Lm是参照物与摄像头的距离;Bpix是摄像头中参照物所占的直径像素;Rm是球真实的长度;Apix是求出的固定像素;a是机器视觉的1/2;b是视觉的1/4。设置一个圆形红色参照物，参照物如图9所示。

5 结论

该研究针对叶菜切割图像难以利用灰度特征值进行处理的实际情况，采用RGB颜色空间的色差分量合成的单通道图像进行Otsu自适应阈值分割，能够快速有效地对切割圖像进行分割，实现了对叶菜全自动化有效收割。结果表明，该算法能够对目标进行精准的检测和定位，整个切割系统性能良好，收获过程中对蔬菜切割茎的长度保留适中，切割整齐且能辅助叶菜的有序存放。

参考文献

[1] 左绪金.我国设施蔬菜产业发展现状及其未来发展路径探析[J].现代农业研究，2019（5）：47-48.

[2] 卞丽娜，李继伟，丁馨明.叶菜类蔬菜机械化收获技术及研究[J].农业装备技术，2015，41（2）：22-24.

[3] 陆海涛，吕建强，金伟，等.我国叶类蔬菜机械化收获技术的发展现状[J].农机化研究，2018，40（6）：261-268.

[4] 韦勇，秦广明，金月，等.叶菜收获机械的研究现状及发展趋势[J].农业开发与装备，2016（8）：98-100.

[5] 高龙，弋景刚，孔德刚，等.小型智能叶菜类蔬菜收割机设计[J].农机化研究，2016，38（9）：147-150.

[6] 丁馨明，何白春，薛臻.小型叶菜收割机研发与市场初探[J].江苏农机化，2014（2）：40-42.

[7] 章永年，施印炎，汪小旵，等.茎叶类蔬菜有序收获机柔性夹持输送机构设计[J].中国农机化学报，2016，37（9）：48-51.

[8] 杨文荣，吴晟，商建锋.基于STM32的同步发电机励磁调节器设计与试验[J].实验技术与管理，2019，36（6）：79-84.

[9] 曾浩.基于STM32F407的嵌入式机器视觉装置研发[D].广州：广东工业大学，2015.

[10] 吴振昊，张平，张为.基于OV7725和串口的图像采集验证系统[J].信息技术，2015（10）：90-92，96.

[11] 谢懿.基于stm32与ov7725的嵌入式工件尺寸检测系统的设计[J].电子世界，2017（24）：110-111.