基于机器视觉的蔬果辅助采摘装置系统设计与优化

2021-06-10曹琨张姗姗

食品工业 2021年5期

曹琨，张姗姗

河南牧业经济学院信息工程学院（郑州 450044）

人工采摘是我国传统采摘方法，存在效率低、成本高、安全风险大等问题[1]，采摘果实就直接识别抓取果实，必须先使机器人准确地识别蔬果和枝条障碍，才能兼顾采摘成功率、损伤率以及采摘时间三个目标。

杨文亮等[2]提出了一种基于气压驱动的球状果实采摘机器人末端执行器，其主要采用气压驱动两平移手指夹持果实，再利用气压驱动旋转刀片绕一侧手指切割果柄，并分析了利用气压驱动实现果实夹持与果柄切割的优点，样机自制零件结构工艺性好，外购零件标准化程度高。迟颖[3]对果蔬采摘机械手进行了设计，以PLC控制器作为控制中心，对果蔬采摘器工作提供程序命令，控制其末端执行器，果蔬收集装置及移动装置等实现果蔬采摘全自动化。王欣等[4]提出了一种以Kinect V2设备作为机器人的视觉部分来摘取果蔬的系统。采用Kinect V2视觉设备获得空间的深度图像，由相机的成像模型原理获得果蔬的三维坐标，将数据传递给NAO机器人进行逆运动学分析，并对机器人抵达目标物进行路径规划和可行性分析，根据机器人和果蔬的三维空间相对位置关系，选取最佳的行走路径和采摘策略。

前人的研究同时无法兼顾采摘成功率、损伤率以及采摘时间三个目标。为此，借鉴前人研究，结合机器视觉技术，研究一种综合性能更高的蔬果辅助采摘装置系统，以期提高蔬果采摘效率和质量。

1 基于机器视觉的蔬果辅助采摘装置系统设计

1.1 蔬果辅助采摘装置系统整体框架设计

基于机器视觉的蔬果辅助采摘装置系统主要分为三部分，即前端机器视觉系统、中央控制系统和末端执行系统，如图1所示。

图1 蔬果辅助采摘装置系统整体框架图

1) 前端机器视觉系统，主要工作是采集蔬果图像和路障图像，从而识别蔬果目标以及进行避障处理。

2) 中央控制系统，主要任务是控制和协调整个系统的运行，包括工控机、伺服电机、驱动器以及控制电路等。

3) 末端执行系统，主要负责执行命令，执行设备具体包括移动平台和采摘手两个部分。移动平台按照规划路径进行移动，达到指定地点后，采摘手根据采集到的图像识别果蔬目标，完成采摘行为[5]。

1.2 系统硬件设计

1.2.1 前端机器视觉识别设备

机器视觉识别设备主要包括照明、镜头、相机、图像采集卡、视觉处理单元、图像分析单元、通讯、输入/输出等[6]。其中，镜头、相机是其中重要的图像摄取装置。系统中的镜头选择日本Computer公司生产M0814-MP2。

为保证图像的清晰度，系统中的摄像机选择大恒公司的1394数字摄像机DH-HV1310FC/FM。该摄像机属于1/1.8英寸逐行扫描CMOS，分辨率达到1 280×1 024万像素，采集方式有连续采集、外触发采集、软触发采集等多种方式，支持MONO8格式图像输出，支持10位紧凑格式输出，支持任意AOI设置，支持多种开发工具，提供免费的SDK和丰富的二次开发实例[7]。

1.2.2 中央控制设备

中央控制设备中，主要有工控机、伺服电机、驱动器[8]。

1) 工控机。工控机是一种加固的增强型个人计算机，具有重要的计算机属性和特征，起到中央控制的作用。系统中的工控机为DTB-1022-J1900，其特点是：Intel J1900芯片组；最大支持8 G内存；HDMI+VGA双显；1个Mini PCle插槽；8路GPIO；2个千兆网口；8个串口（2个485串口）；6个USB口（1个USB 3.0）；PS/2接口；12 V电源输入。

2) 伺服电机。系统中选择的伺服电机为辉盛Towerpro-MG995[9]，其特点是：速度，4.8 V@0.20 sec/60°和6.0 V@0.19 sec/60°；扭力，4.8 V@13 kg/cm和6.0V@15 kg/cm；电压4.8～7.2 V；空载工作电流120 mA；堵转工作电流1 450 mA；响应脉宽时间≤5 s；角度偏差，回中误差0°，左右各45°，误差≤3°；齿轮，5级金属齿轮组。

3) 驱动器。系统中选择的驱动器为VTS-400，具有良好控制面板设计、强大的电机适配能力、能够兼容多种规格编码器；丰富的扩展功能、丰富的通讯接口、丰富的多功能卡以及丰富的保护功能[10]。

1.2.3 末端执行设备

1) 移动平台。蔬果辅助采摘装置的移动需要依托移动平台来执行。目前主要有履带式和轮式两种，两种移动平台各有特点，如表1所示[11]。

表1 两种移动平台特点

2) 采摘机械臂。采摘机械臂主要负责将末端机械手移动至果实相应的采摘点，主要由腰关节、肩关节、肘关节和腕关节组成，具有动作灵活、工作空间大等优点[12]。系统中所使用的采摘机械臂型号和参数如表2所示。

表2 采摘机械臂型号和参数

3) 末端采摘机械手。末端采摘机械手是系统最末端的部分，主要由夹持机构、切割装置以及传感器组成，负责完成采摘动作13]。系统中的末端采摘机械手采用德国SCHUNK公司生产的EVG JJ HUB100，其特点是：长行程50 mm，灵活搬运目标物体；抓取力控制范围在24～57 N之间；预定位能力，缩短工作行程，减少周期时间；带外部电子感应元件；型材导轨，精确搬运各种目标物体。

1.3 系统软件设计

在VC++6.0中开发完成，首先利用前端机器视觉识别设备中的相机和摄像头进行图像采集，之后利用图像采集卡将其转换成一定格式的图像数据流，传输到视觉处理单元，对图像进行处理，然后将处理好的图像在图像分析单元中进行目标识别，最后根据结果指挥末端设备进行采摘操作[14]。

1) 摄像机标定子程序。摄像机标定的作用是求解相机内参数和外参数，以校正镜头畸变、确定相机的方位，是保证采摘成功的一道保障[15]。

建立标定需要的三个层次的坐标系统。世界坐标（xw,yw,zw）与摄像机坐标（x,y,z）之间的转换。

式中：T是世界坐标系原点在摄像机坐标系中的坐标；R是正交旋转矩阵。R满足约束条件：

正交旋转矩阵实际上只含有3个独立变量Rx、Ry、Rz，再加上tx、ty、tz总共六个参数，它们决定了摄像机光轴在世界坐标系中的坐标，因此，这6个参数称为摄像机的外部参数。

图像坐标系与摄像机坐标系变换关系。摄像机坐标系中的一点在图像物理坐标系（X,Y）中像点P坐标为：

其次坐标表示为：

将公式（4）图像物理坐标系（u,v）进一步转化为图像坐系：

式中：u0、v0是图像中心（光轴与图像平面的交点）坐标；dx、dy分别为一个像素在X与Y方向上的物理尺寸；sx、sy分别为X与Y方向上的采样频率。

因此，可得物点p与图像像素坐标系中像点pf的变换关系：

式中：fx、fy分别为X与Y方向的等效焦距；fx、fy、u0、v04个参数为摄像机的内部参数[16]。

世界坐标系与图像坐标系变换关系。

转化为齐次坐标为：

式中：M成为投影矩阵，是相机内参矩阵和相机外参矩阵的乘积。公式（8）是针孔模型或者中心投影的数学表达式。在摄像机内部参数确定的条件下，利用若干个已知的物点和相应的像点坐标，可以求解出摄像机的内部和外部参数[17]。

2) 图像识别与定位子程序。

输入采集蔬果图像。转换图像的颜色空间。对图像进行阈值分割。膨胀和腐蚀操作，利用腐蚀可以消除小颗粒噪声形成的孤立噪点。

式中：B为简单的集合形状；I为要处理的目标图片经过灰度变换产生的图像；腐蚀运算为Θ。

膨胀可以使区域内的孔结构消失，常用于消除内部空洞。

式中：⊕为膨胀运算。

Canny目标蔬果图像边缘检测。随机Hough圆检测，分离出敏感的图像特征。立体匹配。获取蔬果目标三维坐标[18]。

3) 导航子程序。

摄像机初始化。采集导航路面图像。选取RGB颜色空间，提取2G-R-B色差分量。RGB模型可以建立在空间直角坐标系里，将R作为y轴，G作为x轴，B作为z轴，RGB颜色空间可以表示为空间中的一个封闭正方体，变边长为0～255。Otsu算法对图像进行阈值分割。形态学开运算、闭运算去除噪声。图像周围加黑色边框。区域标记保留最大连通区域。计算图像中路面中心点族坐标，绘制路面中心线。

改进Rough变换，结合最小二乘法，检测导航中心线。计算横向偏差和航行偏差。换算成移动平台行进速度。主控制器向移动平台发送电机转速信号。是否达到目的地，若到达，完成此次导航；若没有到达，则需要回到步骤2，重新进行导航，指导准确待待采摘地点[19]。

4) 抓取子程序。首先启动线程，给伺服电机上电，然后控制末端采摘机械手靠近要采摘的蔬果，指导上面的触觉传感器感应到已经碰触到目标物的信号，这时机械手开始发力，抓取目标物，切割完成后，收缩推杆到初始位置，打开机械手，使蔬果实放入到指定的收集框内，最后复位末端机械手，结束整个线程[20-21]。

2 系统采摘性能测试与分析

为测试此次基于机器视觉的蔬果辅助采摘装置系统是否能够同时兼顾采摘成功率、损伤率以及采摘时间三个目标，进行蔬果采摘测试分析。

2.1 采摘装置样机

按照正文蔬果辅助采摘装置系统设计方案，得到的蔬果辅助采摘装置实物如图2所示。

2.2 实验环境与参数设置

为全面测试该系统的采摘质量，采摘蔬果参数设置如表3所示[22]。

图2 蔬果采摘装置样机

表3 采摘蔬果参数设置

2.3 摄像机标定

按照正文方法，进行摄像机标定，标定结果如表4所示。

表4 摄像机标定结果

2.4 设计目标设定

系统设计目标设定如表5所示。

表5 目标设定

2.5 结果分析

1) 准确识别率。结果如表6所示。

表6 准确识别率

2) 定位误差。从10种采摘蔬果中各选一种，测定其定位误差，结果如表7所示。

表7 定位误差

从表6和表7中可以看出，该系统完全达到了准确识别率和定位误差目标，解决了由于识别率不高或识别后定位精度不高导致后续采摘质量不高的问题。

从图3可以看出，在枝条末尾部分有分叉现象，即拟合曲线与实际的位置曲线距离有变大趋势。由于蔬果的生长特性，越靠近蔬果枝条末端，蔬果生长状况越差，果实变小，果梗变短。实际试验中采用平均长度的方式进行拟合时，在靠近枝条末端时蓝色曲线会在红色曲线下端，即蔬果上移的距离大于实际距离。在靠近枝条根部时情况相反。