采摘机器人选择性作业信息获取研究——基于无标定视觉伺服系统

张 璐，郭奇青

(河南工业职业技术学院，河南 南阳 473000)



采摘机器人选择性作业信息获取研究
——基于无标定视觉伺服系统

张 璐，郭奇青

(河南工业职业技术学院，河南 南阳 473000)

以采摘机器人采摘作业为研究对象，以选择性采摘成熟果蔬为研究目标，基于无标定视觉伺服系统，结合果蔬成熟特性判断目标果实是否适合采摘，设计了一套以MSP430F149为核心的智能检测控制系统，可以实时处理相机采集到的图像，并选择性采摘符合要求的果实。本文重点研究了视觉伺服原理与模型、果实成熟度判断、选择性作业信息获取，以及系统的硬软件设计，并对文中设计研究的系统进行了可行性验证。试验结果表明：该无标定视觉伺服系统判断准确，能够较大程度提高机器人的可靠性与稳定性，应用前景宽广。

采摘机器人；视觉伺服系统；选择性作业；图像信息

0 引言

21世纪以来，农业机械智能化程度越来越高，机器人方面的技术也日益成熟，对我国农业种植模式产生了较大影响。随着科学技术手段和现代生产工具的逐渐发展，智能化技术将在农业种植生产模式上发挥重要作用，促使我国实现精准化农业，大力推进农业现代化步伐。在采摘机器人研究中，对目标成熟度判断和选择性作业是重中之重。为此，将根据果蔬采摘作业环境的特点，结合果蔬成熟特征，根据无标定视觉伺服系统，采用MSP430F149搭建的智能控制系统，对该机器人选择性收获作业进行信息的收集和处理，达到采摘机器人对成熟目标进行选择性作业的目的。

1 视觉伺服原理与模型

视觉伺服系统基础知识主要包括成像原理及视觉伺服优化算法等。视觉成像原理：首先给出小孔成像基础知识，提出相机成像模型，对成像原理进行简单说明。对于机器人运动模型，将介绍其关节变量、速度变换的运动学原理，结合视觉成像原理介绍手眼映射关系，进而介绍图像处理的概念。本文对于视觉伺服的优化算法主要采用拟牛顿法。

1.1 视觉成像原理

视觉成像一般是通过相机图像采集形成，采集过程依据小孔成像原理进行。小孔成像原理：当光在同一介质中，在无外界干扰的条件下，一般沿直线方向传播，如图1所示。

图1 小孔成像原理

由图1可以看出：当有一带有小孔的遮光板挡在投射屏幕与物体之间时，屏幕上会出现物体的倒影。通过无标定视觉成像主要是利用小孔成像原理进行图像映射的研究，在研究过程中要了解三维直角坐标系(Xw,Yw,Zw)，相机成像空间特征坐标(Xc,Yc,Zc)及图像处理中的坐标向量(u,v)。相机成像模型示意如图2所示。

根据图2所建模型，三维直角坐标系与相机空间特征坐标之间关系可以表示为

(1)

其中，zc为相机与目标之间的距离；u0与v0为图像中的坐标值；fx和fy是相机间的焦距；R和T为旋转矩阵，与相机的方向和位置有关。

假设

(2)

则有

(3)

转换形式后得

(4)

图2 相机成像模型示意图

1.2 视觉伺服的优化算法

对于视觉伺服的优化算法，本文采用拟牛顿法。其不仅收敛速度快，计算目标函数的难度也比较小，适合在复杂的条件下对目标函数进行优化。牛顿法计算的基本思想为：仅利用目标函数f和一阶梯度值g搜索新的迭代点。

首先，设xk∈Rn，并可以通过某一确定方式搜索得到xk+1，如果f(x)二阶可导，则有梯度函数为

(5)

(6)

采用拟牛顿法优化算法具体步骤如图3所示。

图3 拟牛顿法优化算法流程图

2 果实成熟度判断与选择性作业信息获取

在环境复杂的蔬菜园中，选择性地采摘成熟果实，采摘机器人要提前识别判断果园中的成熟果实。无标定伺服视觉系统可以根据颜色空间模型算法和图像处理及果蔬表皮的颜色、形态特征和距离信息准确判断果蔬的成熟度。颜色模型是空间颜色坐标中能够让人们看得到的光子集合，RGB是空间坐标系颜色系统的一个单位像素。RGB颜色模型如图4所示。

图4 RGB颜色模型示意图

无标定视觉伺服系统能够统计果蔬颜色的色度、饱和度和亮度，然后进行数据信息储存，进而判断果实成熟度。则有

(7)

(8)

(9)

(10)

其中，R、G、B为红、绿、蓝三原色；H为颜色色彩；S为颜色彩度；I为颜色明度；θ为果蔬成熟度判定因子。根据其值并与储存的果蔬各个时期数据信息作对比，就可以判断果蔬的成熟度，然后对果蔬进行选择性采摘作业。

3 目标果实定位的自动调整

采摘机器人作业过程中，末端执行器沿着目标靠近时，发现与目标位置发生偏差，应快速进行调整。当执行器移动方向相对目标靠上或者靠下时，末端执行器应减小靠近速度，并调整末端执行器前进角度；重新对准目标果实后，计算出末端执行器与待摘果实之间在Y方向上的距离，实现对该果实的准确采摘。目标果实定位自动调整流程如图5所示。

图5 目标果实定位自动调整流程图

对成熟果实的定位自动调整方法为：将相机所拍图像进行有效处理、识别和计算，结合机械手和相机运动特点，得到目标果实位置、深度信息和采摘参数；然后进一步分析确定末端执行器的移动方向与速度，实现待摘果实的精确采摘。

4 采摘机器人视觉伺服系统的硬软件设计

4.1 采摘机器人控制系统的硬件设计

采摘机器人控制系统因作业环境复杂，一般需要有较高的稳定性和可靠性。基于这些方面的考虑，本系统硬件框架设计如图6所示。

图6 采摘机器人控制系统硬件框架

采摘机器人需要实时对视觉伺服系统进行数据采集的快速处理，同时高效快速地驱动机器人移动，并驱使末端执行器完成采摘动作。因此，本文设计了以MSP430F149为核心控制单元的硬件体系，能实时完成信息的收集和处理。该硬件体系主要包括视觉伺服系统和驱动电路。

4.2 采摘机器人控制系统的软件设计

考虑视觉伺服系统和驱动系统的精确性和可靠性，本文采摘机器人控制系统软件设计采用IAR Embedded Workbench开发平台，可为开发和管理MSP430嵌入式应用程序提供极大便利。采摘机器人控制系统的软件结构由Main、图像采集处理、电机驱动及传感器采集等程序组成，框架如图7所示。

图7 采摘机器人控制系统软件框架

根据机器人作业环境和工作过程，系统通过调用各子程序，控制机器人的正常运行，并根据传感信息反馈实时修改控制指令。采摘机器人控制主程序流程，如图8所示。

图8 采摘机器人控制主程序流程图

5 仿真实验与结果分析

为了验证该机器人选择作业的可靠性，将该采摘机器人在一个苹果种植园进行了测试，以苹果成熟度判断为研究对象。研究中首先选取500个番茄样本进行图像采集，并制定样本集，然后对作业区域进行图像采集，并与样本集数据进行对比。图像采集与处理流程如图9和图10所示。

(a) 图像采集 (b) 处理结果 (c) 修正结果

(a) 通道图像 (b) 二值化 (c) 优化算法处理 (d) 轮廓分割图

由于苹果的轮廓一般不是一个规则的圆形，在进行处理过程中，需要用软件进行拟合，会有一定的误差。在复杂的环境下，由于取景光线的问题，也会产生一定的误差。计算成熟度测试误差的公式为

(11)

其中，E为误差值；θ为苹果成熟度判断因子；s为苹果轮廓面积。单个苹果成熟度判断识别结果如表1所示。

表1 单个苹果成熟度判断识别结果

表1说明：在对苹果成熟度判定的实验中，机器人能准确判断其成熟度值，并根据误差值决策是否适合采摘作业。实验表明：该无标定视觉伺服系统测量比较可靠、精准程度高，可以实现对采摘目标的准确判断，对机器人的智能化有着重要作用。

6 结论

针对采摘机器人在作业过程中采摘目标难确定及容易采摘未成熟果实的问题，以采摘机器人果蔬选择性采摘作业为研究对象，加入自适应学习方法，采用无标定视觉伺服系统对待采摘目标进行选择性采摘判断，并将其投入苹果种植园使用，对机器人判断目标果实成熟度的能力进行验证。结果表明：在复杂园林的环境下，该采摘机器人能对苹果成熟度进行准确判断，并对判断中误差进行精确计算，进而确定所测目标是否适合采摘。该机器人选择性判断识别能力强、系统稳定、可靠性强、应用前景宽广。

[1] 王新忠.温室番茄收获机器人选择性收获作业信息获取与路径规划研究[D].镇江：江苏大学,2012.

[2] 吕继东.苹果采摘机器人视觉测量与避障控制研究[D]. 镇江：江苏大学,2012.

[3] 黄铝文.苹果采摘机器人视觉识别与路径规划方法研究[D].杨凌：西北农林科技大学,2013.

[4] 毛尚勤.微操作系统的机器视觉与无标定视觉伺服研究[D].武汉：华中科技大学,2013.

[5] 纪超.温室果蔬采摘机器人视觉信息获取方法及样机系统研究[D].北京：中国农业大学,2014.

[6] 张春龙.自然环境下农业机器人作业目标信息获取与视觉伺服策略研究[D].北京：中国农业大学,2014.

[7] 李占坤,赵德安,姬伟,等.基于工业PC机的果树采摘机器人控制系统设计[J].机械设计与制造,2010(6):142-144.

[8] 宁志超,崔天时,李广军.六自由度果实采摘机械手及其控制系统的设计[J].农机化研究,2010,32(9):111-113,117.

[9] 吕继东,赵德安,姬伟,等.开放分布式苹果采摘机器人控制系统研究及实现[J].小型微型计算机系统,2012(2):289-292.

[10] 吕继东,赵德安,姬伟,等.苹果采摘机器人对振荡果实的快速定位采摘方法[J].农业工程学报,2012(13):48-53.

[11] 赵喜锋,杜向党,巩静静,等.基于动态目标的机器人无标定视觉伺服系统仿真[J].机床与液压,2012(11):116-119.

[12] 李占坤.果树采摘机器人控制系统研究与设计[D]. 镇江：江苏大学,2010.

[13] 宋健.茄子采摘机器人结构参数的优化设计与仿真[J].机械设计与制造,2008(6):166-168.

[14] 杨诚.无标定视觉伺服系统的优化算法研究[D].合肥：中国科学技术大学,2014.

[15] 张玉.近地面果蔬采摘机器人末端执行器及机械臂的研究[D].沈阳：沈阳工业大学,2014.

[16] 张发年.猕猴桃无损采摘未端执行器的设计与研究[D].杨凌：西北农林科技大学,2014.

[17] 丁乙.苹果采摘机器人视觉系统技术基础研究[D].秦皇岛：燕山大学,2014.

[18] 郭蓝彬.基于图像雅可比矩阵的无标定工业机器人视觉伺服[D].西安：西安理工大学,2006.

[19] 李玉良.基于立体视觉的遮挡柑橘识别与空间匹配研究[D]. 镇江：江苏大学,2007.

[20] 吕强.柑橘采摘机器人工作场景信息感知技术与路径规划研究[D]. 镇江：江苏大学,2010.

[21] 吕小莲.基于四自由度西红柿采摘机器人视觉系统的研究[D].沈阳：沈阳农业大学,2008.

[22] 魏海峰.果实采摘机器人快速柔顺夹持测试系统设计[J].中国农机化,2011(3):87-89.

[23] 赵庆波.果树采摘机器人控制与避障技术研究[D]. 镇江：江苏大学,2008.

[24] 姬伟,程风仪,赵德安,等.基于改进人工势场的苹果采摘机器人机械手避障方法[J].农业机械学报,2013(11):253-259.

[25] 宁志超.基于ATmega16的六自由度果实采摘机械手控制系统的设计[D].哈尔滨：东北农业大学,2010.

[26] 高鹏.六自由度果蔬采摘机器人离线编程系统设计[D].杭州：浙江理工大学,2013.

[27] 王燕,张果,葛运旺.四自由度关节型采摘机械手轨迹规划与实验研究[J].现代制造工程,2013(7):27-31.

Research on the Selective Operation of Information Acquisition in Picking Robot Based on Uncalibrated Visual Servo System

Zhang Lu, Guo Qiqing

(Henan Polytechnic Institute, Nanyang 473000, China)

It takes the picking robot picking operation as the research object, selects the picked ripe fruits and vegetables as the research target, which is based on uncalibrated visual servo system, combined with fruit and vegetable ripening characteristics determine target fruit. It is suitable for picking design to select MSP430F149 as the core of intellectual to detection and control system that can real-time processing camera to capture the image, and selective picking in line with the requirements of the fruit. It focuses on the design of hardware and software and a system for acquiring visual servo principle and model of fruit maturity, judgment and selective operation information. And the system design is verified feasibility. The test results show that the uncalibrated visual servo system is accurate, which can greatly improve the reliability and stability of the robot with wide application prospect.

picking robot; visual servo system; selective operation; image information

2016-03-10

河南省科技攻关项目(152102110161)

张 璐(1982-)，女，河南南阳人，讲师，硕士。

郭奇青(1983-)，女，河南南阳人，讲师，硕士，(E-mail)lusiq@sina.com。

S225.93；TP391.41

A

1003-188X(2017)05-0241-05