基于目标像素变化的柚果单目测距算法

刘 洁，周典卓，李 燕，李定科，李英琪，Rubel Rana

基于目标像素变化的柚果单目测距算法

刘 洁1,2,3，周典卓1，李 燕1，李定科1，李英琪1，Rubel Rana1

（1. 华中农业大学工学院，武汉 430070；2. 农业农村部长江中下游农业装备重点实验室，武汉 430070；3.农业农村部柑橘全程机械化科研基地，武汉 430070）

针对山地果园光线变化和枝叶遮挡干扰果实距离检测的问题，该研究提出一种利用目标区域像素数量变化预测成像距离的算法。根据单目测距原理和柚果成像特性，以具备尺寸和形状代表性的离树柚果样本为研究对象，在采摘作业距离范围内利用单一相机以固定间隔步距对果实某一侧面连续获取图像数据，用以建立并验证目标区域像素数量变化与成像距离变化之间的多元回归关系。随后将该算法应用于果园中树上柚果样本以检验其适用性，并讨论初始成像距离和步距取值对测距精度的影响。研究结果表明，在125 cm以内，6个树上柚果样本的测距相对误差均低于5%，满足采摘机械手目标定位的精度要求；初始成像距离对该算法测距精度具有显著影响。该研究单目测距算法满足果园环境中柚果目标与相机间距离检测需求，为相关采摘机械手的柚果目标识别提供了一种可行方案。

算法；果园；识别；单目测距；像素数量；成像距离；多元回归

0 引 言

柚子（(Burm) Merr.）是东南亚重要的药食两用水果，亦是果茶、精油等深加工产品的原料，其种植面积和产业产值均呈逐年增加态势。作为三大柑橘类水果之一，柚子果梗木质化程度高，果实悬挂于树冠内部，单果质量300～1 800 g，采摘期相对集中，采摘劳动量需求极大。加之柚子果园多分布于坡度30°～60°的山地丘陵地区，采后运输工作量亦不容忽视[1]。产区劳动力流失和劳动成本逐年增加使得发展柚子机械化、自动化采摘的需求愈发迫切[2]。对于果蔬采摘机器人而言，果实的识别与定位，直接影响到果实采摘的准确性与成功率[3-5]。

借助于深度学习等图像处理和目标识别算法[6]，当前果蔬采摘机器人获取空间三维信息主要有二维图像结合深度信息源和仅用二维图像计算三维信息两种途径[7]。二维图像结合深度信息源主要依靠相机获取成像平面二维坐标值，同时利用结构光测距[8]、激光测距[9]、超声波测距[10]和位置传感器[11]等信息源获取深度信息，如王玲等[12]针对蘑菇的机器人采收，使用结构光SR300深度相机构建了蘑菇位置原位测量系统。王粮局等[11]设计了基于精密运动机构和单目视觉的草莓采摘机器人果实定位试验，在垄坡和摄像机像平面内包含1～3粒成熟草莓的果实域定位时间为0.633～0.886 s，草莓深度信息的相对误差在−4.35%～0.95%之间。仅用二维图像计算三维信息是依据光学成像原理，利用同一目标在多幅图像中的成像特征计算目标三维坐标，主要有双目测距和单目测距两种方式。其中，双目测距基于视差原理，根据相机结构参数和2个不同位置的相机所获取2张图片中同一目标像素点位置参数计算目标的三维坐标信息，其计算精度高，硬件成本低，在农作物和农产品目标位置识别中应用广泛。例如Yang等[13]研究了一种基于双目视觉的杭州白菊的识别与定位方法，通过在左右2幅图像中匹配雄蕊质心计算花朵目标位置，其在150～450 mm距离范围内的计算值误差均小于14 mm；Xiong等[14]针对自然环境干扰下动态荔枝簇的视觉定位问题，利用双目视觉立体匹配算法计算采摘点位置信息，在室内的静止和轻微干扰状态下，深度误差范围为1.96～5.08 cm；在果园中，深度误差范围为0.40～5.80 cm；梁喜凤等[15]提出了基于果梗骨架角点计算方法，使用双目视觉系统采集番茄串图像并获取果梗采摘点位置信息，准确率达到90%；陈燕等[16]使用双目相机采集荔枝图像，提出同行顺序一致性约束的目标配对方法，基于三角测量原理计算荔枝串空间坐标，提高了荔枝串的检测精度与检测速度。而单目测距则利用移动的单一相机获取图像并通过分析目标特征预测其距离[17]，在自动驾驶和无人机测控领域应用广泛[18-19]。现有研究表明，单一相机能够在低像素图像中识别果蔬细节信息[20]，如与配套机具相结合[21-22]，单目视觉测距具有引导采摘机械手移动至果实目标的能力。研究者们对其在果蔬采摘机器人目标识别与定位中的应用研究进行了探索。Guo等[23]提出了一种基于单目视觉的重叠生长荔枝果实识别方法，从荔枝前景区逐级提取单个荔枝果实，该方法对485张荔枝果园图像中的目标识别准确率大于87%。杨帆等[24]利用将K-means聚类算法与Canny边缘检测算法相结合的方法，识别出枝叶遮挡、多果重叠情况下橘子的完整轮廓，通过对橘子轮廓的几何参数和实际坐标计算其位置，该方法对柑橘果实和大枣果实的深度信息检测误差不超过0.32 cm。

虽然双目视觉等立体视觉获取目标空间位置信息技术成熟、器件商品化程度高、应用广泛，但是应用中需以目标的精准匹配为基础。然而山地果园中光照和地形变化使图像背景复杂，内挂果型果实受枝叶遮挡严重使目标难以识别，加上枝叶抖动等因素，均能引起深度相机所用激光或声波等信号往返时间误差增加，立体视觉左右图像匹配目标识别难度和计算量增大。此外，内挂果果实采摘作业中，多相机系统随执行器末端运动极易受到碰撞或剐蹭导致相机位置改变，影响其后续工作效率。鉴于柚子生长于丘陵山地且果实内藏于枝叶的特性限制了深度相机和双目测距等立体视觉技术在获取柚果空间位置信息中的应用，尽管单目视觉在果蔬采摘中的应用较为鲜见，但其成像系统简单、轻便、体积小，无需精确的图像匹配，运算速度快等优势突出，既能使后续机具视觉伺服系统的成本控制在几百元以内，也便于开发多机械手协同工作机具，亦可为其他果蔬或农作物生产过程中的目标深度信息识别提供参考。

综上，单目视觉应用于基于图像的视觉伺服（Image-Based Visual Servoing，IBVS），需考虑镜头与光路等成像误差对检测精度的影响和目标脱离相机成像区域的问题。因此，在完成相机标定和内外参数求取基础上，本研究提出一种通过分析单一相机取固定间隔步距连续成像所获图像中目标像素点数量变化，计算复杂背景中树上柚果深度信息的算法，以期为果实采摘机械手的目标距离预测和作业动作控制提供一种运算少、成本低的技术方案。

1 材料与方法

1.1 柚果样本选择与尺寸测量

本研究于华中农业大学中百超市（武汉，中国）购买14个尺寸和形状均具代表性的柚子果实为离树样本，随机选取其中10个用于建模集图像数据采集，其余4个用于验证集图像数据采集；另外在华中农业大学果园中选取尺寸、形状和挂果位置均具代表性的6个采摘期挂树果实为树上样本。对于柚子果实，通常以果轴方向的果径最大值为纵径、以垂直于果轴方向的果径最大值为横径表示其尺寸和果形。利用游标卡尺和夹板人工测量样本的纵径和横径尺寸，测3次取平均值为该尺寸测量值。

1.2 图像采集方法

在良好光照条件下，以距离柚果150 cm处为起点，沿直线按2.5 cm步距间隔用iPad（A1599，Apple，美国）自带摄像头（焦距0.3 cm，曝光时间0.008 s）保持成像焦距不变对果实侧面正向拍摄，直至距离柚果25 cm位置处为止（图1）。单幅图像分辨率为2 592×1 936像素，图像数据自动保存为JPG格式。对于离树柚果样本，果梗朝上放置后，将其外表面平均划分为正前方、左侧方、正后方和右侧方4个侧面，其中每个侧面作为1个成像样本面获取包含51幅图像作为1组数据，共计56组离树果实样本数据。对于树上柚果样本，每个样本以朝向树冠外的侧面作为成像样本面获取包含51幅图像作为1组数据，共计6组树上柚果样本数据。

1.3 单目测距原理与算法设计

单目视觉测距以小孔成像原理为基础。相机在成像平面对同一目标所成实像的面积会随成像距离缩短而增大。由数码相机工作原理可知，目标经镜头所成实像经由光电转换和处理成为图像数据中有序排列的像素点，即目标区域实像面积与其所占像素数量成正比。故这一实像面积的大小变化会量化为目标区域在图像中所占像素点的数量变化。同一目标成像距离越近，则实像面积越大，目标区域所占像素点的数量越多。建立目标在多次成像中的对应区域所占像素数量变化与成像距离变化间的对应关系，可用于解析同类型目标的成像距离。

设目标在成像平面所成实像面积为（，cm2），所占像素数量为，成像距离（，cm）的计算如式（1）所示：

式中为所占像素数量与实像面积的比例系数，个/cm2；为相机镜头焦距，cm。

对于柚子果实等类球型体，当镜头距离目标柚果无限远，则参与成像的果实表面可成为该拍摄方向上的最大成像面；当镜头不断靠近柚果，受柚果外形影响，参与成像的果实表面范围将不断缩小，如图2所示。若忽略柚果的果径变化，设其平行于成像面上的最大截面半径为（，cm），实际成像表面范围半径为（，cm），镜头至柚子表面之间的距离为（，cm），根据几何关系分析可知3者间的关系如式（2）所示：

根据柚子行业标准[25]，柚子果实外径通常在10.0～18.5 cm之间，因此可知果实半径范围为∈[5.00，9.25]。初始位置机械手与待作业果树上距离最近果实间距离的最大值小于150 cm。在相机距果实距离小于25 cm后，机械手采摘机构的设计即可保障果实的准确托持。因此，机械手工作范围在25～150 cm范围内，即成像距离范围为∈[25，150]。结合式（1），在上述范围内，成像距离亦可由如式（3）近似关系式进行表示：

式中为图像每单位面积含像素数量和相机焦距共同决定的常数。

1.忽略果径变化的柚子果实 2.果轴 3.光线路径 4.镜头 5.理论最大成像面 6.实际成像面

1.Ideal pomelo fruit 2.Fruit axis 3.Light trace 4.Lens 5.The theoretical maximum imaging area 6.The real imaging area

注：′为成像面实际半径，cm；为柚果最大截面半径，cm；为成像距离，cm；ver为柚果纵径，cm；hor为柚果横径，cm。

Note:′ is the radius of actual the imaging area on fruit surface, cm;is the maximum section radius of pomelo fruit, cm;is the imaging distance, cm;veris the vertical diameter of pomelo fruit, cm;horis the horizontal diameter of pomelo fruit, cm.

图2 柚果成像面变化示意图

Fig.2 The schematic diagram of the changes in the imaging area of the pomelo fruit surface

由式（3）可知，如保持连续成像过程中相机沿直线运动且焦距不变，则可提取图像中目标区域所占面积和像素数量用于计算成像距离。可获取已知成像距离的目标图像，将其随机分为建模集和验证集，借助建模集图像数据计算出像素数量变化与成像距离变化间的关系和的取值，可建立基于目标像素变化的柚果单目测距模型，经验证集数据检验并优化后，即可用于目标成像距离检测。考虑到式（3）假设柚果为球体，而柚果实际形状并非标准球体，且为消减多次成像过程中柚果表面与相机视锥相切最大绝对尺寸变化引起的误差，选择目标区域在所成图像的像素值数量的变化率为输入变量，距离预测值（(，)，cm）的数学表达式如式（4）所示：

式中、、、为根据成像距离、面积和像素数量等数据，经最小二乘拟合运算求取的对应参数。

在以像素数量为横坐标、成像距离预测值为纵坐标的坐标系中（图3），当最大成像面面积和预测距离范围有限时，距离预测(,)的取值区域可视为由许多条幂函数曲线段构成的封闭平面图形，每条曲线段的系数连续且取值由决定。如记为根据目标图像区域像素数量计算出的成像距离拟合曲线，成像距离预测值可能出现的最大值max()和最小值min()分别为该平面图形的上边缘曲线和下边缘曲线。当取某一常数值C时，(,C)为其中1条幂函数曲线。假定相机每隔1个单位步距（,cm）成像1次，用表示序次，一共成像次，和为正整数，则≥2，1≤≤；获取的图像中果实目标区域像素数量为x，预测的成像距离为（z,cm），实际成像距离为（Z，cm），1≤x≤6 000 000。

相机第1次成像所得图像中目标区域所占像素数量为1。根据式（4）可知，因柚果最大成像面积未知，所以暂不能根据1直接计算出成像距离预测值。但是，直线=1与上边缘曲线max()和下边缘曲线min()存在2个交点，分别设2个交点的纵坐标为、，可知=max(1)，=min(1)，则[，]为第1次成像的距离预测区间，实际成像距离值存在于该预测区间之内。以2个交点为界均匀取个预测点1，2，…T…，T，取此时预测点间差值为，在其中任取第个预测点T(1，-)（0≤≤，和为整数），假定T为最佳预测点，其纵坐标值最接近实际成像距离，根据式（3）可确定该处的常数系数a，并计算出该假定条件下第1次成像的成像距离。

后续每次成像求取最佳预测点作为距离预测值的方法如下：当进行第次成像时，可获得像素数量x，则次成像，可获得个像素数量1，2，…，x…，x。对于每个像素数量x，在直线=x与(，)重叠的线段的个距离预测值1，2，…T…，T。引入E值用于表征假定T为最佳预测点的预测误差，E值的大小为根据像素数量1，2，…，x计算得出的预测成像距离1，2，…，g与实际成像距离1，2，…，D之间的误差的平方和。因此，可分别计算出在1，2，…，T为最佳预测点条件下的1，2，…，E值，取集合{1，2，…，E}中的最小值E，将第个预测点作为实际的最佳预测点，则可得第次拍摄时的最佳预测距离(g*，cm)，其计算如式（5）所示：

式中为第1次成像距离预测值的最大值，cm；为最佳预测点；为第1次成像时距离预测点间的差值，cm；为步距，cm。

注：为成像距离拟合曲线；为成像距离预测点序次；为成像序次；为第1次成像的预测点间距；为步距；1*为第1次成像时的距离预测值；g2*为第2次成像时的距离预测值；g*为第次成像时的距离预测值；为第1次成像距离预测值的最大值；为第1次成像距离预测值的最小值；max()为取值区域图形的上边缘曲线；min()为取值区域图形的下边缘曲线；T为预测点。

Note:is calculated fitting curve of imaging distance;is index of predicted imaging distance point;is shooting index;is interval between the prediction points of the first image;is step length;1*is Predicted imaging distance for the first image;2*is Predicted imaging distance for the second image; g*is Predicted imaging distance for thestimage;is maximum predicted imaging distance for the first image;is minimum predicted imaging distance for the first image;maxis upper edge line of the potential value area graphics;minis bottom edge line of the potential value area graphics;Tis prediction point.

图3 柚果单目测距算法示意图

Fig.3 The schematic diagram of the monocular distance measurement algorithm for pomelo fruit

1.4 目标区域像素数量提取与最大成像面积估计

图像数据导入计算机后，柚果目标区域的像素数量利用Photoshop软件的“套索”工具围绕果实目标绘制其封闭轮廓后根据直方图获取。

考虑到柚果侧面成像轮廓具有不规则性，最大成像面积难以精确测量。因此本研究根据成像距离足够远时柚果的最大成像面积无限接近其沿果轴方向的最大截面面积，并可近似等于其实际成像面积，设计了一种柚果侧面轮廓最大成像面积的估算方法。根据常见柚子纵径和横径[25]估算柚果的最大成像面积范围为64～324 cm2，选择了面积分别为64、81、100、121、144、169、196、225、256、289和324 cm2的11个标定板并获取其在成像距离为150 cm时的图像数据，获得成像面积和像素数量间的线性关系，用于在拍摄方向上柚果侧面轮廓最大成像面积的估计和后续计算中的参数补偿，经线性回归分析可求得柚果最大成像面积估计值（p，cm2）如式（6）所示：

式中1为拍摄距离为150 cm时柚果图像像素数量，1和2分别为线性回归分析得出的系数。

1.5 柚果单目测距模型建立、验证与算法评价方法

将所获取的离树柚果图像数据按照5∶2的比例随机划分为用于建立柚果单目测距模型的建模集和用于独立验证模型预测能力的验证集。将建模集样本图像数据的目标区域像素数量、最大成像面积和成像距离代入式（4），求取系数、、、以建立柚果单目测距模型。使用决定系数2来描述模型的拟合程度，决定系数2越接近于1，则说明拟合程度越高。

利用离树柚果样本独立验证集数据对模型预测能力进行检验后，另用6组树上柚果样本图像数据检验模型预测能力和适用性。将连续成像过程中所得的目标区域所占像素数量依次输入测距模型求取最佳预测点，运算结果即为预测成像距离。对于同一个目标成像面，随着图像获取次数的增加，输入次数增加，用于预测数据也增加。以此循环，直至输出值超出测距算法的可预测范围。

采用误差、绝对误差和相对误差评价柚果单目测距模型的精度。定义预测结果的精度等级如下：如预测结果的相对误差小于5%，则其精度等级为高；如相对误差在5%～10%之间，则其精度等级为中；如超过10%，则其精度等级为低。为展示测距算法的准确性，以相对误差频数分布图和累积频率函数图来表示低精度、中精度、高精度预测的频率及分布特征。

为评价初始成像距离和2幅图像间隔步距2个因素对预测精度的影响，求取不同初始成像距离和不同步距条件下算法预测值的平均相对误差（Mean Relative Error，MRE），并进行方差分析。离均差平方和（Sum of Squares of Deviation from Mean，SS）是统计中离散趋势的重要指标之一，总体数据的变异程度越大，离均差平方和就越大，方差也就越大。

柚果单目测距模型建立的计算和拟合均通过MATLAB实现。测距算法编写和运算过程由MSDEV软件完成。

2 结果与分析

2.1 柚果样本纵径与横径尺寸范围

建模集和验证集柚果样本的纵径与横径尺寸统计情况如表1所示，建模集样本纵径变化范围为7.05～17.82 cm，横径变化范围为7.84～15.80 cm；验证集样本纵径变化范围为11.92～12.95 cm，横径变化范围为12.25～13.99 cm。可知，各样本面最大截面积均未超出标定板面积变化范围。

表1 柚果样本尺寸统计表

2.2 柚果样本面最大成像面估算结果

根据11个标定板在成像距离为150 cm时的图像数据对像素数量与柚果成像面积之间的线性关系做回归分析，求得系数1=0.004，2=1.278，则柚果的最大成像面积估计值（p，cm2）如式（7）所示：

建模集10个离树柚果各样本面最大成像面积估计值的计算结果如表2所示，最大成像面积估计值的变化范围为74.31～174.41 cm2。

表2 各柚果样本面最大成像面积的估算结果

2.3 图像中柚果区域所占像素数量提取结果

选取6个离树柚果样本侧面的最大成像面积和在成像距离为25、50、75、100、125、150 cm处所生成图像中柚果区域所占像素数量如表3所示。可见当成像距离一定时，果实尺寸越大，最大成像面积越大，图像中样本目标区域所占像素数量越多；对于同一样本成像面，成像距离越短，图像中果实目标区域所占像素数量越多。

表3 不同成像距离下各最大成像面积的柚果目标区域的像素数量

2.4 柚果单目测距模型的构建

提取建模集40组离树柚果样本图像数据的目标区域像素数量、最大成像面积和成像距离代入式（4），求得系数=2 311，=−0.499 8，=0.512 9，=0.000 186 1。

则柚果成像距离预测值（，cm）的模型如式（8）所示：

计算得该预测模型决定系数2为0.999 8，说明其拟合程度高，可靠性强，能够反映像素数量变化与成像距离变化间的回归关系。

2.5 离树柚果样本验证结果

利用独立验证集中4个离树果实样本的16组数据共816幅图像数据对柚果单目测距模型准确性和适用性进行验证，取初始成像距离1为150.0 cm，步距为2.5 cm，预测点个数为301，验证结果如图4所示。离树样本成像距离预测值与实际值的散点关系如图4a所示，可见在成像距离小于120 cm后，预测值与实际值间的差值即绝对误差明显减小。从离树样本成像距离预测值相对误差分布来看，成像距离在120～130 cm时，距离预测精度等级变为“中”；成像距离小于120 cm后，距离预测精度等级均保持为“高”，相对误差最大值为4.89%，最小值为0.02%（图4b）。根据816幅离树样本图像的预测结果做相对误差频数分布和相对误差累积频率函数（图4c和图4d），其中91%的离树果实样本的预测值相对误差小于5%；96%的离树果实样本的预测值相对误差小于10%。

从验证集数据中选取7组图像，对比其最大成像面积、像素数量区间、成像距离预测结果的相对误差和精度等级（表4），可知验证集数据符合成像面积与像素数量成正比的关系；精度等级为“中”或“低”的预测均发生于成像距离为122.5～150.0 cm的范围内，即自初始成像距离起的前5幅图像以内。上述结果表明，对于离树柚果样本，预测值的绝对误差在成像距离由150 cm向25 cm缩减过程中逐步减小并趋于稳定；预测值误差在成像距离为140 cm以外较大，应当与参与计算的图像幅数少有关，随着成像距离逐步减小、图像获取次数逐步增加，相对误差会迅速缩减至5%以内；预测值相对误差在成像距离小于50 cm后略有反弹，但仍能保持低于5%的可接受误差范围以内，这主要是绝对误差值趋于稳定而成像距离逐渐减小引起的。

表4 代表性离树柚果样本成像距离的预测结果

注：“-”表示无该成像距离预测精度等级的预测结果。

Note: “-” meant that there was not any prediction result on that accuracy level.

2.6 树上柚果样本验证结果

取初始成像距离1为150.0 cm，步距为2.5 cm，预测点个数为301，利用独立验证集中6个树上柚果样本的6组共306幅图像数据对模型进行验证，运算结果如图5所示。树上样本成像距离预测值与实际值的散点关系如图5a所示，可见绝对误差在成像距离小于120 cm后，即生成10幅图像之后明显减小，其变化趋势与离树样本的验证结果一致。树上样本成像距离预测值相对误差分布如图5b所示，成像距离大于147.5 cm的图像数据中有4个预测值相对误差大于5%，成像距离大于145.0 cm的图像数据中有3个预测误差大于5%，相机成像距离小于125 cm之后的预测值相对误差均小于5%，其最大值为4.75%，最小值为0.08%；相对误差在成像位置在80 cm至100 cm之间时达到最小值，其随成像距离减小先减小后略有反弹但均低于5%的变化趋势亦与离树样本的验证结果类似。树上样本成像距离预测值相对误差频数分布和相对误差累积频率函数如图5c和图5d所示，可见95%的树上柚果样本测距结果相对误差小于5%；97%的树上柚果样本测距结果相对误差小于10%。

树上柚果样本的最大成像面积、像素数量区间与成像距离预测结果的相对误差和精度等级如表5所示，可知对于树上柚果样本，最大成像面积与所占像素数量满足正比关系，当初始成像距离为150 cm，成像距离减至125 cm后，模型预测精度等级均能达到“高”，考虑到实际作业过程中必然存在执行器向作业目标逐渐靠近的过程，这一检测精度可以满足应用要求。从上述结果看，树上柚果图像数据对模型预测能力的检验结果与离树柚果图像数据的检验结果相比，其绝对误差无显著差异，相对误差变化亦具有随成像距离缩减先减小后略有增加的趋势，应当与成像次数足够多之后绝对误差值较为稳定而成像距离逐渐减小有关。表明该研究所提算法具有良好的适用性，能够在25～150 cm范围内实现树上柚果成像距离的检测。

表5 树上柚果样本成像距离的预测结果

注：“-”表示无该成像距离预测精度等级的预测结果。

Note: “-“ meant that there was not any prediction result on that accuracy level.

2.7 初始成像距离和步距对检测精度的影响分析

利用独立验证集数据，分别选取150、125、100、75和50 cm的初始成像距离与2.5、5.0和10.0 cm的步距代入式（7）预测图像成像距离，并对比平均相对误差以分析这2个因素对检测精度的影响，运算结果如表6所示。

表6 初始成像距离和步距对预测结果平均相对误差的影响

对于同一初始成像距离，随步距增加，平均相对误差略有降低；对于同一步距，初始成像距离的缩短会引起平均相对误差的改变，但这一改变没有一致的规律。如步距为2.5 cm时，平均相对误差随初始成像距离缩短而先增加后减小，在初始成像距离为100 cm时有最大值3.18%，在初始成像距离为50 cm时有最小值1.74%；步距为5.0 cm时，平均相对误差在初始成像距离为150 cm时有最小值1.43%，在初始成像距离为125 cm时有最大值2.59%，此后随初始成像距离缩短而减小；步距为10.0 cm时，平均相对误差随初始成像距离缩短而波动，在初始成像距离为125和75 cm时分别为2.27%和2.45%，而在初始成像距离为150、100和50 cm时在1.45%～1.92%范围内。

初始成像距离和步距的双因素方差分析结果如表7所示。初始成像距离对预测结果平均相对误差的离均差平方和为2.219，均方为0.555，概率值为0.024，表明其对预测结果的相对误差具有显著影响。这一现象应当与初始成像距离改变引起了柚果在第一幅图像中其成像区域所占像素数量改变有关，即算法迭代过程中，初始数据的取值范围影响了迭代计算结果的精度。步距对预测结果平均相对误差的概率值为0.063，大于0.05，表明其对预测结果的相对误差影响不显著。这一结果，证实了算法设计中以目标区域像素数量的变化为输入变量可在计算过程中消减系统固有误差的假设是成立的。在后续的算法应用中，可尝试增大步距取值或者根据成像距离实时调整步距的策略，以提高作业效率。

表7 初始成像距离和步距双因素方差分析表

注：* 表示在0.05水平下存在显著影响。

Note: * means that there is a significant effort in the level of 0.05.

3 结 论

根据单目测距原理和果园中柚子果实成像特点，本研究提出了以目标在图像中占有像素数量变化为输入量的柚果单目测距算法。借助11个不同面积的标定板图像获取成像面积与所占像素数量间的线性关系，在25～150 cm成像距离内，利用离树样本图像数据建立成像距离预测模型后分别利用离树样本和树上样本图像数据对模型预测准确性和适用性进行验证，并讨论了初始成像距离和两次成像间隔步距对预测精度的影响，主要结论如下：

1）成像距离一定时，目标尺寸越大，图像中目标区域所占像素数量越多；对于同一目标，成像距离越短，图像中目标区域所占像素数量越多。柚果侧面轮廓最大成像面积、图像像素数量和成像距离三者间的关系可以用数学函数式表示，且能在求取相机参数后用于建立柚果单目测距模型。所建模型对16组离树柚果样本数据的预测结果为从成像距离小于120 cm开始预测精度等级均为“高”，相对误差最大值为4.89%，最小值为0.02%；对6组自然条件下树上柚果样本数据的预测结果为从成像距离小于125 cm开始预测精度等级均为“高”，相对误差最大值为4.75%，最小值为0.08%。柚果单目测距模型具有良好的适用性，能够在25～150 cm范围内实现树上柚果成像距离的检测。

2）柚果单目测距模型预测值的绝对误差在成像距离小于120 cm后明显减小。相对误差随成像次数增加先减小而后略有反弹，表明10幅以上的图像数据足够保证算法的预测精度满足应用要求。结合实际作业中执行器向作业目标的靠近过程，初始成像阶段的误差在可接受范围内。如与果实托持机构相配合，该算法距离预测精度可以满足采摘机械手的引导需求。

3）初始成像距离和步距的双因素方差分析结果显示，初始成像距离对所提算法测距精度具有显著影响。

后续工作可尝试提高算法鲁棒性，并根据果实目标区域占图像面积的比值设计距离区间预判流程，结合变步距策略以提高作业效率。

[1] 李善军，侯剑锋，万强，等. 牵引式山地果园运输机驱动绳轮摩擦磨损[J]. 农业工程学报，2021，37(2)：71-78.

Li Shanjun, Hou Jianfeng, Wan Qiang, et al. Friction and wear behaviors of driving rope wheel system in the traction type mountain orchard transporter[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(2): 71-78. (in Chinese with English abstract)

[2] 杨长辉，刘艳平，王毅，等. 自然环境下柑橘采摘机器人识别定位系统研究[J]. 农业机械学报，2019，50(12)：14-22，72.

Yang Changhui, Liu Yanping, Wang Yi, et al. Research and experiment on recognition and location system for citrus picking robot in natural environment[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(12): 14-22, 72. (in Chinese with English abstract)

[3] 赵德安，吴任迪，刘晓洋，等. 基于YOLO深度卷积神经网络的复杂背景下机器人采摘苹果定位[J]. 农业工程学报，2019，35(3)：164-173.

Zhao Dean, Wu Rendi, Liu Xiaoyang, et al. Apple positioning based on YOLO deep convolutional neural network forpicking robot in complex background[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 164-173. (in Chinese with English abstract)

[4] Jia W K, Zhang Y, Lian J, et al. Apple harvesting robot under information technology: A review[J/OL]. International Journal of Advanced Robotic Systems, 2020, 17(3), [2020-04-16], https://journals.sagepub.com/doi/full/10.1177/1729881420925310.

[5] 李涛，邱权，赵春江，等. 矮化密植果园多臂采摘机器人任务规划[J]. 农业工程学报，2021，37(2)：1-10.

Li Tao, Qiu Quan, Zhao Chunjiang, et al. Task planning of multi-arm harvesting robots for high-density dwarf orchards[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(2): 1-10. (in Chinese with English abstract)

[6] Tang Y C, Chen M Y, Wang C L, et al. Recognition and localization methods for vision-based fruit picking robots: A review[J/OL]. Front Plant Science, 2020, 11, [2020-04-06], https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7250149/.

[7] 项荣，应义斌，蒋焕煜. 田间环境下果蔬采摘快速识别与定位方法研究进展[J]. 农业机械学报，2013，44(11)：208-223.

Xiang Rong, Ying Yibin, Jiang Huanyu. Development of real-time recognition and localization methods for fruits and vegetables in field[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(11): 208-223. (in Chinese with English abstract)

[8] 王亮. 基于深度相机的苹果采摘机器人的目标检测和路径规划算法研究[D]. 镇江：江苏大学，2019.

Wang Liang. Research on Algorithms for Target Recognition and Path Planning of Apple Picking Robot Based Deep Camera[D]. Zhenjiang: Jiangsu University, 2019. (in Chinese with English abstract)

[9] Hu X M, Ni B W, Chai J F. Research on the location of citrus picking point based on structured light camera[C]//2019 IEEE 4thInternational Conference on Image, Vision and Computing (ICIVC). Shanghai, IEEE, 2019.

[10] Almendral K, Babaran R, Carzon B, et al. Autonomous fruit harvester with machine vision[J]. Journal of Telecommunication, Electronic and Computer Engineering, 2018, 10(1/2/3/4/5/6): 79-86.

[11] 王粮局，张立博，段运红，等. 基于视觉伺服的草莓采摘机器人果实定位方法[J]. 农业工程学报，2015，31(22)：25-31.

Wang Liangju, Zhang Libo, Duan Yunhong, et al. Fruit localization for strawberry harvesting robot based on visual servoing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(22): 25-31. (in Chinese with English abstract)

[12] 王玲，徐伟，杜开炜，等. 基于SR300深度相机的褐蘑菇原位测量技术[J]. 农业机械学报，2018，49(12)：13-19.

Wang Ling, Xu Wei, Du Kaiwei, et al. Portabella mushrooms measurement in situ based on SR300 depth camera[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(12): 13-19 (in Chinese with English abstract)

[13] Yang Q H, Chang C, Bao G J, et al. Recognition and localization system of the robot for harvesting Hangzhou White Chrysanthemums[J]. International Journal of Agricultural & Biological Engineering, 2018, 11(1): 88-95.

[14] Xiong J T, He Z L, Lin R, et al. Visual positioning technology of picking robots for dynamic litchi clusters with disturbance[J]. Computers and Electronics in Agriculture, 2018, 151: 226-237.

[15] 梁喜凤，金超杞，倪梅娣，等. 番茄果实串采摘点位置信息获取与试验[J]. 农业工程学报，2018，34(16)：163-169.

Liang Xifeng, Jin Chaoqi, Ni Meidi, et al. Acquisition and experiment on location information of picking point of tomato fruit clusters[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(16): 163-169. (in Chinese with English abstract)

[16] 陈燕，王佳盛，曾泽钦，等.大视场下荔枝采摘机器人的视觉预定位方法[J].农业工程学报，2019，35(23)：48-54.

Chen Yan, Wang Jiasheng, Zeng Zeqin, et al. Research on vision pre-positioning for litchi picking robot under large field of view[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(23): 48-54. (in Chinese with English abstract)

[17] 程诚. 基于单目机器视觉的智能车局域定位技术研究与实现[D]. 重庆：重庆邮电大学，2019.

Cheng Cheng. Study of Location of Intelligent Vehicle Based on Monocular Machine Vision[D]. Chongqing: Chongqing University of Posts and Telecommunications, 2019. (in Chinese with English abstract)

[18] 魏明鑫，黄浩，胡永明，等. 基于深度学习的多旋翼无人机单目视觉目标定位追踪方法[J]. 计算机测量与控制，2020，28(4)：156-160.

Wei Mingxin, Huang Hao, Hu Yongming, et al. Monocular vision target tracking method for multi-rotor unmanned aerial vehicle based on deep learning[J]. Computer Measurement & Control, 2020, 28(4): 156-160. (in Chinese with English abstract)

[19] Liu Z Y, Yu S Y, Zheng N N. A co-point mapping-based approach to drivable area detection for self-driving cars[J]. Engineering, 2018, 4(4): 109-133.

[20] Chaumette F, Hutchinson S. Visual servo control, Part I: Basic approaches[J]. IEEE Robotics and Automation Magazine, 2006, 13(4): 82-90.

[21] Fu L S, Tola E, Ahmad A, et al. A novel image processing algorithm to separate linearly clustered kiwifruits[J]. Biosystems Engineering, 2019, 183: 184-195.

[22] Majeed Y, Manoj K, Zhang Q. Estimating the trajectories of vine cordons in full foliage canopies for automated green shoot thinning in vineyards[J/OL]. Computers and Electronics in Agriculture, 2020, 176: ID 105671, [2020-07-26], https://www.sciencedirect.com/science/article/pii/S0168169920319049.

[23] Guo Q W, Chen Y Y, Tang Y, et al. Lychee fruit detection based on monocular machine vision in orchard environment[J/OL]. Sensors, 2019, 19(19), [2019-09-18], https://click.endnote.com/ viewer?doi= 10.3390/s19194091&route=6.

[24] 杨帆，李鹏飞，刘庚，等. 橘子采摘机器人目标识别定位方法与实验研究[J]. 西安理工大学学报，2018，34(4)：460-467.

Yang Fan, Li Pengfei, Liu Geng, et al. A new identification and location method and experiment research on a kind of orange harvesting robots[J]. Journal of Xi’an University of Technology, 2018, 34(4): 460-467. (in Chinese with English abstract)

[25] NY/T1190-2006，中华人民共和国农业行业标准柑橘等级规格[S]. 2006.

Monocular distance measurement algorithm for pomelo fruit based on target pixels change

Liu Jie1,2,3, Zhou Dianzhuo1, Li Yan1, Li Dingke1, Li Yingqi1, Rubel Rana1

(1.,430070,; 2.,430070;3.,,430070)

Accurate identification of target depth is the critical premise for the manipulator of fruit and vegetable picking in intelligent agriculture. However, the general ranging of fruit has posed a great challenge on that the orchard in the mountain areas, due mainly to the light change, as well as the branch and leaf occlusion. In this study, a novel imaging algorithm was proposed to detect the monocular distance between the pomelo fruits and camera using target pixels change. The pomelo fruit off the tree in the orchard was chosen as the samples for data collection. Multiple regression was also established to verify the number change of pixels in the target areas and imaging distance. Furthermore, the pomelo fruit on the tree was involved to test the applicability in the samples. Additionally, a systematic investigation was made to explore the influences of initial imaging distance and step interval on prediction accuracy. The specific procedure was as follows. A single camera was utilized to capture the imaging data of the sample fruit side within the imaging distance ranging from 25 to 150 cm, where the common range of picking operation was set at the step interval of 2.5 cm. Therefore, there were 51 images side for each fruit for one group of data. 20 pomelo fruits with the representative shape and size were selected for the imaging data collection, including 14 off-tree and 6 on-tree. In the pomelo fruits off the tree, the surface was equally divided into four sides, where one group of data was acquired from each side. As such, a total of 56 data groups were collected from the samples of the tree. Subsequently, the 40 data groups were randomly selected to establish the multiple regressions between the imaging distance and the number of pixels change in the target area on the image, while the rest 16 data groups were used to optimize the algorithm. In the pomelos fruits on the tree, only the side towards the outside of the canopy was shot as one sample side, where 6 data groups were collected for testing. The numbers of pixels were then measured for the target areas in the image using Photoshop software. MATLAB 2018 platform was finally utilized to calculate the regression and curve fitting. The results showed that the error of predicted distance decreased gradually, as the camera approached the fruit target from 150 to 120 cm. In the fruit samples off the tree, the accuracy of distance prediction was at the medium level closer than 130 cm at the high level of about 120 cm. The relative ranging errors of 16 samples off-tree were less than 5% within the imaging distance of 120 cm, when 150 cm was as the initial distance, indicating that an excellent detection performance of imaging distance between the target and camera. In the fruit samples on the tree, the ranging accuracies were set as 125-137.5 cm and 25.0-125.0 cm for the medium and high levels, respectively. Correspondingly, the relative ranging errors of 6 samples on the tree were less than 5% within 125 cm imaging distance, fully meeting the accuracy requirements of target positioning for the picking manipulator. In addition, there was a significant effect of initial imaging distance on the measurement accuracy. Consequently, the measurement method of monocular distance can widely be expected to realize the rapid prediction of the distance between the fruit target and camera in the complex orchard environment, especially in the hilly mountain areas. Meanwhile, the finding can also provide a feasible scheme for the accurate recognition of fruit targets for picking manipulators in modern orchards.

algorithms; orchard; identification; monocular distance measurement; number of pixels; imaging distance; multiple regression

刘洁，周典卓，李燕，等. 基于目标像素变化的柚果单目测距算法[J]. 农业工程学报，2021，37(19)：183-191.doi：10.11975/j.issn.1002-6819.2021.19.021 http://www.tcsae.org

Liu Jie, Zhou Dianzhuo, Li Yan, et al. Monocular distance measurement algorithm for pomelo fruit based on target pixels change[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(19): 183-191. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.19.021 http://www.tcsae.org

2020-11-29

2021-08-26

国家重点研发计划（2018YFD0701105-2）；中央高校基本科研业务费专项基金资助（2662020GXPY011）

刘洁，博士，副教授，研究方向为生物信息智能检测与控制技术。Email：liujie@mail.hzau.edu.cn

10.11975/j.issn.1002-6819.2021.19.021

S24

A

1002-6819(2021)-19-0183-09