基于RGB图像的香梨体尺参数测量方法

张润芝 吴刚

(塔里木大学信息工程学院，新疆 阿拉尔 843300)

引言

香梨的体尺参数一定程度上反映了香梨的等级，不同等级的香梨可分级定价销售，提高香梨的经济价值。因传统的接触式测量[1，2]存在效率低、不准确等诸多问题，非接触式测量方法得到飞速发展。翟鹏[3]采集葡萄不同时期的果实图像，利用机器视觉及图像处理，计算了葡萄果实不同生长时期的表型参数。申爱敏等[4]利用图像处理的方法，通过阈值分割得到了核桃仁的分割图像，采用像素统计方法得到核桃仁的面积，实现了核桃仁大小分级。郭俊先等[5]通过分析提取苹果RGB图像中单色、波长差等信息，利用形态学方法处理图像，提取了目标区域几何、灰度和色调频度等特征，采用多元线性和偏最小二乘回归预测了苹果的质量和糖度等指标。

为了实现快速准确获取果实的体尺参数信息，本文以香梨作为研究对象，对基于RGB图像的香梨体尺参数测量方法进行研究。采用图像处理的方法和机器学习技术，获取香梨果实的长、直径、体积，使用Kinect相机获取香梨的RGB图像，通过兴趣域选取、透视矫正、图像分割等步骤获取香梨果实的边缘图像，用最小外接矩形法得到香梨果实长和直径的像素数，并和通过标定板计算出的像素实际大小相乘计算出长、直径真实大小；利用SVR、决策树回归模型以香梨果实长、直径为输入，预测果实的体积。

1 香梨图像处理

1.1 兴趣域的选取

通过Kinect采集的原始香梨RGB图像不仅包含香梨果实，还包含标定板、背景等，过多的冗余信息会导致图像分割的结果不理想，因为图像处理技术对环境要求较高，故需要剔除冗余的背景，将注意力集中在有用信息上。使用MATLAB自带的“getrect”函数可以选择兴趣域，使用“imcrop”函数截取兴趣域。

1.2 图像的透视矫正

由于Kinect在安装时并不能完全竖直向下，所以拍摄得到的照片呈现在人们眼前时是失真的，此时就需要透视矫正，呈现出来的效果就是使图像里存在的线条横平竖直。透视矫正还有一个作用就是使后续检测香梨表型参数时更加准确，因为Kinect不是竖直向下拍摄的，所以拍摄的标定板和香梨每个像素点所对应的实际大小是不一样的，因此后续计算香梨长度、直径等参数时误差会增加。为简化后续计算香梨长度、直径的算法，若感兴趣的区域只有A3纸所在的区域，减少背景对在此进行角点检测。将兴趣域选取和透视矫正同时进行。检测到标定板A3纸的4个角点后，形成一个矩形框，对矩形框内的区域进行透视矫正并截取此区域内的图像。

1.3 图像分割

图像分割的目的是将图像中所需要的某部分整体分割出原图像，常见的图像分割方法有阈值分割法、区域分割法、边缘分割法和直方图法。其中，阈值分割法是根据灰度阈值将原灰度图像分成若干个区域的技术，适用于欲分割区域和其他区域的灰度值差异较大。优点是计算简单、效率高。边缘分割法是根据物体和背景的灰度值突变和不连续来识别和分割的，通过不同的滤波器来检测这种突变和不连续就构成了不同种类的边缘检测算法。

阈值分割方法中常用Otsu(最大类间方差法)，通过聚类将灰度图像分为2块，香梨和背景的灰度值差别较大，适合使用Otsu方法进行图像分割。

边缘分割算法中常用Canny算子进行边缘检测，首先利用高斯滤波降低噪声，防止虚假边缘；计算图像的梯度和梯度方向；对梯度图像应用非极大值抑制；使用双阈值处理和连通性分析来检测与连接边缘，最后填充最大连通块的内部。

本文图像分割使用Otsu算法和Canny算子，对比2种方法的效果，图1为分割后的香梨图像。图1a可以看出，Otsu算法对香梨边缘的识别较好，香梨顶端的凹陷更加明显，但是香梨中间有孔洞，Canny算子对香梨边缘的提取能力较弱，但是香梨中间没有孔洞。虽然Canny算子对边缘的处理能力稍弱，但对后续香梨尺寸参数的计算影响不大，为了减少后续的处理过程，选用Canny算子做边缘分割并填充内部区域的方法。

2 香梨长、直径和投影面积的测算

2.1 像素点长宽的实际大小计算方法

现实世界里的事物被CCD相机拍摄生成图像，图像和真实物体存在映射关系，若想知道真实物体和图片中物体的映射关系就需要知道像素点实际的大小。计算像素点实际大小有多种方案，如通过相机的外部参数、利用标定板等，为了方便实验设计和实现，选择利用标定板的方案计算像素点的大小。

实验背景板选择的A3纸，通过角点检测和透视校正并裁剪后，A3纸和放置于A3上的香梨同步变换为相机竖直向下拍摄时所成的像。A3纸的大小已知，图像的分辨率也已知，分别用A3纸的长、宽大小除以图像长像素的个数、宽像素的个数，即可计算出图像像素点所对应的实际大小，计算公式为式(1)。通过图像分割已经得到A3纸图像的分辨率，带入式(1)得到像素长的实际大小为0.886mm，像素宽的实际大小为0.853mm。

(1)

式中，S表示单个像素所对应的实际面积大小；Pl表示在当前安装高度和角度下A3纸图像长的像素个数；Pw表示在当前安装高度和角度下A3纸图像宽的像素个数。

2.2 香梨尺寸参数的估计方法

通过彩色图像计算香梨的尺寸参数主要通过计算香梨尺寸像素的个数后与像素对应的实际大小相乘，计算出各尺寸参数的实际大小。如何计算香梨图像尺寸参数的像素点个数是本节的重点。采用最小外接矩形法获取香梨果实的长与最大直径，而最小外接矩形是通过最小面积外接矩形和最小周长外接矩形2种方案求得。本文选择最小面积外接矩形法，通过边缘检测找到香梨的边缘区域生成一个外接矩形，记录当前矩形的面积，然后旋转一定的角度，重新生成外接矩形并记录矩形面积，重复上述的步骤旋转一圈后，比较各矩形面积的大小，选择面积最小的矩形作为香梨的最小外接矩形，矩形的长即为香梨的长，矩形的宽为香梨的最大直径。提取的香梨最小外接矩形。

2.3 香梨长度与直径测算结果分析

相机安装在600mm处向下拍摄，分别采集了25个香梨的彩色图像，通过彩色图像估测了香梨的长度，计算香梨长度的估测误差，结果如表1所示。运用数值分析对预测值与真实值进行线性回归，如表1所示为香梨长度的估测结果，通过计算得到R2(拟合度)，其取值范围为0～1，值越大说明拟合效果越好。另计算RMSE(均方根误差)值，表示预测值与真实值之间的偏差，这个值越小说明测量方法的误差越小。

估测香梨直径的方法与估测长度的方法一致，真实值与估测结果如表1所示。运用最小二乘法对香梨直径的估测值与真实值进行线性回归分析，香梨长度的估测值和真实值相关性很好，R2为0.91。而RMSE为1.87mm，说明估测值的平均误差不是很大，香梨直径的估测值和真实值相关性较好，R2为0.71，而RMSE为1.94mm，说明估测值的平均误差很小。香梨长与直径的RMSE基本一致，说明估测值误差的偏离程度一样，但长度估测值的回归性更好，因为像素点长宽的实际大小接近，但是香梨的长度要明显大于香梨的直径，香梨长度估测值的相对误差要小于香梨直径估测值的相对误差，故香梨长度的估测值与真实值相关性更好。通过表1可以计算出，香梨长测量值的平均相对误差为2.3%，香梨直径测量值的平均相对误差为3.1%，通过二者的平均误差也反映出香梨长度测量值的回归性要更好。

表1 香梨长与直径测量值与真实值对比分析

3 香梨体积预估

香梨的体积与香梨的长和直径呈正相关，但关系非常复杂，因此将香梨的长和直径作为输入建立香梨体积模型，对香梨的体积进行预估。

3.1 基于SVR的香梨体积预估

支持向量机(SupportVectorMachine，SVM)是一种经典的分类算法[6，7]，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本数量较少的情况下，也能获得良好的统计结果的目的。支持向量机最初用来解决二分类问题，即通过一个超平面把数据分为2类，使得2类样本到该超平面的距离最大。在实际中，经常会遇到线性不可分的样例，这种情况下经常将原始数据映射到高维空间从而实现数据可分，这种方法就是核函数。经过不断的演变，支持向量机不仅局限于解决分类问题，扩展后的支持向量机可以解决回归问题，这就是支持向量回归(SupportVectorRegression，SVR)[8]。

本文采用MATLAB内置“fitrsvm”函数来训练模型，随机选取100个香梨作为训练集，测量其真实的长、直径作为输入，测量真实体积作为labels(标签)，剩下25个香梨作为测试集。测试结果如图2所示。

图2 SVR模型的香梨体积预测结果

3.2 基于决策树回归模型的香梨体积预估

决策树回归模型是一种基于决策树算法的回归模型。其通过构建一棵决策树来对输入数据进行建模和预测。与分类问题中的决策树类似，决策树回归模型也是一种基于树形结构的模型，其中每个叶节点都对应着一个回归函数，用于预测该叶节点上的样本的输出值。

在决策树回归模型中，决策树的构建过程与分类问题中的决策树算法类似，但是每个节点的划分准则不再是信息增益或者基尼系数等分类准则，而是针对连续值的回归准则，通常使用均方误差(MSE)或平均绝对误差(MAE)等作为划分准则。具体来说，对于一个给定的节点，选择一个特征和一个阈值，将数据集分为2部分，使得每部分数据的输出值的方差尽量小，然后递归地对分裂后的子节点进行同样的处理，直到满足某个停止条件为止，如树的深度达到预设的最大值或者节点包含的样本数达到一个阈值等。

本文采用MATLAB内置“fitrtree”函数来训练模型，随机选取100个香梨作为训练集，测量其真实的长、直径作为输入，测量真实体积作为labels(标签)，剩下25个香梨作为测试集。测试结果如图3所示。

与基于SVR模型的香梨体积预估结果进行对比分析可以发现，决策树回归模型的预估体积的R2更大、RMSE更小，说明，基于决策树回归模型的香梨体积预估效果更好。

4 结论

本文主要阐述了通过RGB图像和机器学习获取香梨的长度、直径和体积的方法，通过实验验证该方法的准确度，并对实验结果进行分析，主要内容如下。

原始图像拍摄背景较为复杂，不利于后续图像处理的进行，对原始图像进行兴趣域选取，去除杂乱的背景。

对兴趣域内的图像进行透视矫正，并截取A3纸内的图像，透视矫正后的A3纸及其内部的区域可看作Kinect相机竖直向下拍摄得到的，针对透视矫正后的图像利用Canny算子边缘检测并填充最大连通域内部分割出香梨果实的图像。

对香梨果实图像做最小外接矩形检测，得到的最小外接矩形长即为香梨的长、矩形的宽为香梨的直径，然后根据A3纸的大小和透视矫正后图像的分辨率计算单个像素所对应的实际长宽大小，将香梨长度的像素个数和直径的像素个数分别乘上像素实际长宽的大小就计算出香梨的长和直径。实验结果表明，Kinect安装在600mm处时，香梨果实长测量值的R2为0.91，RMSE为1.87mm，平均相对误差为2.3%，香梨果实的直径测量值的R2为0.71，而RMSE为1.94mm，平均相对误差为3.1%。

对比分析了基于SVR模型和决策树回归模型的香梨体积预估方法的效果，采用SVR模型香梨体积预估值的R2为0.45，RMSE为18.47mL，采用决策树回归模型香梨体积预估值的R2为0.75，RMSE为12.07mL，故决策树回归模型的香梨体积预估效果优于SVR模型。