基于机器视觉的橘子分级系统关键技术

2023-12-18胡璐萍刘懂懂王琪璇陈荣荣

农业技术与装备 2023年11期

胡璐萍，刘懂懂，刘通，王琪璇，陈荣荣

（1.西安交通工程学院机械与电气工程学院，陕西西安 710300；2.西安工程大学机电工程学院，陕西西安 710048）

目前，农村大多数中青年外出务工，留在农村的可用劳动力越来越少，农忙季节，尤其是各种水果收摘季节，用于水果分级、分类的可用劳动力明显不足，导致水果生产成本上升，水果业发展受阻。因此，研发水果自动分级技术，提升水果分级效率显得尤为重要。伴随着光电技术的发展，机器视觉技术快速兴起[1，2]，机器视觉技术已开始代替人工对物体进行识别和分级[3，4]。在早期的研究中，人们使用黑白相机采集、获取水果表面的几何和纹理特征，进而实现水果和背景的分割检测。Slaught D.C等利用室外条件下水果颜色数字化图像建立的识别柑橘分类模型，识别正确率达76%[5]。近年来，机器视觉技术快速发展，Khurram Hameed 等研究了基于计算机的果蔬分类方法，该方法虽然运算速度快，识别准确率高[6]，但传统的RGB图像在识别水果图像时鲁棒性差、识别精度低，达不到理想的分级目的。基于此，本文提出了一种基于机器视觉对橘子进行分级的关键技术，从而形成一套机器视觉橘子分级系统，为精准分检水果提供技术支持。

1 机器视觉橘子分级系统

机器视觉橘子分级系统的整体方案可分为视觉检测模块和传送装置模块两大内容[7]，其中视觉检测模块所需的硬件主要有光源、相机、镜头、电机、传送带和图像采集卡等；传送装置模块主要是传送带的选取以及电动机的速度控制。操作系统为Windows 10，软件环境为MATLAB 2020a，以此来建立图像处理算法库。

机器视觉橘子分级的流程见图1。从图1 可以看出，首先，采用高分辨率的摄像机来拍摄传送带上的橘子图像，然后利用相应的软件算法对橘子的图像特征进行识别，把橘子目标的分级数据和位置信息传递给数据库，最后得到橘子的识别、分级数据。基于机器视觉橘子分级流程构建的橘子分级实验平台见图2。该实验平台的图像检测速度为250 ms，传送带行进速度不超过1.6 m/s。

图1 机器视觉橘子分级流程图Fig.1 The key technology of orange size fruit grading

图2 橘子分级系统实验平台Fig.2 Experimental platform of orange grading system

2 橘子图像预处理

2.1 图像灰度化

通过相机拍摄到的原始橘子图像见图3（a），为了避免图像对比度不足对后续处理带来干扰，本文采用灰度化将原始彩色图像的3 通道转换成只有单一通道的灰度图，使其像素的灰度值分布在[0,255][8，9]。分别采用最大值法、平均值法和加权平均值法3 种灰度化进行处理，处理结果见图3（b）、图3（c）、图3（d）。

图3 灰度化处理效果图Fig.3 Figure gray processing effect diagram

由图3 可以看出，经过算法处理后，3 种方法均有一定的处理效果，但加权平均值法处理效果较好，试验和理论证明，当W＝0.3、V＝0.59、U＝0.11 时，能得到最合理的灰度图像，可调节的能力强，其原因是根据橘子图像中特征信息的重要性，给图像中R、G、B赋予不同的权值，并使R、G、B的值加权平均，R=G=B=WR+VG+UB，其中W、U和V分别表示权重。因此，本文采用加权平均值法灰度化原始图像。

2.2 图像二值化

为了更好地分析图像特征，需要将图像中目标区域和背景很好地分割开，对灰度化处理的橘子图像进行二值化处理[10]，将图像上的点的灰度设置为0 或255，即图像呈现出明显的黑白效果。为了得到理想的二值图像，一般采用封闭、连通的边界定义不交叠的区域，所有灰度大于或等于阈值的像素被判定为属于特定物体，其灰度值为255。橘子二值化处理后的图像见图4。

图4 二值化处理后的图像图Fig.4 Image after binarization

2.3 图像形态学处理

橘子图像在经过灰度化和二值化图像预处理之后，仍然存在一些噪声没有得到有效处理，此时需要进行图像的形态学处理，有效地滤除噪声。常见的图像形态学运算有腐蚀和膨胀2 种[11]。本文采用开运算对橘子图像进行形态学处理，即先腐蚀橘子图像，而后膨胀橘子图像，处理效果见图5。

图5 形态学处理效果图Fig.5 Morphologic processing renderings

3 橘子大小判别试验

橘子的大小可以用轮廓的周长来表示。运用等效圆的方法计算出橘子轮廓的周长后，可以找到一个和该周长相等的一个直径，则把该直径看作是橘子的直径大小。把橘子的直径换算为像素，就可以根据对应的橘子大小分级标准对它的大小进行相应的分级。根据《鲜柑橘》（GB/T 12947—2008）国家标准，橘子的分级标准见表1。

表1 橘子果径的分级标准Tab.1 Grading standard for orange fruit diameter

随机挑选大小不同的橘子，用相机拍摄图像。由表1 可以得到大小果的分级阈值，根据该阈值可以进行相关的分级处理。

3.1 连通区域标记

找到感兴趣的颜色区域后，需要在原图中把识别到的结果框定出来。先将指定的颜色区域提取出来放到白色背景中，二值化处理后，颜色区域为黑，背景区域为白；然后二值图像取反，此时连通区域[12]即是颜色区域；最后用rectangle函数标记出连通区域，在原始图片中框定识别到的橘子目标。

3.1.1 外接矩形原理

外接矩形是指使用图像区域的外接矩形表示该图像区域。这种方法是使用区域的最小外接矩形表示该区域的。

3.1.2 外接矩形的实现

在MATLAB 中可以使用regionprops 函数来得到图像区域的最小外接矩形，函数的使用形式如式（1）：

函数返回值Z为Cx1 的结构体数组，C为图像中连通域的数目，每个结构体都有一个名为boundingbox 的域，域中有4个数值，前2个数值分别表示最小外接矩形左上角的x，y坐标，后2 个值分别表示外接矩形的宽度和高度。橘子的识别结果见图6。

图6 橘子果形识别过程Fig.6 Fruit shape recognition process of orange

3.2 橘子周长与面积求取

在绘制最小外接矩形时可以得到最小外接矩形左上角的x、y坐标，以及外接矩形的宽度和高度。则计算图像的形心坐标( )

X,Y的公式为：

式中：D为最小外接矩形的宽度，cm；H为最小外接矩形的高度，cm。

3.3 试验过程

3.3.1 算法检测数据和人工测量数据对比分析

为了验证本文算法的可靠性，将算法检测的数据和人工测量出来的实际橘子数据进行对比，利用实验室平台拍摄试验样本图像，部分示例样本视觉检测结果见图7。

图7 视觉检测示例效果图像Fig.7 Visual inspection example effect image

从图7（a）中可以看出，共有1个目标果实，用最小外接矩形框定目标区域，周长19.786 8 cm、面积20.640 5 cm2；图像7（b）中共有3 个目标果实，用最小外接矩形框定目标区域，编号分别为1、2、3，其中1 号目标果实周长20.929 7 cm、面积22.588 1 cm2；2 号和3 号目标果实的特征参数信息描述方法等同于1 号果实，具体见图7 中（b）部分。为了进一步验证本算法处理结果的准确性，将本试验结果与人工检测结果对比分析，对比分析结果见表2。

表2 试验结果与人工测量数据对比分析Tab.2 Comparative analysis of experimental results and manual measurement data

通过对表2中数据的分析，可见使用本算法检测的周长、面积和人工检测的结果基本一致，周长最大误差在0.2 cm 以内，面积最大误差在0.3 cm2以内。因此，可以使用本算法所得到的数据代替人工进行橘子的识别和分级。

3.3.2 橘子大小分级试验分析

为了验证本文所设计的橘子分级系统算法对橘子大小分级的准确性，分别随机选用橘子大果、中果和小果各10个，进行试验处理来验证算法的准确性，最终的试验结果见表3。

表3 橘子大、中、小果检测结果Tab.3 Large,medium and small fruit test results of orange

对大小分级中3 组试验的效果进行综合分析，分析结果见表4。

表4 大小分级3组试验综合效果分析Tab.4 Comprehensive effect analysis of three groups of experiments with size grading

由表3 和表4 中可知，橘子大果和小果的分级准确率均为100%，可以满足分级要求。只是中果的分级准确率为90%，其原因是3 号果实计算机判断为中果而人工判断为大果，出现该现象的原因是3 号橘子的直径接近大果和中果的分界处，计算机是严格根据检测得到的数据进行判断，而人工则是用肉眼来进行判断，人工的判定结果误差较大。综合3 组试验的分级准确率为96.7%。由此可见，本文所设计的橘子分级系统满足橘子大小分级的要求。