基于机器视觉的黄瓜等级自动判别研究

付 彤， 雷金辉

(昆明理工大学信息工程与自动化学院，云南昆明 650500)



基于机器视觉的黄瓜等级自动判别研究

付 彤， 雷金辉*

(昆明理工大学信息工程与自动化学院，云南昆明 650500)

通过机器视觉研究黄瓜的形态特性，建立黄瓜量化分级评判标准，并总结出提取黄瓜特征值的理论算法。用Matalb软件实时采集读取CCD摄像机视频图像，再利用Matlab图像处理功能对采集到的图像进行图像滤波、图像分割处理，提取基于数学理论的表征黄瓜等级的特征值，建立人工神经网络的等级判别模型，训练神经网络，并进行泛化检测。结果表明，该等级判别模型的精度高达91.7%，具有一定的市场价值。

特征值；CCD摄像机；图像分割；人工神经网络

黄瓜的筛选是产后处理的一个重要环节[1]。目前，我国尚未形成工业化的农作物产后处理体系。相较人工筛选，工业化的智能筛选具有客观、高效率、不造成机械损伤、自动分级拣选等优点[2]。因此，研究对黄瓜等级进行自动判别具有极大的现实意义和社会经济价值。从国内外的研究现状来看，主要采用图像处理技术及机器视觉等方法。如Ariana等[3]采用高光谱图像检测了黄瓜收获中的机械损伤，发现950～1 350 nm波段最适合黄瓜的机械损伤检测；王红永等[4]提出了对黄瓜等级判定的理论分析。

从国内外的研究现状来看，目前对于黄瓜的自动化分类仍处于理论研究阶段，主要依赖于黄瓜的长度、宽度、弯曲度来划分其优劣[5-6]。笔者在现有的基础上，综合机器视觉、神经网络等方法，以黄瓜的6个一般特征值及一个加权特征值为分类依据，实现对黄瓜的自动化分类，并通过试验验证了该方法的可用性和准确性。

1　总体研究方案

该研究主要分3个步骤进行，研究方案流程见图1。

(1)图像理论分析阶段。基于图像处理技术，对黄瓜进行图像采集、图像分割等处理，得到试验所需要的黄瓜图像。

(2) 特征模型建立阶段。对黄瓜6个基础特征值及一个加权特征值进行提取，再通过BP神经网络的训练，进行黄瓜特征模型的分级。

(3)试验结果验证阶段。将BP神经网络的输出节点得到的结果与人工筛选黄瓜的结果进行对比，对试验结果进行验证和分析。

图1　基于机器视觉的黄瓜等级自动判别研究方案流程Fig. 1　Research plan process of automatic identification of cucumber level based on machine vision

2　图像理论分析

2.1图像采集 黄瓜的自动分级处理研究的核心是基于机器视觉的计算机图像处理技术[7]。图像采集则是整个研究试验的基石工程，图像本身的质量与特点将会影响图像处理过程的难易程度和处理数据的真实性。试验中，模拟工业自动化中物品传送带传输模式，实时记录移动过程中的黄瓜视频，选取特定位置处的一帧黄瓜图像作为后续处理的源图像。最大限度模拟实际生产中图像采集过程，以保证图像信息的真实性和实用性。

图像处理时需要通过图像阈值对采集到的图像进行图像分割[8]，所以在拍摄中要选择的合适的照明装置，避免光源的强度和光色使图像产生高光点或者区域性失真，适宜选用光色偏暖的白色光源，试验选用4 W的白色荧光灯。在布置光源时，在拍摄箱内部的4个顶角处各安装一个白色荧光灯，来避免在背景上留下黄瓜的影子。CCD摄像头则安装在采集箱的顶部，高度可以上下调节，保证拍摄到的黄瓜图像没有暗点及高光点的效果。

对黄瓜RGB图像3个通道的数据分析结果见图2。由图2可知，一般黄瓜图像的R、G、B这3个通道的像素值均在170以下。黄瓜图像的绿色像素值最大，为获得目标区域与背景颜色差异较大的原图像，背景色宜选择红色(红色为绿色的补色)，实物标定标尺选用蓝色。图像各区域颜色差异较大，为图像分割处理降低难度，分割出来的图像效果也很好。

图2　黄瓜RGB图像的3个通道数据分析结果Fig. 2　Analysis results of the three passages data of cucumber RGB image

2.2图像分割拍摄到的图像可以分为3部分：黄瓜图像、标尺图像和背景图像[9]。黄瓜图像是提取图像特征参数的主体部分，标尺是用来检测判定黄瓜实际长度基准线，所以要将这2部分从原图像中分割出来，以用于后续的图像特征参数提取。

采集到的图像中黄瓜区域以绿色为主，背景区域为红色，标定物则是选择蓝色。分析RGB彩色图的G通道直方图可知，像素值高的部分对应图中黄瓜区域，背景与标定物区域则像素较低；同样，RGB彩色图的R通道中像素高的部分对应图中背景区域，低像素部分则为黄瓜与标定物区域。根据图像中具有的这种特殊性，该研究以双峰法为基础对黄瓜RGB彩色图的R、B单色通道进行图像分割，其优点在于方法简单，效果明显。再通过旋转算法，得到标准的二值黄瓜图形。具体步骤如下。

(1)图像分割。通过双峰法，将黄瓜图像和标尺图像从整体图像中分割出来[10]，结果见图3。

图3　基于双峰法的黄瓜图像和标尺图像分割效果Fig. 3　Segmentation effects of cucumber image and scale image based on two-peak method

(2)图像旋转。图像采集时，黄瓜位置是随机的，而且黄瓜本身就存在不同程度的弯曲[11]。基于此种情况，在提取黄瓜特征参数之前，需要在不影响黄瓜形态特征的前提下，移动旋转黄瓜目标区域，方便后续特征参数提取。作黄瓜区域对应图形的最小外接矩形，计算出二值图像外接矩形的长宽，根据预定设计求出较长边与图像坐标轴的角度，该角度即是图像旋转角度。矩形的边长可以根据两点间的直线距离公式求得：

(1)

矩形4个角的坐标保存在rectx、recty中。设计中要保证矩形的长边与图像的纵坐标平行，故要求取长边所在直线的斜率，斜率公式为：

k=(y1-y2)/(x2-x1)

(2)

然后进行反三角运算，公式为：

α=arctan(k)

(3)

以此将任意的黄瓜图像旋转至标准图像(图4)。

图4　旋转后的黄瓜二值图像Fig. 4　Binary image of cucumber after rotation

3　黄瓜特征模型的建立

3.1黄瓜模型特征值的提取黄瓜属于长型瓜果，其特征描述较为复杂，由实际长度、宽度、弯曲度、均匀度组成，其中均匀度和弯曲度是其极为关键的判别标准[12-14]。计算机无法直接对其图像进行判别和分类，必须从图像中抽离参数，建立黄瓜轮廓特征模型。黄瓜特征参数提取的操作步骤如下。

(1)如图5，黄瓜径向长度为H，分别求取径向长度为0.2H、0.3H、0.5H、0.7H、0.8H处的5个点，并求取这些点对应的黄瓜的横向宽度值，分别为W1、W2、W、W3、W4。由图5可知，0.5H为黄瓜的径向长度中间点，可以设定该点对应的黄瓜宽度W作为黄瓜自身宽度均匀性判别的参考值，通过与其他点宽度求取比值确定整个黄瓜粗细均匀度的特征参数。

图5　黄瓜横向宽度示意Fig. 5　Schematic diagram of horizontal width of cucumber

对二值图像对应的数组进行数学运算，找出特定行的最大和最小列值，并求取差值，该差值即为该点对应的黄瓜宽度，类推求取多点处的宽度后再进行比值运算得到：

F1=W1/W;F2=W2/W;F3=W3/W;F4=W4/W

(4)

根据公式(4)计算得到反映黄瓜整个宽度均匀性的特征参数。

(2)提取出黄瓜二值图像中位于两边边缘中心处的所有点，这些点描绘出的图形即可反映出黄瓜弯曲度[15]。如图6，分别在0、0.25H、0.50H、0.75H、1.00H处取点为A、B、C、D、E。求取AB、BC、CD、DE、AE5段几何距离，通过这几段几何距离的比值就可得到黄瓜弯曲特征值参数。通过数学运算处理能分别求出L1、L2、L3、L4、L，而设定黄瓜的弯曲特征参数为：

F5=L/(L1+L2+L3+L4)

(5)

黄瓜的粗细特征参数为：

F6=W3/(L1+L2+L3+L4)

(6)

根据公式(5)、(6)可以得到判定黄瓜等级的特征值。

图6　黄瓜弯曲特性测取示意Fig. 6　Schematic diagram of bending properties of cucumber

3.2BP神经网络分级模型的建立该研究属于分类问题，使用BP算法的神经网络处理这类问题非常方便，鉴于此，研究中使用了BP神经网络训练分级模型，BP神经网络分级示意见图7。

该研究选择2层的BP网络，为了减少网络规模，增加了一个隐藏层。其输入节点数为特征参数数量所决定，即为6个，所以输入端为一个6N的向量，N为训练时样本图像数量。经过试验，隐藏层节点数为10个时，系统的分层效果较好，输出层的节点为2个(用于表示3种等级状态)，如图8所示。对应将黄瓜划分的3个等级(优等品、一等品、二等品)，用二维数组[0;1]、[1;0]、[1;1]分别表示它们的神经网络输出口。

图7　神经网络分级示意Fig. 7　Schematic diagram of neural network classification

图8　黄瓜分级神经网络结构Fig. 8　Structure of neural network of cucumber classification

基于BP网络分类的神经网络训练的标准是参考《中华人民共和国农业行业标准》(NY/T 1587-2008)黄瓜等级规格而分级定位的，见表1。

神经网络是由人工挑选出的30根，并均分为优等品、一等品、二等品三类的样本黄瓜特征参数所训练而成的。在神经网络的基础上，为了保证试验结果的精确性，必须加入黄瓜实际长度这个特征参数。因此，运用加权算法原理，得到最终的判定标准。

表1　黄瓜等级分类标准

4　试验结果验证

神经网络以及整个设计系统的性能需要通过实际应用来评定。重新选择12根黄瓜，用作系统测试的样本。这12根黄瓜中经过人工的分类情况为：优等品3根，一等品3根，二等品6根。12根待分级黄瓜特征数据见表2。

表3是系统自动分级和人工分级结果的比较。由表3可知，人工分级的一等品第3根黄瓜由于比较均匀，弯曲度小，被计算机认为是优等品；其他判定结果都一致。总体来看，根据果实均匀性的特征参数、果实的弯曲特征参数、果实的粗细特征参数和果实的实际长度7个特征参数能完成对黄瓜的等级判别，其分级精度平均可达91.7%。产生误差的主要原因在于神经网络的训练样本不足。

表2　带分级黄瓜的特征数据

注：L5为黄瓜实际长度。

Note:L5was the actual length of cucumber.

5　结论

该研究综合应用了图像处理知识、神经网络理论，通过图像分割、图像特征参数提取，建立了模型识别的BP神经网络系统，并进行了验证，得到了以下结论。

(1)基于黄瓜的外形特征参数，用BP神经网络系统来进行模型识别，是可行的，其结果与人工分类相比，准确率高达91.7%。增加系统模型训练的输入样本参数，其准确率将会进一步提高。

(2)实际操作中要保证图像采集时光照均匀、色温适中，使图像能最大程度地反映黄瓜真实颜色，提高判别结果的准确度。

表3自动分级结果与人工分级结果比较

Table 3Comparison between automatic classification result and artificial classification result

序号Code判定输出值Outputvalueofident-ification自动判定分级结果Classificationres-ultsofautomaticidentification人工判定分级结果Classificationres-ultsofmanualidentification11优等品优等品21优等品优等品31优等品优等品42一等品一等品52一等品一等品61优等品一等品73二等品二等品83二等品二等品93二等品二等品103二等品二等品113二等品二等品123二等品二等品

[1] 张宏军，于建新.温室黄瓜早衰与再生根的培养[J].当代蔬菜,2006(12)：34.

[2] 应以斌, 饶秀勤, 赵匀,等. 机器视觉技术在农产品品质自动识别中的应用[J]. 农业工程学报, 2000, 16(1):103-108.

[3] ARIANA D,LU R．Detection of mechanical injury on pickling cucumbers using near-infrared hyper spectral imaging [J].Computer and electronics in agriculture, 2006, 53:60-70.

[4] 王红永,曹其新,刘文秀,等.基于神经网络的黄瓜等级判别[J].农业机械学报，1999,30(6)：83-88.

[5] 袁挺,张俊雄,李伟,等.基于机器视觉的非结构环境下黄瓜目标特征识别[J].农业机械学报，2009(8)：170-174.

[6] 冯青春,袁挺,纪超,等.黄瓜采摘机械臂结构优化与运动分析[J].农业机械学报,2010(S1):244-248.

[7] 方如明．计算机图像处理与米的品质检测[J]．农业工程学报，1992，8(3):2299-2308.

[8] 李峥嵘,刘晓平,李自元,等.图像分割多阈值法研究[J].CT理论与应用研究，2006(4)：13-17.

[9] 张鹏,秦志伟,王丽莉,等.黄瓜果实弯曲性遗传分析[J].东北农业大学学报，2010(1)：29-33.

[10] 许晓丽,卢志茂,张格森,等.改进近邻传播聚类的彩色图像分割[J].计算机辅助设计与图形学学报,2012,24(4):514-519.

[11] 赵静,何东健.果实形状的计算机识别方法研究[J].农业工程学报,2001,3(2):165-167.

[12] 张书慧,陈晓光,张晓敏，等.苹果、桃等农副产品品质检测与分级图像处理系统的研究[J]．农业工程学报，1999，15(1)：201-204.

[13] 黄星奕,吴守一,方如明，等．计算机视觉技术在大米胚芽识别中的应用[J].农业机械学报，2000，31(1)：62-65.

[14] 应义斌,景寒松，马俊福.利用计算机视觉进行黄花梨果梗识别的新方法[J].农业工程学报，1998，14(2)：221-225.

[15] 王贺,白廷柱.基于直觉模糊集的红外图像伪装评价研究[J].红外技术，2012(3):181-184.

Automatic Identification of Cucumber Level Based on Machine Vision

FU Tong, LEI Jin-hui*

(College of Information Engineering and Automation, Kunming University of Science and Technology, Kunming, Yunnan 650500)

Based on machine vision, morphological characteristics of cucumber were researched. Cucumber quantitative classification criteria were established. Theoretical algorithm of cucumber extraction eigenvalue was summarized. Matalb software was used to collect and read CCD camera video image. Image filtering and image segmentation of collected images was carried out by Matalb image processing function. Eigenvalue characterized the cucumber level was extracted based on mathematical theory. Level discriminant model of artificial neural network was established. The neural network training and testing were carried out. Results showed that the precision degree reached 91.7% and the model was of certain market value.

Eigenvalues; CCD camera; Image segmentation; Artificial Neural Networks

付彤(1992- )，男，四川达州人，硕士研究生，研究方向：农业信息化与自动化。*通讯作者，教授，硕士生导师，从事信息工程与自动化研究。

2016-04-30

S 5-39

A

0517-6611(2016)16-256-05