基于形态学边缘检测的枸杞外部缺陷识别方法

陈　璞，刘立波

(宁夏大学 数学计算机学院，宁夏 银川 750021)

基于形态学边缘检测的枸杞外部缺陷识别方法

陈璞，刘立波

(宁夏大学 数学计算机学院，宁夏 银川 750021)

摘要：在基于机器视觉技术的枸杞外部缺陷识别过程中，样品数量过多且摆放密集，导致边界阴影与外部缺陷相互混淆，从而影响了识别的准确性。针对此问题，提出一种基于形态学边缘检测的枸杞外部缺陷识别方法。首先，通过二值化进行背景分割，提取存在边界阴影的果实图像。然后，以改进的自适应形态学梯度算子提取精确果实边界，进而对其填充并与样本图像做差运算，去除边界阴影。最后，对图像去噪并增强对比度，通过二值化筛选缺陷部位完成识别。实验结果表明，提出的方法正确率达到90%以上。该方法满足枸杞外部缺陷识别的实际需求，为进一步进行枸杞质量评价提供了有利条件。

关键词：枸杞外部缺陷；边界阴影；缺陷区域识别；形态学边缘检测

中图分类号：TP391.9

文献标志码：码：A

文章编号：号：2095-4824(2015)06-0032-06

收稿日期：2015-09-02

基金项目：国家自然基金项目(61363054)

作者简介：陈璞(1990-)，男，河南信阳人，宁夏大学数学计算机学院硕士研究生。

Abstract：In the recognition of the wolfberry appearance defects based on the technology of machine vision, samples are excessive and intensive, which causes a mutual confusion between border shadow and defect region and accordingly affects the recognition accuracy. To solve this problem, this paper puts forward a recognition method for wolfberry appearance defects by edge detection of morphology. Firstly, the binarization is applied to segment the background and extract the fruit region with boundary shadow. Secondly, a modified adaptive morphological gradient operator is used to obtain the precise boundaries of fruit. Thirdly, different operation is performed between the filled image and the sample image to extract precise fruit image for removing the boundary shadow. Finally, the resultant image is denoised and enhanced to improve its contrast. And the binarization is used to locate the appearance defects region for its recognition. The experiment results indicated that the correct rate is above 90%. The proposed method meets the practical demand of the recognition of wolfberry appearance defects and offers favorable conditions for its further quality evaluation.

枸杞在采摘和运输过程中，容易产生伤痕或病斑等外部缺陷，导致其品质受到一定程度的影响。随着机器视觉技术的迅速发展，因其具有快速、高精度、非破坏性等优点，该技术已广泛应用于农产品检测[1-3]。

在基于机器视觉的枸杞外部缺陷检测中，对缺陷部位的精确定位是识别的关键环节[4]。由于枸杞果实体积小，识别过程中往往样本摆放数目较多，且密集程度高，果实边界阴影与外部缺陷在图像处理时容易产生混淆，导致出现误判。现有的解决方法主要是通过边缘检测区分外部缺陷与边界阴影，效果并不理想，因此，如何实现枸杞果实的有效边缘检测是目前面临的主要问题。

国内外学者在边缘检测领域开展了大量研究，研究结果表明，传统图像处理方法不能有效处理非线性系统，因此无法满足实际应用中边缘检测的需求[5]。作为一种新兴的图像处理技术，形态学兼顾线性系统与非线性系统的处理能力，能够在一定程度上弥补传统图像处理方法的不足[6-8]。在农业领域，阎庆等通过对图像进行形态学滤波，实现了玉米田间杂草识别[9]；李江波等采用形态学梯度增强与重构方法，实现了类球形水果外部缺陷的精确分割[10]。上述研究促进了形态学边缘检测在农作物识别上的应用，但精度仍然较低，尤其在提取枸杞等细小物体边界时误差较大，不能有效去除果实边界阴影，对枸杞外部缺陷的识别造成很大干扰。

本文以形态学边缘检测为基础，通过对自适应形态学梯度算子进行改进，精确检测出枸杞果实边缘，有效去除其边界阴影干扰。在此基础上，对枸杞果实图像去噪并增强对比度，最终通过二值化处理提取出枸杞外部缺陷，实现对其精确识别。该方法为后续实现枸杞品质的自动化鉴定奠定了良好基础。

1实验材料与方法

1.1实验材料

实验材料为宁夏枸杞，共选取10袋，平均每袋260个样本。各袋中缺陷样品数量分别为10个到20个不等。经检验发现，缺陷分为条形与点状两类。实验前用清水清洗样本，并用干净的棉布将其表面擦干，以免残留水分影响图像质量。

刘立波(1974-)，女，宁夏银川人，宁夏大学数学计算机学院教授，博士。

1.2图像采集

仿真实验从单一面对枸杞外部缺陷进行静态检测，以验证算法的有效性。每次实验选取26个样本，随机设置混入缺陷枸杞的数量。根据实验结果进行进一步优化调整，为后续枸杞外部缺陷的动态全面检测提供技术支撑。由于枸杞样品大多数为暗红色，在图像采集过程中，将其置于纯白棉布之上，以提高背景与枸杞颜色的对比度，从而降低后续的背景分割难度[11]，采集后的样本图像如图 1所示。

图1　样本图像

1.3实验方法

利用Matlab 2013a软件设计基于形态学的枸杞外部缺陷识别程序并进行仿真实验，识别流程如图 2所示。

图2　枸杞外部缺陷识别流程图

该方法主要通过三步完成对枸杞外部缺陷的精确识别。首先，选取合适阈值对背景部分进行分割，提取存在边界阴影的枸杞果实图像；其次，以改进的自适应形态学梯度算子对枸杞果实边界进行精确提取，然后对其进行填充并与样本图像做差运算，从而去除边界阴影；最后，对图像去噪并增强对比度，通过二值化提取缺陷部位，实现对外部缺陷的识别。

2边缘检测

2.1形态学边缘检测算法

对细小物体的边缘检测一直是形态学图像处理的难点，贺智涛等构建多方位结构元素，从8个方向对玉米种子进行边缘检测，提高了边缘判断的精度[12]。但该方法结构元素较大，使边缘细节丢失过多，导致提取出的边界存在较多断点。有学者发现，对边缘部分进行先去噪再检测的处理方法，可保证边界图像的连续性，在此基础上提出了抗噪型形态学梯度算子[13-14]，但无法对边界进行精确判断。贺萌将上述方法进行融合并优化，提出了自适应形态学梯度算子[15]。但此方法去噪时使用多尺度结构元素，导致图像失真，影响边缘判断的精确性。

本文在前人研究的基础上，提出了改进的自适应形态学梯度算子。在去噪方面，将不同尺度结构元素调整为同尺度，使图像在处理过程中不失真。在边缘检测方面，根据枸杞的实际结构，将结构元素调整为具有4个检测方向的3阶矩阵，在保证边界判断精度的同时，不会对边缘细节产生太大影响。该算子既能使边界线段连续，又能提高边界判断的准确性，其定义式表示为：

C=[(A⊗B1)⊕B1]⊕B2-[(A⊗⊕B1)⊗B1]⊗B2

(1)

式中：C为边界图像，A为枸杞图像，B1为去噪结构元素。由于菱形结构具有各向同性，有助于进行不同方向的处理，所以B1矩阵结构选为{0 1 0;1 1 1;0 1 0}。B2为边缘检测结构元素，分为水平(B21)、垂直(B22)、45°(B23)和135°(B24)四个方向矩阵，取值依次为{0 0 0;1 1 1;0 0 0}，{0 1 0;0 1 0;0 1 0}，{0 0 1;0 1 0;1 0 0}，{1 0 0;0 1 0;0 0 1}。当方向矩阵与被检测边缘相互垂直时，检测效果最佳。

为了确立结构元素B2，在某一区域使用方向矩阵首先计算目标像素与相邻像素间的灰度差，以此判断边界曲线方向，然后选择与其方向垂直的矩阵。灰度差计算公式为：

dm=|Pm-P1|

(2)

式中：P1为目标像素，Pm(m=2,3…9)为P1的相邻的像素,将P1正右方的像素设为P2，逆时针依次设置其他像素为P3到P9，dm为对应相邻像素与目标像素的灰度差。灰度差越大，则灰度突变越大，意味着这两个像素位于边界两侧的可能性越大。设D1、D2、D3、D4分别表示水平、垂直、45°、135°四个方向边缘的马氏距离，它们的计算公式分别为：

D1=d2+d4+d5+d6+d7+d8

(3)

D2=d2+d3+d5+d6+d7+d9

(4)

D3=d2+d4+d5+d6+d8+d9

(5)

D4=d2+d3+d5+d6+d7+d8

(6)

当计算出不同方向的马氏距离后，选出最大值Dmax，其对应的方向为边界曲线最有可能的走向，则与之垂直的方向矩阵对这个区域检测效果最好。

2.2背景分割

由于采集过程中会受到多方面因素的影响，导致图像存在一些背景噪声。因此，需要对样本图像转化为灰度图像进行背景分割。观察发现，灰度图像分为背景区域与果实区域，外部缺陷在果实区域中，边界阴影在背景区域与果实区域的交界处。为验证背景区域与果实区域在灰度特性上的差异，获取如图 3(a)所示灰度级直方图，其中横轴表示灰度级，纵轴表示某一灰度级对应的像素个数。

(a)灰度直方图

(b)二值图像　　　　(c)进行背景分割后图像

通过分析灰度级直方图，发现图像由两个不同灰度值区域的双峰所组成，即背景部分与非背景部分。文献[16]的研究表明，以靠近非背景部分的低谷端点作为阈值能最大程度地去除背景干扰，故本实验的最优二值化阈值为0.55。对应的二值化图像如图 3(b)所示，其中黑色部分非背景部分，白色部分为背景部分。由于边界阴影所属的灰度区间靠近非背景部分，所以大多数边界阴影被分到非背景部分。在二值图像中，非背景部分灰度值相同，无法识别边界阴影，所以后续处理不能在二值图像中进行，需要利用二值图像对原始灰度图像进行分割。在分割过程中，由于图像背景部分不包含缺陷部位，为使后续图像处理的范围缩小到果实边界周围，将二值化后的图像转化成与灰度图像相同的格式，采用掩膜法[17-18]提取非背景部分，即包含边界阴影的果实区域，结果如图 3(c)所示。与原始样本图像对比，发现背景区域几乎全部去除。

2.3去除边界阴影

背景分割后得到的果实区域中依然存在边界阴影，尽管肉眼难以发现，但在图像处理过程中给缺陷识别带来很大干扰。图 4给出了对图 3(c)进行缺陷识别的结果。虽然在去噪等识别过程中能够去除一部分边界阴影，但与外部缺陷相似度较高的阴影仍然被保留下来，并且在图像增强后与缺陷部位的差别进一步减小，导致检测出的缺陷数量明显多于实际情况。

图4　边界阴影的干扰

上述结果表明，去除边界阴影能够提高对外部缺陷的识别精度。由于枸杞果实区域与边界阴影区域存在灰度上的差异，而外部缺陷在果实区域中，可以通过改进的自适应形态学梯度算子检测它们之间的灰度边界，进而去除边界阴影。提取的边界图像如图 5所示。

图5　边界检测结果

为验证改进的自适应形态学梯度算子在边缘检测上的有效性，分别使用多方位结构元素检测算子、抗噪型形态学梯度算子、自适应形态学梯度算子对枸杞的灰度边界进行检测，并观察检测结果。不同梯度算子的检测结果如图 6所示。

(a)多方位结构元素算子　(b)抗噪型形态学梯度算子

(c)自适应形态学梯度算子

观察发现，多方位结构元素检测算子检测出的边界存在断点(见图 6(a))，抗噪型形态学梯度算子检测出的边界在去噪区域向内凹陷，失真严重(见图 6(b))，自适应形态学梯度算子虽然成功提取出了完整清晰的边界图像(见图 6(c))，但其检测出的边界被放大，导致一些区域的果实边界几乎重合。相比这三种算法，改进的自适应形态学梯度算子检测出的边界效果最好。

当提取枸杞果实的精确边界后，由于外部缺陷在边界内，边界阴影在边界外，可对边界内区域进行填充，获得无边界阴影的枸杞果实区域，然后结合灰度图像再次使用掩膜法去除边界阴影干扰。为了更好地观察处理后的效果，将除去边界阴影后的图像进行二值化处理，结果如图7所示。

图7　边界阴影

3外部缺陷的识别与验证

3.1外部缺陷的提取

在图7中虽然去除了边界阴影，但在枸杞果实区域中，外部缺陷与果实其他部分的灰度差异并不明显。为了降低对外部缺陷的识别难度，将果实部分对应的灰度区间进行灰度拉伸，并通过对图像的线性叠加来提高对比度。然后，利用形态学开运算去除枸杞果实图像上的纹路和细小颗粒点，筛选出缺陷部位图像并加粗。经多次实验，选取0.2为阈值进行二值化处理，提取缺陷部位的结果如图8所示。

图8　缺陷提取结果

观察发现，在该结果中识别出的缺陷数量与人工检测的数量大致相同。因此，本文提出的方法能有效去除边界阴影对检测精度的干扰。

3.2结果验证

为了进一步验证结果的有效性，对其他袋中的枸杞样品进行7次抽样检验，每次从不同袋中取出枸杞50个，其中混入的缺陷枸杞数量随机设置。检测结果如表 1所示。

表1　检测结果

在本次检测中，绝大部分外部缺陷能很好地被识别出来，正确率达到90%以上。为探明未能将全部缺陷识别出的原因，对各袋枸杞样品反复进行多次实验，统计发现设计的枸杞外部缺陷识别方法针对条形缺陷以及直径大于1.5 mm的点状缺陷具有较好的检测率，在微小点状缺陷上的检测仍存在一定程度的偏差。针对此问题，在后续的研究中将对算法进行完善，以进一步提高检测的精度。

4结论

针对枸杞外部缺陷与边界阴影可以由果实边界区分的特点，本文提出了一种基于形态学边缘检测的枸杞外部缺陷识别方法。首先，通过改进的自适应形态学梯度算子对枸杞图像进行边缘检测，提取出的边界精度高于前人方法，可以更好地去除边界阴影的干扰。然后，利用缺陷部位与果实其他部位的灰度差异，通过二值化处理筛选出外部缺陷，实现对缺陷的有效识别。仿真实验表明，该方法识别精度达到90%以上，为后续开展枸杞质量评价奠定了良好基础。

[参考文献]

[1]Arman A, Asad M, Kaveh M, et al. Recognition and localization of ripen tomato based on machine vision[J].Australian Journal of Crop Science,2011,5(10):1144-1149.

[2]汪成龙,李小昱,武振中,等.基于流形学习算法的马铃薯机械损伤机器视觉检测方法[J].农业工程学报,2014,30(1):245-252.

[3]王玉德，张学志.复杂背景下甜瓜果实分割算法[J].农业工程学报,2014,30(2):176-181.

[4]Cuber S, Aleixos N, Moltó E, et al. Advances in machine vision applications for automatic inspection and quality evaluation of fruits and vegetables[J].Food Bioprocess Technology, 2011, 4(4): 487-504.

[5]陶晓勋,安如,周绍光,等.基于多尺度形态梯度的灰度图像边缘检测[J].遥感信息,2007(1):58-62.

[6]Hu X L, Zhang M, Yang W P,et al. Image de-noising and granularity detection based on morphology[J].Physics Procedia, 2012, 24(Part C): 1822-1829.

[7]Alexandru C, Mihai I, Noel R. Probabilistic pseudo morphology for grayscale and color images[J].Pattern Recognition, 2014, 47(2):721-735.

[8]Thouraya M, Malika B, Bachir B.Mathematical morphology for TOFD image analysis and automatic crack detection[J].Ultrasonics, 2014, 54(6):133-141.

[9]阎庆,梁栋,张东彦.基于监督局部线性嵌入算法的玉米田间杂草识别[J].农业工程学报,2013,29(14):171-177.

[10]李江波,彭彦昆,黄文倩,等.桃子表面缺陷分水岭分割方法研究[J].农业机械学报,2014, 45(8):288-293.

[11]彭辉,吴鹏飞,翟瑞芳,等.基于视差图像的重叠果实图像分割算法[J].农业机械学报,2012,43(6):167-173.

[12]贺智涛,王俊,毛鹏军,等.数学形态学在种子图像边缘检测中的应用[J].湖北农业科学,2008,47(5):587-589.

[13]Shen J, Hu S, Feng S, et al. Edge detection of seam image based on mathematical morphology[J].Journal of Tianjin University Science and Technology, 2010, 43(4):373-377.

[14]Yang J, Huang C, Fan Y. Edge detection of medical image based on multi-structure element morphology[J].Opto-Electronic Engineering, 2008, 35(3): 112-116.

[15]贺萌.基于自适应形态学的边缘检测及应用[D].长沙:中南大学,2013.

[16]刁智华,王欢,宋寅卯,等.复杂背景下棉花病叶害螨图像分割方法[J].农业工程学报,2013,29(5):147-152.

[17]李江波,饶秀勤,应义斌,等.基于掩模及边缘灰度补偿算法的脐橙背景和表面常见缺陷分割研究[J].农业工程学报,2009,25(12):133-137.

[18]Li J B, Rao X Q, Wang F J, et al. Automatic detection of common surface defects on oranges using combined lighting transform and image ratio methods[J].Postharvest Biology and Technology, 2013, 82(2): 59-69.

Recognition of Wolfberry Appearance Defects Based on

Edge Detection of Morphology

Chen Pu, Liu Libo

(SchoolofMathematicsandComputerScience,NingxiaUniversity,Yinchuan,Ningxia750021,China)

Key Words：wolfberry appearance defects; boundary shadow; recognition of defects region; morphology edge detection

(责任编辑：张凯兵)