核桃外部裂纹检测方法研究

张新伟，易克传

(安徽科技学院机械工程学院，安徽 凤阳 233100)

刘向东

(新疆大学科学技术学院，新疆 阿克苏 843000)

赵学观

(北京农业智能装备技术研究中心，北京 100097)

高连兴

(沈阳农业大学工程学院，辽宁 沈阳 100866)

核桃(Juglansregia)营养丰富，是深受人们喜爱的坚果类食品之一。随着生活水平的提高，人们对核桃的需求越来越大[1]。核桃坚果在种植及采后加工处理过程中容易造成裂纹、碎壳和黑斑等外部缺陷[2]。核桃表皮的黑斑一般为青皮剥离过程中处理不当造成的，虽外观不美观，但不影响食用，而核桃表面存在的裂纹或碎壳，会使内部核桃仁与外界直接接触，极易被外界真菌感染，或被脱青皮过程中的清洗水侵入，导致果仁霉变、甚至滋生黄曲霉素等有害物质。

针对这一问题，国内外学者对核桃类坚果进行研究，并取得初步成果。如刘军等[3]采用自适应双阈值的OTSU算法，对缺陷核桃进行试验。通过试验发现，基于径向基的支持向量机模型对裂缝、碎壳和黑斑3类外部缺陷的识别效果最好，分别为93.06%、88.31%和89.27%，对缺陷的总识别率为90.21%。周竹等[4]建立基于最小二乘支持高量机分类器的霉变板栗识别模型，平均识别正确率为93.56%，构造GA-LSSVM算法，建立的霉变板栗识别模型对测试集中的合格板栗、表面霉变板栗和内部霉变板栗的平均识别正确率依次为95.89%、100%和98.25%。Pearson等[5]运用图像处理算法对开心果存在油点、暗斑点、空壳等外部缺陷，以及存在的脐橙螟、真菌等可能导致黄曲霉毒素的果仁损伤，试验发现，暗斑点等外部缺陷的识别准确率为98%，果仁腐烂的识别率为89.7%，果仁黄曲霉素的识别率为93.8%，果仁脐橙螟的识别率为98.7%。展慧等[6]研究基于神经网络与板栗图像特征的方法检测表面存在块状斑点、暗晦和霉变的板栗，试验发现，识别准确率达到91.67%，证明基于机器视觉技术进行板栗缺陷检测是可行的。Ahmad Ghazanfari Moghaddam[7]运用模式识别和神经网络方法对开心果进行分类，应用GL-56&A设计的树形分类器的分类准确率为91.7%，运用MLNN和MSNN 2种分类器的分类准确率分别为92.4%和93.2%，当GL-56&A用高斯分类器时总的分类准确率为89.6%，使用高斯分类器、决策树分类器、MLNN和MSNN分类器时，分类的准确率依次为82.8%、88.7%、94.1%和95%。

研究发现，当前检测多数采用阈值法或最小二乘法等传统方法，采用这些方法进行缺陷检测时容易出现误检测、假边缘等问题。近年来流行的数学形态学是一门非线性图像处理理论，它从集合的观点来刻画和分析图像，它的运算由集合运算来定义完成，所有图像都合理地转换成集合。而基于集合观点的一个自然推论是：形态学算子的性能将主要以几何形态的方式进行刻画，而传统理论却以解析的方式描述算子的性能，这种显式的几何描述特征更适合图像处理的应用。为此，本研究以多尺度形态学为手段，对核桃表面存在的外部缺陷进行检测研究。

1 材料与方法

1.1 试验材料及设备

试验核桃品种为温宿185。

主要试验设备由灯箱系统、体视显微成像系统(图1)组成，其中体视显微成像系统由尼康SMZ800立体显微镜(放大范围0.75～7.5倍)、佳能PowerShot SX700 HS(1600万像素)和计算机(联想扬天T4900D，酷睿i3-7100，4G内存，500GB硬盘)等组成，该系统可以方便地调整放大图像倍数，获取核桃图像并进行观察和分析。

a:1．灯泡；2．通光孔；3．核桃； 4．玻璃；5．遮光板；6．光箱;b:1．目镜；2．摄像头；3．支架； 4．微型计算机；5．反射光源；6．透射光源；7．物镜；8．载物台图1 体视显微成像系统

1.2 试验方法

图2 流程图

核桃外部缺陷检测流程如图2所示。

1.2.1 图像预处理

数码相机所得图像的分辨率为1600×1200像素大小，图像格式为JPG，将其下采样为640×480像素大小以提高算法运行速度。

为获取更好的检测效果，须先对获取的核桃图像进行去噪声预处理。运用中值滤波对采集到的核桃图像进行去噪，以提高核桃图像与背景的对比度，便于后续的检测操作。

1.2.2 缺陷检测

运用多尺度形态学方法对核桃外部缺陷进行检测处理。

检测准确率=(表面存在缺陷的核桃/总待检测核桃)×100%。

1.2.3 检测图像后处理

运用wiener滤波和数学形态学对分割后图像中存在的噪声和部分断点进行连接。

2 多尺度形态学缺陷检测原理与检测步骤

2.1 多尺度形态学缺陷检测原理

数学形态学图像处理以集合论为理论基础，对图像进行形态变换实质上是一种针对集合的处理过程。形态学运算用于表示物体或形状的集合与形态学算子结构的相互作用，并且形态学算子结构的形状决定了形态学运算所匹配的形状信息[8]。因此，对图像进行数学形态学图像处理就是通过在图像中移动一个结构元素，将该元素与对应的图像矩阵进行交、并等集合运算，得到处理结果矩阵。数学形态学图像处理的基本形态运算有腐蚀和膨胀，然后可以延伸到开启和闭合。

假设f(x,y)为输入图像，g(i,j)为结构元素，⊕和Θ分别表示形态学中的膨胀运算符号和腐蚀运算符号，则可以得到灰度膨胀运算和腐蚀运算如下[9]。

灰度膨胀运算：

灰度腐蚀运算：

由膨胀和腐蚀得到开启和闭合运算如下。

灰度开启运算：

f∘g=(fΘg)⊕g

灰度闭合运算：

f·g=(f⊕g)Θg

多尺度形态学通过选定形态结构元素的类型及尺度来实现。一般而言，随着选取结构元素尺寸的增大，计算量也会增加，甚至可能会对图像自身的几何形状产生影响，进而造成形态处理结果不准确。适当的选择小尺度结构元素，可以在一定程度上提高形态运算的效率及准确率，可以在一定程度上降低图像噪声的影响，进而提高边缘检测的精度。

根据数学形态学运算的概念，构造形态学多尺度迭代滤波器如下：

ψ(f)=(f∘g1·g1)·g2∘g2

结构元素的形状往往会影响到所匹配目标的准确率，应用形态学进行边缘提取需要综合考虑匹配不同方向的边缘要求。因此，对于一个给定的结构元素g，可将其设计成5个3×3模板，分别为G1～G5：

多尺度结构元素定义为：

ng=g⊕g⊕…⊕g

式中，n为尺度参数。

多尺度边缘检测算法为：

多尺度边缘融合算法为：

式中，ui为各尺度边缘检测图像进行融合时的加权系数。

以信息熵的计算访求为基础[10]，假设核桃图像的灰度范围为[0,L-1]，则灰度级像素出现的概率表示为：

P0,P1,…,PL-1

各灰度级像素具有的信息量分别为：

-log2(P0),-log2(P1),…,-log2(PL-1)

则该图像的熵为：

一般而言，可以采用距离作为度量系统中各个实体的相似程度，2个实体间的距离越小，则表明它们之间的相似程度越大。可以通过对不同实体fa和fb之间的相似性程度sim(fa,fb)进行求和来作为整个系统中fa的实体的相似度或支持度，即

可以选择图像信息熵和实体加权来进行边缘图像融合，通过对各边缘图像的信息熵计算差值作为距离来获取各个实体的相似度或支持度。

因此，边缘图像fa与边缘图像fb的差量算子为：

usimk(fa,fb)=|Ha-Hb|a,b=1,2,…,N

差量函数为：

反支持函数为：

2.2 检测步骤

为能在保证程序运行效率的前提下尽可能匹配图像不同方向上的边缘，本研究选择5个不同的结构元素来对图像进行边缘检测。检测步骤如下：

1)应用不同的结构元素对图像进行边缘检测，通过实体加权融合与信息熵结合的方法对边缘图像进行图像融合，获得单尺度下的边缘检测结果Gf1。

2)对5个结构元素分别进行膨胀，用膨胀后的5个结构元素在尺度n=2时对图像进行边缘检测，将获得的5个检测结果按照步骤1)的融合方法进行图像融合，获得尺度n=2时的边缘检测结果Gf2。

3)对5个结构元素分别进行膨胀，用膨胀后的5个结构元素在尺度n=3时对图像进行边缘检测，将获得的5个检测结果按照步骤1)的融合方法进行图像融合，获得尺度n=3时的边缘检测结果Gf3。

4)同理，按照上述对5个结构元素进行n个尺度(n一般取2～5)的边缘检测及融合，获得n个不同尺度的融合图像分别为：Gf1,Gf2,Gf3,…,Gfn。

5)最后根据实体加权融合与信息熵的融合方法进行图像融合，得到最终的融合结果。

6)对5)所得图像，进行开启和闭合操作消除存在的细小干扰物体，并得到最终图像。

3 结果与分析

表1 不同方法检测结果对比

图3 不同方法检测结果比较

为验证本方法的有效性，分别采用局部阈值法、Roberts和分水岭方法对核桃表面存在的缺陷进行检测试验，并与本研究方法进行比较，结果如表1所示。

由表1可知，多尺度数学形态学检测方法的检测准确率最高，为94%，远高于分水岭(87%)、Roberts(86%)和局部阈值法(65%)，但其程序运行时间也最长，为15.774s。

从图3可以看出，经分水岭方法处理的图片存在过分割现象，研究结果与张新伟等[11]的研究结果一致。原因是分水岭变换的目标是求出梯度图像的“分水岭线”，而传统的差分梯度算法对邻近像素做差分运算，容易受到噪声和量化误差等因素的影响，往往会在灰度均匀的区域产生过多的局部梯度，这些在分水岭变换中就对应于集水盆底。虽然局部阈值法、roberts方法不存在过分割现象，但出现数据丢失且存在较多噪声，原因可能是这3种方法均属于经典的阈值分割，这类分割算法对于目标和背景对比度反差较大的图像能够进行有效分割，并且总能够用封闭、连通的边界定义不交叠的边界，但分割阈值的确定主要依赖于灰度直方图，而很少考虑图像中像素的空间位置关系，因此当背景复杂时，容易丧失部分边界信息，造成分割的不完整。采用本研究方法的检测效果最优，由于数学形态学图像处理的基本思想是构建具有一定形态的结构元素去匹配和提取核桃图像中对应形状的位置，进而达到对核桃表面裂缝识别的目的，但由于核桃表面凹凸不平，核桃表面的非裂缝区域的灰度分布不均匀，某些区域的灰度值甚至低于裂缝部分有灰度值，从而导致裂缝检测过程存在一定的错误，相关算法还有待进一步完善。

4 小结

本研究针对核桃表面裂纹的检测问题，以多尺度数学形态学处理为基础进行实验，通过建立不同结构形态学算子的边缘提取，以及计算加权算子的方式来进行边缘图像的融合，有效地克服了传统边缘检测算子对核桃外部缺陷边缘提取不准确的问题，但该算法运行时间为15.774s，长于各对比算法，后续将在算法性能及程序的优化编码方面进行进一步的优化。