基于差分图像边界距离的粮粒孔洞自动检测

张红涛 胡玉霞 剧 森 张恒源

（华北水利水电大学电力学院1，郑州 450011）

（郑州大学电气工程学院2，郑州 450001）

基于差分图像边界距离的粮粒孔洞自动检测

张红涛1胡玉霞2剧 森1张恒源1

（华北水利水电大学电力学院1，郑州 450011）

（郑州大学电气工程学院2，郑州 450001）

粮粒孔洞的自动检测是近红外高光谱图像技术检测粮粒内部害虫中的一个关键问题。提出基于差分图像边界距离的粮粒孔洞自动检测方法，该方法通过求取粮粒（内部）轮廓与阈值分割后二值图像的差分，若差分图像中的目标与粮粒边界的最远距离大于某个阈值时，则该目标应判别为边界（内部）孔洞。用米象的幼虫、蛹和成虫3个侵染阶段粮粒的900帧近红外图像进行训练，用450帧近红外图像进行检验，结果表明该方法不仅可以判断粮粒是否存在孔洞，还能检测出孔洞的数量及形态，其中边界孔洞和内部孔洞的识别率分别为97.33%和95.56%，证实了基于差分图像边界距离的粮粒孔洞检测方法是可行的。

仓储害虫 粮粒 边界孔洞 内部孔洞 差分图像 检测

米象、谷蠹等蛀食性害虫直接危害完整粮粒，成虫在粮粒内部或表面产卵，未成熟幼虫在粮粒内部生长发育，进食胚乳和胚，直到成虫才从粮粒内出来，可见粮粒内部害虫造成的危害是相当大的［1］。传统的粮粒内部害虫检测方法有伯利斯漏斗法、害虫碎片检验法、悬浮法等，新兴的检测方法有CT成像法、电子鼻法、热成像法等、近红外光谱法等［2－4］。

近红外光谱成像法兼有近红外光谱技术和图像技术的优势，目前已被应用到赤霉病危害麦粒的检测、发芽麦粒的检测等［5－6］。研究提出基于近红外高光谱成像的粮粒内部害虫检测方法，对于不同姿态的同一个粮粒，所提取的近红外特征有较大的差别，因此分腹沟朝下、朝上和侧向3种姿态对粮粒内部虫害进行自动判别。粮粒姿态自动识别时主要依靠粮粒的纹理、不变矩、形态等特征信息，害虫侵染后粮粒的孔洞对这些特征影响很大，因此在构建粮粒姿态识别模型之前，须事先检测粮粒是否存在孔洞。本研究提出利用差分图像边界距离法对粮粒孔洞进行检测，通过试验进一步验证了孔洞检测的可行性。

1 近红外粮粒图像获取

利用课题组构建的近红外高光谱成像系统对粮粒进行高光谱图像采集，其中近红外相机的光谱范围为900～1 700 nm，图像分辨率为320像素×256像素，光谱分辨率为5 nm。由于麦粒个体较小，需在镜头上加装接圈，使麦粒图像有更高的分辨率［7］。

在米象产卵后的第14天、第18天和第23天，随机挑选出含虫麦粒，用于麦粒内部害虫在幼虫、蛹、成虫3个不同生长阶段时的高光谱图像采集。把5个麦粒置于一个黑色的塑料板上，粮粒互不接触且为同一姿态，黑白场图像标定后分3种姿态（腹沟朝下、朝上、侧向）线扫描采集每个麦粒的数据立方体。

由主成分分析法对获取的粮粒高光谱数据立方体进行分析，提取出最优光谱波长为927.61 nm［8］。利用最优波长下粮粒目标在图像中的坐标、重心等信息，形成仅含单个粮粒的子图像（背景为全黑），以供后续的孔洞检测、特征提取等处理。最优波长下同一个麦粒3种姿态的灰度图像如图1所示。

2 粮粒边界孔洞检测方法及步骤

实际上，粮粒受到害虫侵染后，部分粮粒存在孔洞，且孔洞的位置是不确定的，这些孔洞包含边界孔洞和内部孔洞2种情况。粮粒的边界孔洞是指当粮粒受到害虫侵染后，使获取的图像中粮粒边界存在的缺口，该孔洞大小不一，差异较大。由于图像获取中粮粒的姿态是随机的，获取粮粒目标的图像边界大部分不够平滑，因此轮廓边界的模板无法应用。特别是当粮粒侧向时，胚部区域所在端的边界毛刺较多，无法与边界的实际孔洞区别开来。

采用基于差分图像的边界距离法对边界孔洞进行检测，具体方法为：求取粮粒轮廓（凸壳）与滤波分割后二值图像的差分，若差分图像中的目标与粮粒轮廓边界的最远距离大于某个阈值时，该目标即为边界孔洞。其中，目标与轮廓边界的距离为目标内所有像素与边界距离的最大值，目标内任一像素与边界的距离为目标内该像素点与所有边界点的最小距离。

边界孔洞检测算法的具体步骤如下：

1）利用线性空间滤波器对粮粒原始灰度图像A1进行滤波，增强粮粒的边界部分，形成新的图像A2；

2）对图像A2进行自动阈值化分割，填补内部的孔洞（避免内部孔洞对边界孔洞检测的影响），形成二值化图像A3；

3）求取图像A3的最小凸壳A4及凸壳的边界；

4）求取最小凸壳A4与二值化图像A3的差分图像 A5，即 A5＝A4－A3；

5）针对差分图像A5中的每一个目标，若该目标的面积大于某个面积阈值（thres＿area），针对该目标内的任一个像素点，求出该像素点与所有凸壳边界点的距离，重新排序后求出距离的最小值，作为该像素点与边界的距离；

6）求出目标内所有像素点与边界距离的最大值，作为该目标与边界的距离；

7）若某个目标与边界的距离大于某个阈值（thres＿dist），则该目标为边界的孔洞，并形成仅有边界孔洞的图像A6。

3 粮粒内部孔洞检测方法及步骤

粮粒的内部孔洞是指当粮粒受到害虫的侵染后，使获取的图像中粮粒内部存在的小洞。由于图像获取中粮粒的姿态是随机的，因此采用固定阈值法是不可行的。另外，在采用自动阈值算法时，分割出的图像除了孔洞之外，还存在部分边界和很多毛刺，无法准确判断粮粒内部是否存在孔洞。

这里采用基于差分图像的边界距离法对内部孔洞进行检测，具体方法为：求取粮粒内部轮廓与阈值分割后二值图像的差分，若差分图像中的目标与粮粒内部轮廓边界的最远距离大于某个阈值时，该目标即为内部孔洞。

内部孔洞检测方法的具体步骤如下：

1）将粮粒原始灰度图像A1的背景进行反色，形成新的图像B1；

2）对图像B1进行自动阈值化分割，形成二值化图像B2；

3）用Sobel算子检测图像A1的边界，连接由单个像素缝隙分割的像素，形成边界连续的图像B3；

4）利用数学形态学中的膨胀和细化运算对图像B3进行处理，以形成边界比较平滑的粮粒边界图像B4；

5）求取图像B4与B2的差分图像B5，即B5＝abs（B4－B2）；

6）对图像B5进行形态学闭运算处理形成图像B6，使目标内部细小的连线断开，以分割开图像中的目标；

7）采用边界孔洞检测步骤5～步骤7的方法，求出图像B6中每个目标与边界的距离，距离大于某个阈值的目标即为内部的孔洞，并形成仅有内部孔洞的图像B7。

4 结果与分析

针对图2a所示的一个腹沟朝下的麦粒灰度图像，利用粮粒边界孔洞法进行边界孔洞的检测，该麦粒受到害虫的严重危害，同时含有1个边界孔洞和2个内部孔洞。由图2可以看出，该法把粮粒胚部区域的1个边界孔洞正确地检测出来，内部的2个孔洞对边界孔洞的检测没有影响。图2f中，检测出的边界孔洞形态能反映出实际孔洞的形态。

随机选取300个（害虫的幼虫、蛹和成虫3个阶段分别选取100个）粮粒进行训练，150个（害虫的3个阶段分别选取50个）粮粒进行检验。由于图像获取时，每个粮粒分3种姿态图像采集，则粮粒边界孔洞检测中用于训练和检验的图像分别为900帧和450帧。训练时边界孔洞的 thres＿area＝10，thres＿dist＝3。统计表明，450帧检验图像中有边界孔洞的图像为31帧，孔洞个数为34个，其中有3帧图像中麦粒的边界孔洞为2个。经边界孔洞检测方法检测后，有10帧没有边界孔洞的图像由于麦粒胚部边界不光滑的影响被误检，2帧有边界孔洞的图像由于边界孔洞较小没有被检测出来，即438帧图像被正确检测，边界孔洞检测的正确率为97.33%。

图2 粮粒边界孔洞检测

图3 粮粒内部孔洞检测

针对图2a中的粮粒灰度图像，利用粮粒内部孔洞法进行内部孔洞的检测，具体处理过程如图3所示，该法把粮粒内部区域的2个孔洞正确地检测出来，边界孔洞对内部孔洞的检测没有影响。由图3c和图3d可见，若采用图3c作为粮粒边界，由于图3b边界的毛刺较多，可能影响后续距离阈值的选取，甚至会误判，因此采用比图3c更平滑的边界——图3d作为粮粒的边界，比较适合后续距离阈值的自动确定。图3g左侧的白色目标能准确地反映出实际孔洞的形态，右上角的白色目标为实际孔洞与粮粒部分边界结合在一起，虽然不能直观地地反映出实际孔洞的形态，但不影响内部孔洞数量的统计。因此，该法不仅可以判断粮粒内部是否存在孔洞，还能判别出孔洞的数量，以及与粮粒边界有一定距离的孔洞的形态。

在粮粒内部孔洞检测中采用同用粮粒边界孔洞检测相同的训练集和检验集，训练时内部孔洞的thres＿area＝6，thres＿dist＝5。统计表明，450帧检验图像中有内部孔洞图像为70帧，内部孔洞数量为72个，其中2帧图像中麦粒的内部孔洞为2个。经内部孔洞检测方法检测后，有17帧没有内部孔洞的图像由于麦粒表面不平滑的影响被误检，3帧有内部孔洞的图像由于内部孔洞较小没有被检测出来，即430帧图像被正确检测，则内部孔洞检测的正确率为95.56%。

在实际的粮粒孔洞检测中，若某个粮粒存在边界孔洞或者内部孔洞，表明该粮粒存在孔洞，则该粮粒应直接判别为虫蚀粒，无需进入后续的粮粒姿态判别、特征提取及内部是否含虫判别等环节。

5 结论

在粮粒孔洞的自动检测中，采用基于粮粒轮廓与滤波后二值图像差分的边界距离法对边界孔洞进行检测，该法检测出的边界孔洞形态基本能反映出实际孔洞的形态，边界孔洞的识别率达到97.33%。利用基于粮粒内部轮廓与阈值分割后二值图像差分的边界距离法对内部孔洞进行检测分析，该法不仅可以判断粮粒内部是否存在孔洞，还能判别出内部孔洞的数量，内部孔洞的识别率达到95.56%。本研究提出的麦粒孔洞检测方法，对稻米、玉米等其他粮粒孔洞的自动检测具有重要的参考意义。为了实现粮粒内部虫害的自动检测，下一步需要解决粮粒姿态模型的构建、含虫粮粒的特征提取等关键问题。

［1］张红涛，毛罕平.基于计算机视觉的粮粒内部害虫检测的研究进展［J］.中国粮油学报，2008，23（5）：175－179

［2］Fornal J，Jeliński T，Sadowska J，etal.Detection of granary weevil Sitophilus granarius（L.）eggs and internal stages in wheat grain using soft X－ray and image analysis［J］.Journal of Stored Products Research，2007，43（2）：142－148

［3］Singh C B，Jayas D S，Paliwal J，et al.Identification of insect－damaged wheat kernels using short－wave near－infrared hyperspectral and digital colour［J］.Computers and Electronics in Agriculture，2010，73（2）：118－125

［4］Brabec D L，Pearson TC，Flinn PW，et al.Detection of internal insects in wheat using a conductive rollermill and estimation of insect fragments in the resulting flour［J］.Journal of Stored Products Research，2010，46（3）：180－185

［5］Xing J，Symons S，Shahin M，et al.Sprouting detection at early stages in individual CWAD and CWRSwheat kernels using SWIR spectroscopy［J］.Sensing and Instrumentation for Food Quality and Safety，2010，4（3）：95－100

［6］Shahin M A，Symons S J.Detection of Fusarium damaged kernels in Canada Western Red Spring wheat using visible near＿infrared hyperspectral imaging and principal component analysis［J］.Computers and Electronics in Agriculture，2011，75（1）：107－112

［7］张红涛，毛罕平，韩绿化.近红外高光谱成像技术检测粮仓米象活虫［J］.农业工程学报，2012，28（8）：263－268

［8］黄文倩，陈立平，李江波，等.基于高光谱成像的苹果轻微损伤检测有效波长选取［J］.农业工程学报，2013，29（1）：272－277.

Automated Detection of Holes in Wheat Kernel Based on Boundary Distance of the Differential Image

Zhang Hongtao1Hu Yuxia2Ju Sen1Zhang Hengyuan1

（Institute of Electric power，North China University ofWater Resources and Electric Power1，Zhengzhou 450011）
（College of Electric Engineering，Zhengzhou University2，Zhengzhou 450001）

The automatic detection of wheat kernel holes is one of the key elements to detect insects in wheat kernels based on near－infrared hyperspectral imaging technology.A method of automatically wheat kernel holes detection was proposed based on boundary distance of differential image in the paper.The differential images were acquired between the kernel（internal）contours images and the binary images after thresholding.On condition that the maximum distance between the object and the kernel boundary wasmore than a threshold in differential images，the objectwas acted as a boundary or internal hole.The near infrared－images were acquired from the infested wheat kernelswith the larva，pupa and adult stages of sitophilus oryzae（L.）Themethod was trained by 900 images and tested by 450 images.The results showed that themethod had a ability to judge whether there were holes in wheat kernel or not.Meanwhile，the number of holes andmorphology could be detected.The correct identification ratios of boundary holes and internal holes were over 97.33%and 95.56%respectively.The experiment showed that the method was practical and feasible.

stored－grain insects，wheat kernel，boundary hole，internal hole，differential image，detection

S24

A

1003－0174（2015）06－0117－04

国家自然科学基金（31101085），河南省基础与前沿技术研究计划（122300410145），河南省高等学校青年骨干教师资助计划（2011GGJS－094），华北水利水电大学教学名师培育项目（2014108）

2014－01－21

张红涛，男，1977年出生，副教授，农业电气化与自动化