基于高光谱成像技术的灵武长枣常见缺陷检测

王婉娇 贺晓光 王松磊 刘贵珊 吴龙国

（宁夏大学农学院，宁夏 银川 750021）

灵武长枣又名马牙枣，产于宁夏灵武，是宁夏具有地方特色的农产品之一。色红个大，果实呈长椭圆形或圆柱形，果鲜味美，质地酥脆，为鲜食水果的“果中之王”，营养丰富，具有良好的养生功效，深受消费者喜欢，成为宁夏特色产品之一［1］。因其在生长发育过程中不可避免会受到各种病虫害和自然环境的影响，出现虫害裂痕等常见缺陷，从而影响长枣的销售量和可食率。而传统的人工与机械的检测手段耗时费力、效率低，对枣果易造成损伤，并且卫生质量难以达标，无法满足其商品化需求，制约了宁夏长枣产业的长远发展［2］。为了保证并促进枣果产业的迅速发展，长枣的采后检测显得尤为重要，不但要降低检测成本，同时对检测技术也提出了更高的要求，可实时、在线、快速、无损地检测长枣品质的光谱技术成为了目前研究的热点。

近红外光谱技术在农产品品质检测方面应用广泛，但是检测区域局限，且无法获取待测样品的图像信息。新一代集中了光学、光电子学、电子学、信息处理、计算机科学等领域的无损检测技术——高光谱成像技术，具有“快速、准确、无损、环保”等优势，可同时获取农产品的光谱与图像信息，并对其综合品质进行全面、快速、无损的检测，弥补传统检测法的缺陷与近红外光谱技术的不足，满足了对农产品常见缺陷进行实时、快速、无损检测的需求［3］。近年来，国内外学者利用高光谱成像技术对农产品检测做了大量的研究。Kangjin Lee［4］、Xing Juan［5］、Yasasvy N［6］、Qin Jian-wei［7］等 分 别 利用高光谱图像技术检测苹果表面斑点缺陷、樱桃虫害、草莓损伤、柑桔溃烂等；苏文浩［8］、薛龙［9］、思振华［10］等分别利用高光谱图像技术检测马铃薯外部缺陷、梨表面压伤、羊肉表面污染等。目前，对枣类品质方面的研究越来越积极，余克强［11］、刘聪［12］、吴龙 国［13］等 分 别 利 用 高 光 谱 成 像 技 术 实 现了鲜枣裂纹的位置及大小信息特征的定性判别和定量识别的研究、应用近红外光谱建立了室温贮藏下鲜枣内部霉菌菌落总数变化的动力学模型、对灵武长枣的含水量进行了无损检测研究，并对比了不同建模效果，从而优选出最佳预测模型，为今后的长枣品质在线检测提供了理论依据。而结合光谱技术对枣类缺陷方面的主要研究有：王斌［14］、徐爽［15］、Zhang Shu-juan［16］等利用高光谱成像技术对腐烂、病害及正常的梨枣进行了建模分类；研究了长枣表面虫害的检测与识别；通过建立多元散射校正—连续投影—主成分分析—最小二乘支持向量机模型对新鲜枣细微损伤进行辨别。以上研究中关于高光谱图像处理的方法大多是PCA法，目前对于MNF法应用于农产品无损检测方面的研究鲜有报道，而关于样本背景对图像识别的影响方面的研究少见。

本试验利用近红外高光谱成像系统对120个样本枣进行图像采集，采用PCA法与MNF法结合未去背景与掩模去背景两种算法模型对长枣进行识别检测，以探讨利用高光谱成像技术结合PCA法与MNF法对长枣缺陷识别的可行性，研究两种降维去噪方法的掩模去背景与不去背景对长枣缺陷识别是否存在差异，以探讨样本背景干扰对高光谱图像缺陷识别的影响，从而优选出更适合的算法模型，以提高长枣缺陷检测的精确度，实现商品的优质优价。

1 材料与方法

1.1 试验材料

宁夏灵武长枣，通过手摘方式采摘了120个样本，其中虫眼枣26个，裂痕枣44个，正常枣50，置于4℃冰箱贮藏；试验时，将所有样本从冰箱中取出，进行清洗、晾干、编号，采集高光谱图像信息。

1.2 试验装置

高光谱成像光谱仪（北京卓立汉光仪器有限公司）。该高光谱成像系统由5部分组成，包括成像光谱仪（Imspector N17E型，芬兰Spectral Imaging Ltd公司）、CCD相机（Models XC-130 100Hz型，以色列Ophir Optronics Solutions Ltd公司）、光纤卤素灯（HSIA-LS-TDIF型，北京Zolix公司）、电控载物平台（PSA200-11-X型，北京Zolix公司）、计算机（联想Inter（R）Core i7-2600CPU＠3.40GHz，RAM 4.00G）。其波长范围为900～1 700nm，可获取256个波段光谱，光谱分辨率为5nm，图像分辨率为320×300。

1.3 数据采集分析软件

高光谱图像数据的采集为设备自带的Spectral-SENS软件；数据处理采用 ENVI4.6（Research System Inc.，Boulder，Colo.，USA）软件；目标识别采用 Matlab R2009b（The Mathworks Inc，Natick，MA，USA）软件。

1.4 采集高光谱图像

1.4.1 图像标定 由于各波段下的光源强度分布不均、待检对象形态各异以及传感器中暗电流的存在，导致在光源强度分布较弱的波段下采集到的图像噪声明显，造成数据信息冗余，且不同波长下图像的亮度存在较大差异，因此，需要对获得的高光谱图像进行黑白标定［17］。标定公式如下：

式中：

I——样本原始光谱图像；

W——全白的标定图像；

D——全黑的标定图像；

R——经过标定后的光谱图像。

1.4.2 参数确定 为保证图像质量，针对存在表征差异的不同水果，采集图像前需设定合适的参数。为避免高光谱图像分辨率失真，保证图像清晰度，通过CCD相机的扫描频率确定电控位移平台的测试速度和距离［18］。经过反复调试和比对，最终确定测试参数：光源的稳流设置为6.2A，扫描距离为180mm，曝光时间为10ms，物距约为385mm，扫描速度设定为15mm/s。

1.4.3 图像采集 对样本枣进行分类编号，每8个长枣样本为一组，按照一定的顺序排列放置于电控位移平台上，关闭暗箱门，连接电机，电控位移平台通过移动，扫描获取样本枣的高光谱图像，图1所示为样本枣的原始图像与采集分割后单个枣的高光谱图像对比图。

图1 样本枣的原始图像与高光谱图像Figure 1 The original images and hyperspectral image

1.5 数据处理方法

1.5.1 主成分分析 主成分分析法（principal component analysis，PCA），又被称为主分量分析法，在数学上也被称为K-L变换，是一种对多维数据进行有效降维的统计方法。它借助于正交线性变换，从大量冗余数据中筛选出少数互不相关的主成分信息重新组合成一组新的内容互不重叠的主成分图像，减少重复信息的同时又使图像信息得到增强，保留了对方差贡献最大的特征，尽可能在原始信息损失最小的前提下将多变量变换为尽可能少的互不相关的新变量，达到数据降维的目的［19］。由主成分分析原理可知，每个PC图像都是基于协方差等于零的前提下由高光谱所有波段下的原始图像与对应的权重系数乘积之和形成的［20］，如式（2）所示：

式中：

PCm——第m主成分图像；

ai——第i个权重系数；

Ii——第i个波段图像；

n——原始图像波段数。

1.5.2 最小噪声分离 最小噪声分离法［21］（minimum noise fraction，MNF）是由Green和Berman提出的，是一种能够有效降低高光谱数据维数和分离噪声的方法；即以最大化信噪比（signal to noise ratio，SNR）为衡量准则对主成分变换进行改进，不但能判断图像数据的内在特征维数，而且能将目标和噪声有效地分离出来［22］。采用最小噪声分离变换就是为了得到一系列信噪比由大到小排列的新图像，去除噪声的同时还可降低数据之间的相关性。MNF法本质上是含有两次PCA处理的正交变换，但跟主成分分析又有明显差异，MNF变换后得到的向量元素间无相关性，第一分量集中了大量样本信息，MNF处理过的图像按照信噪比从大到小排列，质量随着波段数的增加逐渐下降，从而可降低噪声对图像质量的影响［23］，其原理如式（3）所示：

式中：

TMNF——MNF的变换矩阵；

P——变换矩阵；

U——由特征向量组成的正交矩阵；

∑N——噪音的协方差矩阵；

DN——∑N的特征值按照降序排列的对角矩阵；

T——转置变换；

V——由特征向量组成的正交矩阵。

2 结果与分析

2.1 图像数据分析

本试验中，采用设备自带的Spectral-SENS软件获取样本枣的高光谱图像，通过ENVI4.6数据处理软件对120个长枣图像进行主成分分析和最小噪声分离。图2为未掩模与掩模后长枣的前3个主成分图（PC1～PC3）和最小噪声分离图（M1～M3）。

图2 掩模前后的PC图与M图Figure 2 PC and M images before and after the mask

由图2可知：① 掩模后的图像，可以降低背景噪声的干扰，使枣果轮廓更加清晰；② 对于正常枣、裂痕枣、虫眼枣的PC图来说，3种类型长枣的PC3图像噪声干扰比较严重，轮廓模糊，缺陷部位难以进行识别；正常枣与虫眼枣的PC1相比PC2而言，包含枣果大部分特征信息，轮廓清晰，并且虫眼部位特征突出；而裂痕枣的PC1图虽然轮廓清晰，但光照影响严重，相反PC2图缺陷位置明显易于进一步识别。因此，选择正常枣与虫眼枣的PC1图、裂痕枣的PC2图进行后期图像识别。③ 对于正常枣、裂痕枣、虫眼枣的 M图来说，3种类型枣的M图比PC图更加清晰，噪音干扰小；通过对比3种类型的M1～M3图发现，虫眼枣的M1图像优于M2、M3图，虫眼部位与正常部位对比明显；裂痕枣的 M1图像亮斑覆盖面积大，缺陷部位显示不明显，不利于缺陷的检测识别，M3图像光照与缺陷部位重合，不利于进一步识别；正常枣的M1图像轮廓清晰，易于进行识别；因此，选择正常枣与虫眼枣的M1图像、裂痕枣的M2图像进行识别。

综上所述，选取正常枣、虫眼枣、裂痕枣的PC与M图像分别为PC1、PC1、PC2，M1、M1、M2，进而进行后期的图像识别。

2.2 特征目标识别

通过对主成分图像与最小噪声图像的分析，利用Matlab软件对正常枣与虫害枣的PC1、M1，裂痕枣的PC2、M2图像进行逐一识别。以裂痕枣为例，采用最小噪声分离法对掩模与未掩模的M图像进行分析，见图3。首先，对裂痕枣选择进行掩模（阈值0.2），获得掩模图像；然后分别对未掩模与掩模的裂痕枣图像进行最小噪音分离，得到M1～M3图，选取M2经图像取反、二值化、膨胀、连通度分析等方法进行图像识别；最终以图中缺陷位置是否出现白色为识别标准，缺陷部位白色出现，判为识别；未出现白色，则认为未识别。同理，对正常枣和虫眼枣进行识别，虫眼枣以虫眼部位是否出现白点为识别标准（杂点忽略不计），而正常枣则以未出现白点为识别。

图3 虫害识别流程图Figure 3 Flow chart of insect pests recognition

2.3 目标识别结果

根据虫害识别流程图（图3）的步骤对120个长枣逐个进行了识别，如识别结果（表1）所示，正常枣、虫眼枣、裂痕枣经PCA法处理后，掩模与未掩模的识别率相同，说明不受背景干扰；而3种类型长枣经MNF法处理，正常枣的识别不受背景的影响，裂痕枣与虫眼枣受背景影响显著，虫眼枣、裂痕枣未掩模的识别率分别为69.2%，56.8%；而掩模后的识别率分别为73.1%，65.9%。通过对结果分析可知：正常枣的PCA与MNF识别效果相同，同时不受背景的影响；而裂痕枣、虫眼枣的PCA与MNF的识别效果差异明显，MNF分析受背景影响显著，主要可能是背景中噪音信息造成的。

表1 样本枣的识别结果Table 1 Sample date identification results

表1 样本枣的识别结果Table 1 Sample date identification results

NM.未掩模去背景；M.掩模去背景。

枣类型 样本数/个PCA MNF NM M虫害枣NM M 120 300 300 226 239 26 100 100 69.2 73.1裂痕枣 44 100 100 56.8 65.9正常枣 50 100 100 100 100合计

3 结论

本试验采用高光谱成像技术结合PCA法与MNF法，对比了掩模去背景与未掩模去背景长枣高光谱图像的缺陷识别效果，探讨了样本背景对高光谱图像缺陷识别的影响，结果表明：对于正常枣而言，无论是PCA法还是MNF法，背景对识别效果的影响不显著。对于裂痕枣与虫眼枣的MNF法识别，掩模效果显著，虫眼枣的识别率由69.2%增加到73.1%，裂痕枣的识别率从56.8%增长到65.9%。而且，通过对比2种分析方法可以看出，PCA法对长枣的缺陷识别效果优于MNF法。

本试验对灵武长枣的虫眼枣、裂痕枣及正常枣的识别结果PCA方法效果优于MNF方法，但在本文中没有体现出MNF法的优势。其原因主要有：① 受样本自身表皮影响：枣果面积小，颜色暗，且表面光滑易导致得到的高光谱图像缺陷周围形成亮斑，由于缺陷部位对光的吸收使得缺陷部位不明显，而PCA法作用于高光谱图像后恰好又将亮斑影响滤去，使得缺陷部位较明显突出，从而易被识别；② 由于高光谱仪器内部光源的安装及结构因素，使得面积本来就小的枣果表面覆盖亮斑，影响部分高光谱图像的采集效果，从而导致后续程序处理中因为不同方法在原理上的区别而存在差异；③ 在实际应用中，高光谱图像数据的降维压缩一般倾向于主成分分析法，但当需要识别和分离数据中的噪声，降低高光谱数据处理计算量时，MNF发挥的去噪作用会更好。而本次试验得到的结果，并非说明MNF法没有PCA法好，本研究在图像处理方法上为长枣常见缺陷的快速无损检测提供了导向和数据支持，并从侧面说明了可能PCA法更适合灵武长枣的缺陷识别。下一步将对MNF法进行深入的研究应用，并尝试采集大量样本，进一步去验证该识别算法的可靠性，以及探究如何能更好的发挥并体现MNF法应用于农产品无损检测方面的潜在优势。

1 徐爽，何建国，易东，等.基于高光谱图像技术的长枣糖度无损检测［J］.食品与机械，2012，28（6）：168～170.

2 刘燕德，张光伟.高光谱成像技术在农产品检测中的应用［J］.食品与机械，2012，28（5）：223～242

3 JohnsonⅢ Owen N，Slidell Mark，Kreishman Peter，et al.Hyperspectral imaging：an emerging technology as a potential novel adjunct in assessing peripheral perfusion deficits and success of lower extremity revascularizations［J］.Journal of the American College of Surgeons（S1072－7515），2008，207（3）：S114.

4 Kangjin Lee，Sukwon Kang，Stephen R Delwiche，et al.Correlation analysis of hyperspectral imagery for multispectral wavelength selection for detection of defects on apples［J］.Sensing and Instrumentation for Food Quality and Safety，2008，2（2）：90～96.

5 Xing Juan，Guyer Daniel，Ariana Diwan，et al.Determining optimal wavebands using genetic algorithm for detection of internalinsect infestation in tart cherry［J］.Sens.＆Instrumen.Food Qual，2008，28（2）：161～167.

6 Yasasvy Nanyam，Ruplal Choudhary，Lalit Gupta，et al.A decision-fusion strategy for fruit quality inspection using hyperspectral imaging［J］.Biosystems Engineering，2012，111（1）：118～125.

7 Qin Jian-wei，Thomas F B，Mark A R，et al.Detection of citrus canker using hyperspectral reflectance imaging with spectral information divergence［J］.Journal of Food Engineering，2009，93（2）：183～191.

8 苏文浩，何建国，刘贵珊，等.近红外高光谱图像技术在马铃薯外部缺陷检测中的应用［J］.食品与机械，2013，29（5）：1～9.

9 薛龙，黎静，刘木华.利用高光谱图像技术检测梨表面碰压伤的实验研究［J］.粮油加工，2009（4）：136～138.

10 思振华，何建国，刘贵珊，等.基于高光谱图像技术的羊肉表面污染无损检测［J］.食品与机械，2013，29（5）：75～79.

11 余克强，赵艳茹，李晓丽.基于高光谱成像技术的鲜枣裂纹的识别研究［J］.光谱学与光谱分析，2014，34（2）：532～537.

12 刘聪，郭康权，张强，等.基于近红外光谱的室温贮藏下鲜枣霉菌污染动力学模型［J］.农业工程学报，2013，29（1）：278～284.

13 吴龙国，何建国，刘贵珊，等.基于近红外高光谱成像技术的长枣含水量无损检测［J］.光电子·激光，2014，25（1）：135～140.

14 王斌，薛建新，张淑娟.基于高光谱成像技术的腐烂、病害梨枣检测［J］.农业机械学报，2013，44（1）：205～209.

15 徐爽，易东.利用高光谱成像技术检测长枣表面虫伤［J］.电子制作，2013（21）：47～48.

16 Zhang Shu-juan，Zhang Hai-hong，Zhao Yan-ru，et al.A simple identification model for subtle bruises on the fresh jujube based on NIR spectroscopy［J］.Mathematical and Computer Modelling，2013，58（3～4）：545～550.

17 吴龙国，何建国，刘贵珊，等.基于NIR高光谱成像技术的长枣虫眼无损检测［J］.发光学报，2013，11（34）：1 527～1 532.

18 赵杰文，刘剑华，陈全胜，等.利用高光谱图像技术检测水果轻微损伤［J］.农业机械学报，2008，39（1）：106～109.

19 Lu Ren-fen.Nondestructive measurement of firmness and soluble solids content for apple fruit using hyperspectral scattering images［J］.Sens ＆Instrumen Food Qual，2007（1）：19～27.

20 蔡健荣，王建黑，陈全胜，等.波段比算法结合高光谱图像技术检测柑橘果锈［J］.农业工程学报，2009，25（1）：127～131.

21 Green A A，Berman M，Switzer P，et al.A transformation for ordering multispectral data in terms of image quality with implications for noise removal［J］.IEEE Transactions on Geoscience and Remote Sensing，1988，26（1）：65～74.

22 肖雄斌，厉小润，赵辽英.基于最小噪声分离变换的高光谱异常检测方法研究［J］.计算机应用于软件，2012，29（4）：125～128.

23 赵杰文，陈全胜，林颢，等.现代成像技术及其在食品、农产品检测中的应用［M］.北京：机械工业出版社，2010：72～74.