基于NIR高光谱成像技术的长枣虫眼无损检测

吴龙国，何建国*，刘贵珊，贺晓光，王 伟，王松磊，李 丹

(1.宁夏大学农学院，宁夏银川 750021;2.宁夏大学物理电气信息学院，宁夏银川 750021)

1 引 言

宁夏灵武长枣为鼠李科枣属植物的果实，色红个大，呈椭球体，品相辨识度高，因其独特的外形与风味而出名，同时也是宁夏回族自治区的重点支柱产业之一。然而，在枣的生长过程中，难免会受到各种病虫害感染，导致虫眼枣的出现，使其丧失了可食性，极大地影响了红枣的品质和销售。由此可见，新鲜长枣的虫眼检测显得尤为重要。传统的检测方法大多由人工操作，耗时耗力、效率低，无法满足大规模的生产需求，因此，亟需发展一种快速、无损、高效的检测方法来实现长枣虫眼的检测。

光谱技术作为一门新兴技术，克服了传统检测方法的缺陷。在农产品检测方面，近红外光谱技术应用广泛，但它只能对农产品局部区域的光谱信息进行处理，而无法获得被测样的图像信息，从而不能综合反映农产品的品质信息。新一代的无损检测技术——高光谱成像技术，弥补了近红外光谱技术的弊端，将传统的二维成像技术和光谱技术有机结合，可同时获得被测物的图像信息与光谱信息，从而真正地实现了图谱合二为一，开启了无损检测技术新的篇章。该技术现广泛应用于天文学［1］、农业科学［2］、药学［3］、医学［4］等领域。在农产品缺陷检测方面，薛龙等［5］利用高光谱成像技术结合主成分分析法对梨的表面碰压伤进行了检测，检出率为97%;李江波等［6］基于高光谱成像技术，采用特征波长的主成分分析法结合波段比算法对脐橙溃疡进行识别，正确率从80%提高到95.7%，证明波段比算法对于脐橙溃疡的检测是有效的;赵娟等［7］也采用主成分分析法结合波段比的算法对苹果的外观缺陷进行了研究，缺陷苹果的识别率达93.75%;LÜ Qiang等［8］利用可见-近红外高光谱图像技术对猕猴桃的隐性损伤进行了研究，采用主成分分析法结合平行六面体分类法进行检测，误检率为14.5%;J.Wang等［9］利用高光谱成像技术(400 ～720 nm)对红枣外部虫眼进行了检测识别，识别率为97.0%。然而，利用近红外高光谱成像技术对长枣外部虫眼检测的研究尚鲜有报道。

本文利用近红外高光谱成像系统(900～1 700 nm)采集虫眼枣与正常枣图像，选择感兴趣区域(Region of interests，ROIs)获取平均光谱，采用主成分分析法(Principal component analysis，PCA)结合波段比(Band ratio，BR)算法对虫眼进行识别。研究结果表明，基于NIR高光谱成像技术的检测方法对虫眼枣识别是可行的。

2 材料与方法

2.1 实验材料

以宁夏灵武长枣为研究对象，在当地枣园的不同枣树上，通过手摘方式采集了130个长枣作为实验样本，其中正常枣50个，虫眼枣80个(普通虫眼枣54个、针状虫眼枣16个、溃疡虫眼枣10个)，采集到的样本置于冰箱中4℃下贮藏。在采集高光谱图像时，将所有样本从冰箱中取出，用清水清洗干净，将其放置到通风处2 h后进行图像采集。

2.2 高光谱成像系统

图1 高光谱图像数据块(可同时获得任何像素点下的图像信息与光谱信息)Fig.1 Hyperspectral imaging datacube(obtain every pixel's imaging and spectral information at the same time)

高光谱图像是在特定波长范围内由一系列连续的较窄波段图像组成的三维图像数据块(图1)。图中，x和y表示二维平面坐标轴，λ表示波长信息坐标轴。高光谱图像可以同时获取某个特定波长下的图像信息和x-y平面内某个特定像素点下的不同波长的光谱信息。在每个波长下，x-y平面内每个像素点的灰度值与其在该波长下的光谱值之间一一对应;在某个特定波长下，感兴趣区域(ROIs)与正常区域之间的光谱值会存在较大差异［10］。因此，在此波长下的图像中，它们之间的灰度也必然存在着一定的差异，进而对被测物进行判别分析，从而实现被测物在线分级。

HyperSIS-NIR高光谱成像系统(900～1 700 nm，光谱分辨率3 nm，256个波段)由高光谱成像光谱仪(Imspector N17E)、CCD相机(Zelos-285GV)、4个35 W卤钨灯(HSIA-LS-TDIF)、电控位移平台(PSA200-11-X)、计算机(Lenovo Inter(R)Core i7-2600CPU@3.40 GHz，RAM 4.00G)和数据采集软件(Spectra SENS)5部分组成，见图2。

图2 高光谱图像系统Fig.2 Hyperspectral imaging system

2.3 高光谱图像的采集

2.3.1 图像校正

由于在不同的波段下光源强度分布不均匀、水果的形状各异以及箱体中暗电流的存在，导致在光源强度弱的波段下的图像含有较大的噪音，对数据处理带来了冗余的信息。因此，需要对所获得的高光谱图像进行黑白标定［11］。首先进行白板校正得到全白的标定图像W，然后盖上相机镜头盖进行图像采集得到全黑的标定图像D，然后按照公式(1)对原始图像进行标定:

式中:Ro是样本原始的漫反射光谱图像，W是白板的漫反射图像，D是暗图像，R是校正后的漫反射光谱图像。

2.3.2 采集参数的确定

高光谱成像系统采集水果图像时，因不同水果表皮的粗糙程度、颜色、光泽有所差异，导致图像采集系统中的焦距、透光量、载物台移动的速度、曝光时间等参数都会影响水果样本图像的采集。因此，根据不同水果的特性，确定合适的图像采集参数显得尤为重要。

经过预实验，我们确定的长枣的最佳采集参数为:光源的稳流6.2 A;物距385 mm;输送装置的步距15 mm/s;成像光谱仪的曝光时间10 ms;扫描线实际长度180 mm。

2.3.3 采集高光谱长枣图像

如图2所示，每组取8个长枣样本，按照一定的顺序摆放在载物台上，关闭暗箱门进行扫描，获取所有样本的高光谱图像数据;采用ENVI 4.7软件裁剪高光谱图像，得到130个高光谱长枣图像，运用 Matlab R2011a(The Mathworks Inc.，Natick，MA，USA)软件进行目标图像识别。

2.4 数据处理方法

2.4.1 主成分分析法

主成分分析法(PCA)是一种常用的降维去噪的方法，主要是将样品中含有的大量信息通过线性组合的方式用较少的相互独立变量来表示。其原理如公式(2)所示:

式中，PCk表示第 k主成分图像;αi表示第i个权重系数;pi表示第i个波段图像;n表示原始图像波段数(0≤n≤256)。

2.4.2 波段比算法

波段比(BR)算法不但可以有效地降低样本表面不平整带来光线反射不均匀的影响，还可以增强波段之间的波谱差异，提供一些任何单一波段无法得到的独特信息［12］。其原理是用两个波段相除从而获得一幅相对波段强度图像，其数学表达式如公式(3)所示:

式中:BW(i，j，r)为不同波段下图像相应位置像素(i，j)的比值;BW(i，j，m)和 BW(i，j，n)为第 m 和 n 波段相同位置像素(i，j)的灰度值。

3 结果与讨论

3.1 特征光谱提取与分析

由于长枣的高光谱图像上每一个像素点都含有900～1 700 nm下的光谱信息，所以为了使样本的感兴趣区域(ROIs)更具代表性，我们选取3×3像素点下的背景、果梗、虫眼枣的虫眼区域与正常枣作为感兴趣区域，提取其平均光谱(图3)。从图3可以看出:(1)波段范围在970 nm以下和1 670 nm以上，噪音干扰比较明显，因此选择970～1 670 nm波段做后续数据分析。(2)在970～1 420 nm范围内，正常枣与虫眼区域光谱曲线趋势相同，但峰值差别显著，正常枣的反射率大于虫眼部位的反射率;而在1 420 nm以上波段，正常枣与虫眼部位差别不太明显。(3)在1 160～1 630 nm范围内，虫眼、果梗、正常枣与背景光谱差别显著，而且几乎呈递减趋势。(4)在1 160 nm与1 360 nm处，果梗与正常枣和虫眼分别相交，为后续识别奠定基础。

图3 虫眼枣的平均光谱曲线图Fig.3 The average spectra of insect hole jujubes

3.2 主成分分析

图4 前4主成分图(普通虫眼、针状虫眼、溃疡虫眼、正常枣)Fig.4 The first four principal component of images(common insect hole，pin insect hole，canker insect hole jujube and intact jujube)

本实验中，采用PCA法对普通虫眼、针状虫眼、溃疡虫眼与正常枣的970～1 670 nm波段范围的数据进行分析。图4为普通虫眼、针状虫眼、溃疡虫眼与正常枣的前4主成分图像。从图4可以看出，不同类型长枣的前3个主成分图像基本保留了绝大部分的信息，PC-4图像噪音干扰严重。比较前3幅PC图像可知:PC-1的虫眼与附近区域对比度不如PC-2明显，轮廓比较模糊;PC-3的虫眼与表面凹坑、不平整比较相似，不利于虫眼的区分。相比而言，PC-2图像更适合虫眼的分割。

由PCA的原理可知，每幅PC图像实际上是不同波段下原始图像进行的一种线性组合。如公式(4)、(5)、(6)所示:

根据权重系数α值的大小可以进行特征波长的选取。曲线中每一处的局部极大或极小值都代表了一个特征波长，也就是说这些特征波长下的图像对PC图像的贡献率较大。由于PC4图主要是噪音，因此本实验只选择PC1～PC3数据进行分析。图5为PC1～PC3的权重系数图。从图中可知，PC1的特征波长为1 028 nm;PC2的特征波长为 990，1 028，1 160，1 231，1 285 ，1 455 nm;PC3 的特征波长为 987，1 028，1 109，1 380，1 464 nm。

图5 前3主成分的权重系数图Fig.5 Weighting coefficients for PC1 ～ PC3 images

3.3 特征波段主成分分析

虽然选择全波段的PC2图像能有效的识别虫眼，但因其具有的高维数据使其应用于在线检测具有一定的局限性。因此，开发一种低维、高效、快速的识别虫眼长枣是解决长枣采后在线检测的关键。本文尝试对特征波长进行主成分分析，进行长枣虫眼检测。对前3主成分的特征波长，经过反复的图像识别实验，结果发现:987 nm与990 nm的图像识别结果相同;1 380，1 455，1 464 nm的图像识别结果相同。综合考虑之后，选择 990，1 028，1 109，1 160，1 231，1 285，1 464 nm做主成分分析。图6为不同虫眼枣与正常枣特征波长的PC图。从图中可以看出，虫眼的PC2图像的虫眼与正常部位差异显著，故选择PC2图像作为研究对象。

图6 特征波长的前4个主成分图像(普通虫眼、针状虫眼、溃疡虫眼、正常枣)Fig.6 The first four PC images of optimal wavelengths(common insect hole，pin insect hole，canker insect hole jujube and intact jujube)

3.4 虫眼识别算法

对比分析虫眼枣(普通虫眼、针状虫眼、溃疡虫眼)的全波段与特征波长的主成分图像识别，结果发现特征波长的主成分图像PC2与全波段的PC2图像识别效果相当，因而选择特征波长的主成分图像进行图像识别。对普通虫眼枣、针状虫眼枣、溃疡虫眼枣以及正常枣归一化处理后的PC2图，分别采用二值化的阈值为 0.7、0.55、0.85、0.7 可以有效地进行识别，但无法用于实际生产中。为了开发一种通用的识别算法，我们采用单阈值0.7为基准进行识别，视其它阈值为误判或未识别。

根据上述特征波长的主成分图像识别结果并结合实验发现，对于针状虫眼与溃疡虫眼枣归一化后的PC2图像，由于其虫眼处光学特性比较相似，无法通过二值化阈值0.7进行直接识别。因此，我们采用波段比算法进一步识别。对7个特征波长 990，1 028，1 109，1 160，1 231，1 285，1 464 nm的归一化的图像进行两两组合，结果发现，采用1 109 nm和1 231 nm参与波段比运算效果较好。如图7所示，选择特征波长下的图像进行主成分分析，对1 464 nm归一化后的图像，采用阈值0.04进行图像分割获取掩模图像，对PC2的图像进行掩模，然后进行图像算法识别，最终以虫眼部位是否出现白点为依据，进行人工识别。接着对未识别的虫眼枣，进行波段比(R1231/R1109)算法识别。从图中可以看出:波段比后的图中出现了2个白点，其中一个为虫眼，另一个为杂点，实验中以虫眼部位识别为标准(杂点忽略不计);而对于正常枣的识别，则是以未出现白点为原则。另外，果梗、背景对识别结果的影响甚微，这为水果在线检测提供了理论依据。

图7 虫枣的识别流程图Fig.7 The identification progress image of insect hole jujube

3.5 虫眼枣与正常枣的识别结果

基于图7的识别流程对130个长枣逐一进行识别，结果如表1所示。采用特征波长的PC图，二值化的阈值设为0.7可以很好地识别普通虫眼枣与正常枣，识别率为80%;利用波段比算法可以有效的对虫眼枣与正常枣进行识别，识别率达93.8%。通过结果分析可知:对于未识别的针状虫眼枣，由于其虫眼过小导致无法进行正常识别;而对于未识别的溃疡虫眼枣而言，则是因为虫眼部位过大并靠近边缘区域而无法被正常识别。

表1 虫眼枣与正常枣的识别结果Table 1 Classification results for normal surface and insect hole jujubes

4 结 论

本实验对比了全波段与特征波长主成分图像的识别效果，结果表明，利用特征波长990，1 028，1 109，1 160，1 231，1 285，1 464 nm 完全可以替代全波段进行识别，虫眼枣与正常枣的识别率分别为67.5%、100%。进一步采用波段比(R1231/R1109)，虫眼枣识别率提高到90%，证明波段比的确可以提高对虫眼的识别率。基于波段比的算法的研究，可以选取相应的滤波片，有助于长枣虫眼在线检测的应用。另外，本实验的识别算法比较简单易操作，果梗、背景的影响较小，这也为在线检测奠定了坚实的基础。虽然本试验只是对灵武长枣的普通虫眼、针状虫眼、溃疡虫眼枣以及正常枣的识别，但对于其他水果缺陷的检测也有可能适用。今后可增加不同类型缺陷的长枣的样本数进行识别，进一步去验证该识别算法的可靠性。

［1］Hege E，O'Connell D，Johnson W，et al.Hyperspectral imaging for astronomy and space surveillance［J］.Proc.SPIE，2003，51:380-391.

［2］Monteiro S，Minekawa Y，Kosugi Y，et al.Prediction of sweetness and amino acid content in soybean crops from hyperspectral imagery［J］.ISPRS J.Photogrammetry and Remote Sensing，2007，62(1):2-12.

［3］Lyon R C，Lester D S，Lewis E N，et al.Near-infrared spectral imaging for quality assurance of pharmaceutical products:Analysis of tablets to assess powder blend homogeneity［J］.AAPS Pharm.Sci.Tech.，2002，3(3):1-15.

［4］Ferris D，Lawhead R，Dickman E，et al.Multimodal hyperspectral imaging for the noninvasive diagnosis of cervical neoplasia［J］.J.Lower Gen.Tract D，2001，5:65-72.

［5］Xue L，Li J，Liu M H.Researches of hyperspectral imaging in the detection of surface bruising of pear［J］.Cere.Oils Proc.(粮油加工)，2009，4:136-138(in Chinese).

［6］Li J B，Rao X Q，Ying Y B，et al.Detection of navel oranges canker based on hyperspectral imaging technology［J］.Transac.CSAE(农业工程学报)，2010，26(8):222-228(in Chinese).

［7］Zhao J，Peng Y K，Zhao S W，et al.Detection of defects in apples based on hyperspectral imaging technology［J］.J.Food S.Q.(食品安全质量检测学报)，2012，6(3):681-684(in Chinese).

［8］Lü Q，Tang M J.Detection of hidden bruise on Kiwi fruit using hyperspectral imaging and parallelepiped classification［J］.Procedia Environ.Sci.，2012，12:1172-1179.

［9］Wang J，Nakano K，Ohashi S，et al.Detection of external insect infestations in jujube fruit using hyperspectral reflectance imaging［J］.Biosys.Eng.，2011，108:345-351.

［10］Li J B，Rao X Q，Ying Y B.Advance on application of hyperspectral imaging to non-destructive detection of agricultural products external quality［J］.Spectrosc.Spect.Anal.(光谱学与光谱分析)，2011，31(8):2021-2026(in Chinese).

［11］Polder G，Gerie W A M，Van de Heijden.Calibration and characterization of imaging spectrographs［J］.Near-Infrared Spectroscopy，2003，11:193-210.

［12］Cai J R，Wang J H，Chen Q S，et al.Detection of rust in citrus by hyperspectral imaging technology and band ratio algorithm［J］.Transac.CSAE(农业工程学报)，2009，25(1):127-131(in Chinese).