玉米籽粒霉变等级高光谱图像检测方法研究

杨 东，王舒卉，吴建华，姜俊伊，宋 凯，石天玉

(国家粮食和物资储备局科学研究院粮食储运国家工程研究中心1，北京 100037) (沈阳理工大学2，沈阳 110159)

玉米霉变籽粒是指玉米表面发霉，且伤及玉米胚部和胚乳致其变色变味，无食用价值的玉米颗粒。它会侵染健康的玉米籽粒，给农民造成严重的经济损失，如不小心食用还会危害身体健康。因此，检验玉米霉变籽粒是一项非常重要的工作，我国一直使用传统的质检方法，即专业质检员随机抽取100 g玉米籽粒样品，肉眼判断玉米籽粒是否发生霉变，若一份样品中的霉变籽粒个数占比少于2%，则认为该份样品是合格品。使用该方法判定样品是否合格存在一定滞后性，而且人工检测对于质检员要求较高，长时间工作难免出现误检。因此，我国急需研发一种快速准确的玉米籽粒检测装置，提高粮食检测效率，同时也能对粮食行业的发展起到一定的促进作用。

国外已有将高光谱成像技术[1](HSI)应用于农作物病变检测的研究，Mahlein等[2]利用HSI分别对甜菜褐斑病、白粉病和叶锈病的不同发育阶段叶片特征和光谱反射率进行研究，研究结果表明病原菌对叶片反射率的影响与病害发展阶段和症状有关。Williams等[3]利用HSI探究感染轮状镰刀菌的玉米籽粒表面受真菌侵染的变化程度与真菌活性之间的关系，研究结果表明真菌引起了玉米籽粒中淀粉和蛋白质的变化，进而导致玉米表面出现变化。Daniel等[4]利用HSI对不同地区的玉米籽粒表面黄曲霉毒素进行分类，研究结果表明玉米籽粒品种的差异对分类没有影响，且玉米霉变籽粒的分类准确率可达96%。Gonzalez等[5]利用HSI对受二斑叶螨侵害的柑橘叶片进行检测，识别准确率可达92.5%，未受侵染的叶片均被正确识别。

国内相关研究也陆续开展。孙钰莹等[6]利用HSI识别小麦霉变籽粒，并确定预测小麦霉变粒最优模型为SPA-OSC-SVM。袁瑞瑞等[7]利用HSI对损伤长枣进行分类，对比了不同预处理方法和不同分类器下的模型识别准确率，最终确定偏最小二乘判别分析的模型是最优的分类模型。陈子涵等[8]利用HSI识别双孢蘑菇早期病害，确定最优识别模型为MSC-DT-ELM，其测试集和预测集识别准确率分别为92.39%和91.32%。康丽等[9]利用HSI检测水稻早期稻瘟病害，确定最优识别模型为CARS-PCA-SVM，其对各等级样本识别准确率均高于94.29%。

HSI在农作物的无损检测方面具有一定潜力,可以为农作物病害早期防治、精准施药及检测仪器开发提供理论依据。但多数研究都仅针对样品整体进行特征提取，没有针对某一特征最显著的区域进行分析探究。基于此，本实验运用HSI结合机器学习算法，针对玉米籽粒胚部进行感兴趣区域划分、特征提取、模型构建，开展玉米籽粒早期霉变快速识别方法的研究。

1 材料与方法

1.1 实验样本制备

实验中的玉米籽粒样品由地方粮库提供，同时依据LS/T 6132—2018《粮油检验储粮真菌的检测孢子计数法》测定其真菌孢子数量，以真菌孢子实测值为基准将玉米籽粒霉变等级划分为4个等级，即等级1、等级2、等级3和等级4，分别对应玉米安全籽粒(孢子数<1.0×105)、轻度霉变籽粒(1.0×105<孢子数 <9.9×105)、中度霉变籽粒(1.0×106<孢子数<9.9×106)和重度霉变籽粒(孢子数>1.0×107)。经数据统计，共有285个符合标准的玉米籽粒样品，其中，72个样本被划分为等级1；66个样本被划分为等级2；剩余75个和72个样本被分别划分为等级3和等级4。随机选取2/3的样品(190个)作为训练集，剩下1/3的样品(95个)作为测试集，进行分类建模研究。

图1 高光谱成像系统

1.2 高光谱成像系统设备组成

实验中所使用的高光谱成像采集系统设备如图1所示。其主要由精密步进电机(EZHR17EN)，1套150 W3900-ER稳定输出卤素灯光源，ImSpector V10E-QE成像光谱仪，Andor Luca DL-604M面阵EMCCD相机和1台Dell E6520计算机组成[10]，各部件均放置在暗箱中，避免外部因素影响实验结果。

1.3 图像采集及校正

在进行高光谱图像采集前，需要对仪器进行校正，去除噪声、电流等因素对玉米籽粒图像的影响[11]。首先采集黑、白板图像各1组，分别记为Rw和Rd，其次运用式(1)对采集到的图像进行校正。

(1)

式中：RC为校正后的玉米籽粒高光谱图像；Ri为玉米籽粒原始光谱图像。

玉米籽粒图像采集主要依靠Spectral Image-VNIR软件。在软件中设置相机曝光时间为6 ms、位移平台速度为1.2 mm/s，将预先准备好的玉米籽粒样品放置在高光谱成像仪的位移平台上，扫描得到实验所需的样品图像。

1.4 图像预处理

以单个玉米籽粒为例进行说明，首先从图2a中分别选择反射强度较高和较低的2幅单一波段图像(715 nm和517 nm)进行差运算形成灰度图，见图2b，经过二值化处理后得到掩膜图像(图2c)，图2a和图2c进行掩膜处理后得到去除背景的玉米籽粒图像(图2d)，接着对该图像做主成分分析，选取其中最能体现玉米籽粒胚部和其他部分差异的图像，即PC1和PC2(图2e)，对这2幅图像中的像素点进行分类，生成散点图(如图2f所示)，使用浅色和深色分别表示玉米胚部和其他部分，具有相似光谱特性的像素点会聚集在某个区域，自动形成一类(图2g)，再分别提取2个区域中的平均光谱，如图2h所示，玉米胚部光谱数据呈较稳定的上升趋势，在950～1 000 nm区间内略有下降，玉米籽粒健康部分也呈上升趋势，在0～500 nm和550～880 nm区间内上升幅度较缓，在500～550 nm区间上升幅度最快，在880～1 000 nm区间内呈下降趋势。在0～515 nm区间内，玉米胚部的平均光谱数据略高于玉米籽粒健康部分，在515～1 000 nm区间内两者差距较大。这些差异可能是由于霉菌侵入玉米籽粒胚部后，将其营养物质吸收转化，改变了原有的内部成分。因此，通过分析可再次使用掩膜，将玉米籽粒的胚部单独提取出来，用于后续图像特征提取及挖掘。

图2 玉米籽粒图像预处理

1.5 光谱特征提取

使用高光谱成像系统采集的玉米籽粒光谱数据是1个立方体，其上波段数目众多，信息量庞大，数据之间存在大量冗余，不但会降低计算机的运行效率，还会使模型精度不佳[12]。因此，在进行光谱特征提取前需要对原始数据进行降维，这样能在最大程度保留原始信息的同时降低数据量，提高建模效率。本文选取主成分分析[13](PCA)的方式对光谱数据进行降维，PCA是一种常见的数据降维方法，它是将原始变量进行排列组合，生成一组互不相关的变量，该方法不但能解决数据量过多的问题，还能简化计算，减少模型运算时间。然后使用随机蛙跳[14](RF)算法对降维后的光谱数据进行特征提取，优选出能表征玉米籽粒光谱特征的最佳波长，建立最优识别模型。

1.6 图像特征提取

因玉米籽粒受霉菌侵染后表面会出现发黑发暗的现象，进而影响其表面纹理的分布状况，故本文分别提取玉米籽粒图像的颜色特征和纹理特征用于模型建立。颜色特征采用颜色矩[15]的方式进行提取，由于图像中的颜色信息通常都集中在低阶矩中，因此只需提取图像的一阶矩、二阶矩和三阶矩就足以表达一幅图像中的颜色分布。纹理特征采用Tamura算法[16]进行提取，分别提取图像的粗糙度、线性度和对比度进行纹理特征表达。

1.7 模型建立方法与评价准则

本研究分别采用支持向量机[17](SVM)、极限学习机[18](ELM)和偏最小二乘回归[19](PLSR)3种算法探究能够识别不同等级玉米籽粒的最优模型。模型评价准则为混淆矩阵法，即通过模型识别准确率Acc的高低来判定模型的优劣，混淆矩阵分类结果如表1所示。

表1 混淆矩阵分类结果

表中，TP为真正例，即真样本被判别为真样本的数量；FN为假反例，即真样本被判别为假样本的数量；FP为假正例，即假样本被判别为真样本是数量；TN为真反例，即假样本被判别为假样本数量。则Acc的计算公式见式(2)。

(2)

2 结果与讨论

2.1 原始光谱特性分析

在本实验中，选取400～1 000 nm范围内的玉米籽粒光谱数据进行分析，如图3所示，其上共有824条光谱数据曲线，光谱曲线整体走势趋于一致，无明显差异。在400～500 nm和500～900 nm范围内光谱反射强度呈上升趋势，在500 nm处左右出现光谱反射率低谷，在900～1 000 nm范围内呈略下降趋势。但不同等级玉米籽粒的平均光谱数据存在显著差别，如图4所示，随着玉米籽粒霉变程度的增加，光谱反射强度逐渐减小，由此可知，受霉菌侵染的玉米籽粒对光的吸收能力有所增强。除此之外，400～600 nm范围内的光谱反射率较低，可能与玉米籽粒中的色素对光的高强度吸收有关，在500 nm出现的低谷可能与玉米籽粒的颜色变化有关。

图3 玉米籽粒原始光谱数据

图4 不同等级玉米籽粒平均光谱数据

2.2 光谱特征波段选择

利用RF算法优选出的特征波长变量结果为428、444、454、469、477、488、520、545、576、579、716、907、913、924、949、960、976 nm。将被选择频次设置为20，如图5所示，17个特征波长集中分布在400～1 000 nm波段两端，其中454、469、576、716、913、924、960 nm处7个特征波长被选择的概率较高，作为优选的特征变量。

图5 RF算法中特征波长被选择的频次

2.3 图像特征提取

基于2.2中提取出的7个特征波长变量所对应的玉米籽粒图像，分别使用颜色矩和Tamura算法提取每幅图像的颜色特征和纹理特征。其结果如表2、表3所示。不同等级玉米籽粒在颜色特征值上均存在差异。安全籽粒的一阶矩明显高于霉变籽粒；二阶矩和三阶矩明显低于霉变籽粒。而不同等级玉米籽粒在纹理特征值上也存在差异。安全籽粒在粗糙度和线性度上明显低于霉变籽粒，而在对比度上则明显高于霉变籽粒，由此可知，图像颜色特征和纹理特征可作为区分不同等级玉米籽粒的依据。

表2 不同等级玉米籽粒颜色特征值统计

表3 不同等级玉米籽粒纹理特征值统计

2.4 分类模型的建立

2.4.1 基于光谱全波段的玉米籽粒鉴别

基于原始全波段光谱数据(824个)，结合SVM、ELM和PLSR 3种分类器分别建立不同等级玉米籽粒识别模型，其结果如表4所示。基于原始光谱波段所建模型Acc均不理想，其中结合ELM算法所建模型精度最高，其训练集和测试集Acc分别为84.73%和83.15%，结合SVM和PLSR算法所建模型Acc均未达到80%，模型精度有待提高。

2.4.2 基于特征波段的玉米籽粒鉴别

利用RF算法提取出的7个特征波长变量，结合SVM、ELM和PLSR算法分别建立RF-SVM、RF-ELM和RF-PLSR模型，用于判别不同等级玉米籽粒霉变程度，其结果如表5所示。

相比于全波段光谱数据所建模型来说，使用7个光谱特征变量所建模型的波段数更少，计算量更小，模型精度反而更高，这说明使用光谱特征建立模型是有效的，可以降低计算难度，提升模型精度。在表5所建立的3个模型中，表现最好的是RF-ELM模型，其训练集和测试集Acc可以达到91.05%和89.47%，模型精度和模型稳定性较好；其次是RF-SVM模型，其训练集和测试集Acc分别为88.94%和85.26%，模型精度和模型稳定性均不如RF-ELM模型；表现最不理想的是RF-PLSR模型，其训练集和测试集Acc均未达到84.00%，模型精度较差。

2.4.3 基于图像特征的玉米籽粒鉴别

针对提取出的7个光谱特征变量，找到每个变量所对应的玉米籽粒图像，在每幅图像中提取3个颜色特征(即一阶矩、二阶矩和三阶矩)和3个纹理特征(即粗糙度、线性度和对比度)，即共有42个图像特征变量，并结合SVM、ELM和PLSR算法分别建立不同等级玉米籽粒分类模型，其结果如表6所示。

从总体上看，结合图像特征所建立的不同等级玉米籽粒分类模型识别结果并不理想，各模型训练集和测试集的Acc均低于90.00%。其中，识别效果最佳的模型为结合ELM算法的分类模型，相比于结合SVM和PLSR算法的模型来说，其精度较高，训练集和测试集的Acc分别可达88.42%和87.36%。相较于原始光谱数据所建模型，结合图像特征所建模型的Acc均有所提升，说明利用图像特征识别不同等级玉米籽粒是可行的，可以在一定程度上提升模型精度。而相较于光谱特征所建模型，利用图像特征所建模型的Acc效果不及前者，这可能是由于图像特征主要表征玉米籽粒的外部特性，而光谱特征可以深入探究玉米籽粒内部成分的变化，对比两者结果可得，使用内部特征所建模型要优于使用外部特征所建模型。

表4 基于全波段光谱特征的模型识别结果

表5 基于特征波段的模型识别结果

2.4.4 基于图像特征和光谱特征的玉米籽粒鉴别

基于提取的图像特征和光谱特征，结合SVM、ELM和PLSR算法，分别建立不同等级玉米籽粒的识别模型，其结果如表7所示。结合图像特征和光谱特征所建的模型相较于只结合图像特征或光谱特征其中之一的模型识别精度都要高。其中，表现最好的模型是ELM模型，其训练集和测试集的Acc均超过了93.00%，分别为94.21%和93.68%，模型精度达到预期，模型稳定性较好；其次是SVM模型，其训练集和测试集的Acc分别为91.57%和89.47%，模型精度和模型稳定性还有一定上升空间，PLSR模型Acc有所提高，但依然比不上另外2个模型。因此，本研究选用结合图像特征和光谱特征的ELM模型作为识别不同等级玉米籽粒的最佳模型。

2.5 模型的可视化

为了便于区分和观察玉米籽粒的健康部分和霉变部分，本文分别基于像素级和对象级对玉米籽粒不同霉变程度进行可视化表达，利用伪彩色表示不同等级玉米籽粒的霉变程度，即深蓝色表示等级1，绿色表示等级2，红色表示等级3，浅蓝色表示等级4。并利用最优模型预测玉米籽粒图像上各个像素点，预测结果如图7所示。从玉米籽粒原始图像中可以看出，随着玉米籽粒霉变程度的加深，玉米籽粒表面的反射强度越来越弱，图像整体变暗。在像素级的可视化图像中，有部分像素点被误判为其他等级，例如在等级2(绿色)中存在等级1(深蓝色)和等级3(红色)，在等级3中存在等级2和等级4(浅蓝色)，在等级4中存在等级3。在对象级的可视化图像中同样也存在误判的现象，例如将等级2识别为等级1和等级3，将等级3识别为等级1、等级2和等级3。以上情况说明玉米籽粒在发生霉变的过程中，各个部分的变化程度是不均匀的，但可视化技术可以将抽象的霉变程度转化为直观的颜色变化，使对玉米籽粒各个部分是否发生霉变有直接的展示。

表6 基于图像特征的模型识别结果

表7 光谱信息与图像特征结合识别结果

注：图片从上到下分别为原始图像、像素级可视化分类图、对象级可视化分类图。图7 不同霉变等级玉米籽粒可视化图像

3 结论

利用400～1 000 nm的高光谱成像技术分别从光谱信息和图像信息对不同等级玉米籽粒进行识别检测，通过研究可得：

通过建立的全波段光谱模型，对各等级玉米籽粒的识别精度在75%～85%范围内，在一定程度上说明采用高光谱成像技术可以实现对玉米霉变粒的有效检测，为了提升模型精度，采用RF算法进行波段选择，通过研究结果可知，利用选择的7个特征波段建立模型的Acc在82%～92%范围内，模型精度不够理想，因此在提取特征波段光谱信息的基础上，提取波段的图像信息。采用图像颜色信息和纹理信息建立鉴别模型，研究结果表明，使用提取的图像特征建立模型的Acc在82%～89%范围内，识别精度不如利用特征波段建立的模型。

由于分别采用特征波段的光谱信息和图像信息的识别精度均不够理想，因此将光谱信息与图像信息相结合进行玉米籽粒的鉴别，研究结果可知，结合光谱信息和图像信息建立的ELM模型识别精度最高，其训练集和测试集的Acc可达到94.21%和93.86%。因此，本研究中最佳的检测模型为结合图像特征的RF-ELM模型。