基于CNN神经网络的小麦不完善粒高光谱检测

于重重，周 兰，王 鑫，吴静珠，刘 倩

基于CNN神经网络的小麦不完善粒高光谱检测

于重重，周 兰，王 鑫，吴静珠，刘 倩

（北京工商大学计算机与信息工程学院，食品安全大数据技术北京市重点实验室，北京 100048）

利用高光谱成像技术对小麦不完善粒进行无损检测。以932 个小麦为样本，其中正常粒样本486 个、破损粒样本170 个、虫蚀粒样本149 个及黑胚粒样本127 个为研究对象，通过高光谱图像采集系统采集样本的光谱信息，然后从每个样本的116 个波段中选取30 个波段，建立基于深度学习的卷积神经网络（convolutional neural networks，CNN）模型。实验中的CNN采用2 个卷积层，第1层采用大小为3×3的32 个卷积核，第2层采用大小为5×5的64 个卷积核，池化层采用最大池，激活函数采用修正线性单元，为避免过拟合，在全连接层后面接入dropout层，参数设置为0.5，其他卷积参数均为默认值，得到校正集总识别率为100.00%，测试集总识别率为99.98%。最后，以支持向量机（support vector machine，SVM）为基线模型进行对比，从116 个波段中选取90 个波段进行建模，测试集总识别率为94.73%。通过实验对比可以看出，CNN模型比SVM模型识别率高。研究表明CNN模型能够实现对小麦不完善粒的准确、快速、无损检测。

小麦；不完善粒；高光谱检测；卷积神经网络模型

不完善粒小麦主要是指受到损伤，但是依旧具有一定使用价值的小麦颗粒，这些小麦包含有生芽粒、虫蚀粒、病斑粒（黑胚粒和赤霉病粒）、霉变粒和破损粒[1]。不完善粒小麦会影响小麦的容重、色泽、小麦品质和商品性质，更有甚者，霉变粒小麦可能引起人们中毒，黑胚小麦与人类的食道癌的发病也有一定的关系[2]。因此检测不完善粒对小麦收购、食品加工等具有重要的价值和意义。

传统不完善粒的检测方法主要是人工检测，具有工作强度大、检测速度慢、主观因素强以及准确率低等缺点。近年来国内外专家提出新的检测方法如基于声学原理[3]的检测方法、基于图像特征和BP神经网络的检测方法[4]，虽然这些方法解决了人工检测的一些问题，但是这些方法也都存在一定的弊端，例如，声学原理检测方法采用麦克风采集超声信号，具有噪声传播的缺点；基于图像特征和BP神经网络的检测方法对虫蚀粒小麦的检测精度较低。

近几年来，高光谱[5]成像技术依其快速无损检测以及图谱合一的独特优势得到快速发展。当前高光谱主要应用在地质调查[6]、农产品检测[7]、大气遥感[8]，食品医学安全[9-12]以及城市环境遥感等[13]民用方面，并且广泛应用于军事方面，如利用高光谱进行侦查识别[14]。

目前，虽然高光谱技术广泛应用于各个方面，但是其具有冗余性强，数据量大的特点，因此将传统的机器学习方法用于处理高光谱数据时，不仅准确率较低，而且时效性也较低。深度学习的卷积神经网络（convolutional neural networks，CNN）模型具有处理海量图片的优势，目前国内利用CNN模型进行小麦不完善粒的高光谱检测极少。本实验以正常粒和包括黑胚粒、虫蚀粒、破损粒的不完善粒小麦为分类样本，采用高光谱技术建立CNN模型[15-20]对上述4 种不完善粒进行四分类检测，从而推动对不完善粒小麦的快速、无损以及准确检测的发展。

1 材料与方法

1.1 材料

本实验采用样本材料由中国农业科学院作物研究所提供。正常样本与不完善粒的挑选均由实验人员凭借视觉经验区分，分别选出正常粒样本486 个、破损粒样本170 个、虫蚀粒样本149 个及黑胚粒样本127 个进行实验。

1.2 仪器与设备

采用北京安洲科技有限公司SOC710VP便携式高光谱成像光谱仪作为高光谱图像采集系统。

1.3 方法

1.3.1 高光谱图像采集系统参数

采集过程以及仪器参数设定：每类小麦样本以10×10网格状放置于样品台采集高光谱图像，图像分辨率为696×520像素，光谱扫描范围为493～1 106 nm，扫描速率为30 line/s，波段间隔为5.1 nm，波段数为116 个。

1.3.2 CNN模型建立法

CNN模型[21-22]是一种特殊的深层神经网络模型，该模型凭借其权值共享、卷积运算直接处理二维图像，避免前期对图像复杂的预处理，这对于较复杂的深层结构来说尤为重要，因此得到了广泛的应用。CNN常用的模型有LeNet、AlexNet、VGG、GoogleNet、ResNet等。一种典型的卷积网络结构是LeNet-5[23]，如图1所示。

图1 LeNet-5结构Fig. 1 LeNet-5 structure

CNN模型由输入层、卷积层、采样层、全连接层和输出层五部分构成，其中卷积层和采样层交替排列。卷积层有多个不相同的二维特征图，其中一个特征图提取一种特征，多个特征图提取多种特征。同一个特征图采用相同的卷积核，不相同的特征图采用不同的卷积核，同一特征图的权值是共享的。采样层，也称为特征映射层，对特征层提取的特征进行子采样，保证提取特征的缩放不变性。训练过程是使CNN的预测值尽可能的靠近期望值。

利用CNN方法进行图像识别的流程图如图2所示。

图2 CNN的图像识别过程Fig. 2 Image recognition process of CNN model

首先选定训练集和测试集的数目，其次对训练样本进行规则化，将其调整为相同的尺寸m×n，然后采用随机梯度下降进行权值更新，当误差或迭代次数达到阈值时训练停止。最后将测试集输入已经训练好的CNN网络中，通过前向传播得到最终的分类结果。

CNN的前向传播主要包括卷积和下采样2 个过程，如图3所示。

图3 卷积和下采样过程Fig. 3 Process of convolution and down sampling

卷积过程是采用一个可训练的滤波器fx与输入图像进行卷积，然后加上偏置bx得到卷积层Cx；子采样过程则是每相邻的若干像素取最大或者取平均值变为一个像素，然后与权值wx＋1进行相乘，再与偏置bx＋1相加，最后在激活函数的作用下生成一个特征映射图Sx＋1。

CNN是一个多感知机的演变，是一种特殊的深层神经网络，它的神经元采用局部链接的方式，同层的某些神经元又采用权值共享的策略，不仅降低了权值的维数易于计算，而且可以降低过拟合的程度，避免了传统识别方法进行复杂特征提取的缺点。另外CNN容错能力好，并且具有并行处理和自学习的能力，具有很好的适应性，能够很好地挖掘出数据的局部特征，有效提取全局训练特征进行分类，在模式识别的各个领域都取得很好的效果。

1.3.3 支持向量机（support vector machine model，SVM）模型建立

图4 采用SVM模型对小麦不完善粒进行分类流程图Fig. 4 Flow chart for classification of unsound kernels using SVM model

采用SVM模型对不完善粒小麦进行分类，如图4所示。SVM的思想是在由核函数确定的特征空间上构造软间隔分离超平面，用正则化因子平衡间隔最大化和训练误差最小化，通过决策面实现样本的二分类。它在解决小样本非线性及高维模式识别中表现出许多特有的优势，具有很好的泛化能力，因此本实验中的对比实验选用多类SVM分类器建模。

2 结果与分析

2.1 数据预处理

为了实现小麦种子的单粒识别，采用10×10的网格对每类小麦的单粒光谱波段图像进行分割提取，然后去除边缘噪声较大的部分，截取图像的分辨率为400×500。由于高光谱在测量临界区具有较大的机器噪声，需要去除两端噪声严重的波段，如图5a、b所示。因此从光谱扫描范围493～1 106 nm中选取730.9～889.9 nm范围内的波段。另外，原始高光谱数据具有波段多、冗余性强、数据量大等特点，如果直接采用全波段数据进行建模，则会导致建模效率降低、模型性能变差，根据每个波段的光谱图成像质量，从波长730.9～889.9 nm的范围内选取30 个高光谱波段作为特征波进行分析，如图5c、d所示。

图5 正常小麦不同波段光谱图Fig. 5 Spectra of normal wheat at different wavebands

2.2 CNN模型建立

正常粒样本486 个、破损粒样本170 个、虫蚀粒样本149 个及黑胚粒样本127 个，一共932 个样本，如图5所示，切分10×10的网格，切分出每一个籽粒作为样本单元，通过观察样本每个波段的光谱图成像质量[24-26]，在每个样本中选择46～75之间光谱质量好的30 个波段，则每个样本具有30 个样本光谱图，总共有27 960 个样本图作为CNN的输入图像数据，分别随机采用50%的样本作为训练集和测试集。4 类小麦类别的标签采用one-hot编码方式，分别为0001、0010、0100和1000。

CNN主要由卷积层、池化层和全连接层构成网络结构。卷积层用于特征提取，通过卷积运算降低噪声，增强原始信号特征。卷积层中的每个神经元的输入与前一层的局部感受野相连，进而提取该区域的特征，特征提取之后，它与其他特征间的位置关系也随之确定。该层中特征提取是否充分主要由卷积核的数量决定，卷积核个数越多，提取特征越详细。池化层根据图像的局部相关性特征，对卷积层得到的特征图进行下采样，不仅保留了有用信息而且可以实现数据降维，可以有效改善结果，且不易过拟合，池化的方法有最大池化、重叠池化等。全连接层将最终提取的二维特征转化为一维输入，然后连接一个分类器，进行分类识别。

根据网络训练的情况，最终建立相应参数的CNN模型，即建立两层卷积，第1层的卷积核大小为3×3，共32 个卷积核；第2层卷积核大小为5×5，共64 个卷积核；池化层大小为2×2，选用最大池；激活函数采用修正线性单元（rectifield linear units，ReLu）；为防止过拟合，在全连接层后接入dropout层，参数设置为0.5。

2.3 CNN模型建立结果

本实验建立CNN模型，实验平台为ubuntun14.04＋TensorFlow[23]，CPU：Intel(R) Xeon(R) CPU E5-2643；内存大小：64 GB；GPU：NVIDIA Tesla K40m×2；显存大小：12 GB×2。TensorFlow是Google发布的深度学习系统，具有高的灵活性、较强的可移植性以及支持多语言等特点。

本实验在训练模型时，根据loss函数曲线和accuracy值来评判模型训练情况，以及作为参数调节的依据。迭代次数设置为50 000（2 500×20），其中每迭代20 次显示一次结果。如图6所示，由loss函数曲线可以看出，在迭代18 000（900×20）次时，损失曲线开始陡降；迭代40 000（2 000×20）次左右之后，损失函数曲线降为0。最终得到正常小麦、虫蚀粒小麦和破损粒识别率均为100%，黑胚粒小麦样本识别率为99.98%，样本总的正确分类识别率为99.98%。因此可以反映该模型是可靠的。

图6 CNN模型的损失函数曲线图Fig. 6 Loss function curve of CNN model

为证明CNN模型识别精度高的优势，将其与经典的传统分类方法SVM[27-30]分类结果进行对比。SVM分类通过在MATLAB R2013a环境中调用台湾大学林智仁副教授等开发的LIBSVM工具包实现。采用SVM模型时，截去两端噪声严重波段，取569.7～1 045.0 nm范围内90 个波段的高光谱进行分析，依次在90 个波段条件下提取样本范围内的反射率平均值构成该籽粒样本的光谱信息。一共932 个样本，分别随机采用50%的样本作为训练集和测试集。SVM模型的惩罚变量c和核函数参数g决定了模型的学习能力和预测能力，故采用网格法进行参数寻优，其中c、g的取值范围均设置为[2－10，210]。最终c取值64，g取值0.5，通过实验发现当核函数为RBF时，模型的准确度较高，如表1所示。

表1 SVM模型与CNN模型样本识别率结果Table 1 Recognition rates of SVM and CNN models

由表1可以看出，无论是单个类型样本的识别率，还是总体识别率，除黑胚粒外，CNN模型的识别率都比SVM的高。所以可以看出CNN模型在目标的检测识别上更加精确，高效。

3 结 论

首先根据高光谱图像采集系统得到932 个样本的高光谱图像，然后采用黑白标定的方法对高光谱数据进行降噪处理，然后从每个样本的116 个波段中，选出噪声较小的46～75之间的30 个波段，建立CNN的小麦不完善粒分类模型，分类准确率达到99.98%。经过对比发现，CNN分类模型优于SVM分类模型。综上所述，基于深度学习算法的CNN模型与高光谱检测技术相结合实现小麦的不完善粒的快速准确识别是可行的。

[1] 薛朝美. 小麦不完善粒的分析[J]. 西部粮油科技, 2001, 26(5)∶ 54-55.DOI∶10.3969/j.issn.1007-6395.2 001.05.019.

[2] 赵亚娟, 韩小贤, 郭卫, 等. 霉变小麦品质影响的研究[J]. 河南工业大学(自然科学版), 2013, 34(2)∶ 43-46.

[3] 魏琳, 王爱民, 杨红卫. 基于声学原理的小麦虫蚀粒检测方法研究[J].农机化研究, 2013(6)∶ 33-36.

[4] 张玉荣, 陈赛赛, 周显青, 等. 基于图像处理和神经网络的小麦不完善粒识别方法研究[J]. 粮油食品科技, 2014, 22(3)∶ 58-63.DOI∶10.16210/j.cnki.1007-7561.2014.03.016.

[5] LU G L, FEI B W. Medical hyperspectral imaging∶ a review[J].Journal of Biomedical Optics, 2014, 19(1)∶ 10901. DOI∶10.1117/1.JBO.19.1.010901.

[6] 李万伦, 甘甫平. 矿山环境高光谱遥感监测研究进展[J]. 国土资源遥感, 2016, 28(2)∶ 2-7. DOI∶10.6 046/gtzyyg.2016.02.01.

[7] 吴静珠, 刘倩, 陈岩, 等. 基于近红外与高光谱技术的小麦种子多指标检测方法[J]. 传感器与微系统, 2016, 35(7)∶ 42-44.

[8] 刘旸, 蔡波, 班显秀, 等. AIRS红外高光谱资料反演大气水汽廓线研究进展[J]. 地球科学与进展, 2013, 28(8)∶ 890-896. DOI∶10.11867/j.issn.1001-8166.2013.08.0890.

[9] FENG Y Z, SUN D W. Application of hyperspectral imaging in food safety inspection and control∶ a review[J]. Critical Reviews in Food Science & Nutrition, 2012, 52(11)∶ 1039-1058. DOI∶10.1080/1040839 8.2011.651542.

[10] WU D, SUN D W. Advanced applications of hyperspectral imaging technology for food quality and safety analysis and assessment∶a review-part Ⅰ∶ fundamentals[J]. Innovative Food Science and Emerging Technologies, 2013, 19(1)∶ 15-28. DOI∶10.1016/j.ifset.2013.04.014.

[11] FEI B W, AKBARI H, HALIG L V. Hyperspectral imaging and spectral-spatial classification for cancer detection[C]//International Conference on Biomedical Engineering and Informatics. IEEE, 2013∶62-64.

[12] CHIN J A, WANG E C, KIBBE M R. Evaluation of hyperspectral technology for assessing the presence and severity of peripheral artery disease[J]. Journal of Vascular Surgery, 2011, 54(6)∶ 1679-1688.DOI∶10.1016/j.jvs.2011.06.022.Epub2011Jul31.

[13] KUDELA R M, PALACIOS S L, AUSTERBERRY D C, et al.Application of hyperspectral remote sensing to cyanobacterial blooms in inland waters[J]. Remote Sensing of Environment, 2015, 167∶ 196-205. DOI:10.1016/j.rse.2015.01.025.

[14] 麻永平, 张炜, 刘东旭. 高光谱侦查技术特点及其面对地面军事目标威胁分析[J]. 上海航天, 2012, 29(1)∶ 37-40.

[15] SLAVKOVIKJ V, VERSTOCKT S, NEVE W D, et al. Hyperspectral image classification with convolutional neural networks[C]//ACM International Conference on Multimedia. ACM, 2015∶ 1159-1162.

[16] HU W, HUANG Y, WEI L, et al. Deep convolutional neural networks for hyperspectral image classification[J]. Journal of Sensors, 2015(2)∶1-12. DOI∶10.1155/2015/258619.

[17] LIU B, YU X C, ZHANG P Q, et al. A semi-supervised convolutional neural network for hyperspectral image classification[J]. Remote Sensing Letters, 2017(8)∶ 839-848. DOI:10.1080/2150704X.2017.1331053.

[18] YU S Q, JIA S, XU C. Convolutional neural networks for hyperspectral image classification[J]. Neurocomputing, 2017, 219∶88-98. DOI∶10.1016/j.neucom.2016.09.010.

[19] GAO Y, CHUA T S. Hyperspectral image classification by using pixel spatial correlation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2013∶ 141-151. DOI∶10.1007/978-3-642-35725-1_13.

[20] 曲景影, 孙显, 高鑫. 基于CNN模型的高分辨率遥感图像目标识别[J]. 研究与开发, 2016, 35(8)∶ 45-50. DOI∶10.3969/j.issn.1002-8978.2016.08.011.

[21] 高学, 王有望. 基于CNN和随机弹性变形的相似手写汉字识别[J].华南理工大学学报(自然科学版), 2014, 42(1)∶ 72-76.

[22] 乐毅, 王斌. 深度学习∶ caffe之经典模型详解与实战[M]. 北京∶ 电子工业出版社, 2016∶ 12.

[23] RAN L Y, ZHANG Y N, WEI W, et al. Bands sensitive convolutional network for hyperspectral image classification[C]//International Conference on Internet Multimedia Computing and Service. ACM,2016∶ 268-272. DOI∶10.1145/3007669.3007707.

[24] LIU X, YU C, CAI Z. Differential evolution based band selection in hyperspectral data classification[J]. Lecture Notes in Computer Science, 2010, 6382∶ 86-94. DOI∶10.1007/978-3-642-16493-4_9.

[25] RAHMAN S A E, ALIADY W A, ALRASHED N I. Supervised classification approaches to analyze hyperspectral dataset[J].Image, Graphics and Signal Processing, 2015∶ 42-48. DOI∶10.5815/ijigsp.2015.05.05.

[26] 谭熊, 余旭初, 亲近春, 等. 高光谱影响的多核SVM分类[J]. 仪器仪表学报, 2014, 35(2)∶ 405-411.

[27] ALLENDE P B G, ANABITARTE F, CONDE O M, et al. Support vector machines in hyperspectral imaging spectroscopy with application to material identification[J]. Proceedings SPIE, 2008,6966∶ 1-11. DOI∶10.1117/12.770306.

[28] XIA J, CHANUSSOT J, DU P, et al. Rotation-based support vector machine ensemble in classification of hyperspectral data with limited training samples[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(3)∶ 1519-1531. DOI∶10.1109/TGRS.2015.2481938.

[29] TARABALKA Y, FAUVEL M, CHANUSSOT J, et al. SVM- and MRF-based method for accurate classification of hyperspectral images[J]. IEEE Geoscience & Remote Sensing Letters, 2010, 7(4)∶736-740. DOI∶10.1109/LGRS.2010.2047711.

[30] GAO L, LI J, KHODADADZADEH M, et al. Subspace-based support vector machines for hyperspectral image classification[J].IEEE Geoscience & Remote Sensing Letters, 2014, 12(2)∶ 349-353.DOI:10.1109/LGRS.2014.2341044.

Hyperspectral Detection of Unsound Kernels of Wheat Based on Convolutional Neural Network

YU Chongchong, ZHOU Lan, WANG Xin, WU Jingzhu, LIU Qian
(Beijing Key Laboratory of Big Data Technology for Food Safety, School of Computer and Information Engineering,Beijing Technology and Business University, Beijing 100048, China)

A nondestructive examination was conducted to identify unsound kernels by using hyperspectral imaging technology. Based on 932 wheat samples including 486 normal samples, 170 damaged samples, 149 worm-eaten samples and 127 black germ kernel samples, a hyperspectral image acquisition system was used for collecting hyperspectral information, and then a convolutional neural network (CNN) was established based on 30 wavebands selected from 116 wavebands for each sample. The CNN model comprised two convolution layers. The first layer consisted of 32 convolution kernels (3 × 3) and the second layer consisted of 64 convolution kernels (5 × 5). The pooling layer was developed with the maximum pool. The activation function was developed with rectified linear units (ReLu). To avoid overfitting, a dropout layer was linked to the fully connected layer, and the parameter was set as 0.5. When other parameters remained default,recognition rates for the calibration and test sets were 100.00% and 99.98% respectively. Finally, a support vector machine(SVM) model was built and compared with the CNN model. The SVM model developed with 90 wavebands selected from 116 wavebands showed a recognition rate of 94.73% for the test set. The recognition rate of the CNN model was better than that of the SVM model. Thus, this research showed that the CNN model allowed for accurate, rapid and nondestructive detection of unsound wheat kernels.

wheat; unsound kernels; hyperspectral detection; CNN model

DOI∶10.7506/spkx1002-6630-201724046

TP3

A

1002-6630（2017）24-0283-05

于重重, 周兰, 王鑫, 等. 基于CNN神经网络的小麦不完善粒高光谱检测[J]. 食品科学, 2017, 38(24): 283-287.

10.7506/spkx1002-6630-201724046. http://www.spkx.net.cn

YU Chongchong, ZHOU Lan, WANG Xin, et al. Hyperspectral detection of unsound kernels of wheat based on convolutional neural network[J]. Food Science, 2017, 38(24)∶ 283-287. (in Chinese with English abstract) DOI∶10.7506/spkx1002-6630-201724046. http∶//www.spkx.net.cn

2017-02-28

土壤植物机器系统技术国家重点实验室开放课题（2014-SKL-05）；北京工商大学两科基金培育项目（LKJJ2015-22）

于重重（1971—），女，教授，博士，研究方向为模式识别与机器学习，智能信息处理。E-mail：chongzhy@vip.sina.com