基于显微高光谱图像的双孢蘑菇疣孢霉菌厚垣孢子目标检测
2022-04-27邹金平魏萱
邹金平 魏萱
摘 要:双孢蘑菇疣孢霉病导致菇农巨大的经济损失,针对其早期症状不明显且缺乏有效的病害诊断方法,将显微高光谱成像技术应用于双孢蘑菇疣孢霉病早期检测研究。首先借助神经网络强大的非线性学习能力,采用基于注意力机制和稀疏自编码器重建网络的BS-Net-FC算法对厚垣孢子显微高光谱图像波段选择,并提出基于厚垣孢子目标形态特异性的MTCEM算法检测厚垣孢子目标,结果显示波段选择算法保证波段子集的信息量同时有效降低了冗余波段,在波段数为17的波段子集上MTCEM算法AUC达到最佳为0.8785。本方法能够有效减少数据冗余以及对厚垣孢子目标检测效果良好,为双孢蘑菇疣孢霉病早期检测提供新思路和技術支持。
关键词:高光谱;特征提取;孢子;检测
中图分类号:S 436.46 文献标志码:A 文章编号:0253-2301(2022)02-0001-08
DOI: 10.13651/j.cnki.fjnykj.2022.02.001
Target Detection of the Mycogone Perniciosa of Agaricus Bisporus Based onthe Microscopic Hyperspectral Images
ZOU Jin-ping1, WEI Xuan1, 2*
(1. College of Mechanical and Electrical Engineering, Fujian Agriculture and Forestry University, Fuzhou, Fujian
350002, China; 2. College of Food Science, Fujian Agriculture and Forestry University, Fuzhou, Fujian 350002, China)
Abstract: The mycogone perniciosa of Agaricus bisporus caused huge economic losses to mushroom farmers. In view of the unobvious early symptoms and the lack of effective disease diagnosis methods, the microscopic hyperspectral imaging technology was applied to the early detection of the mycogone perniciosa of Agaricus bisporus. Firstly, the BS-Net-FC algorithm based on the attention mechanism and the sparse auto-encoder reconstruction network was used to select the band of microscopic hyperspectral image of chlamydospore by means of the strong nonlinear learning ability of neural network. The MTCEM algorithm based on the morphological specificity of chlamydospore targets was proposed to detect the chlamydospore targets. The results showed that the band selection algorithm ensured the information of the band subset and effectively reduced the redundant bands. The AUC of MTCEM algorithm reached the best value of 0.8785 on the band subset with 17 bands. This method could effectively reduce the data redundancy and had good detection effect on the chlamydospore targets, thus to provide new idea and technical support for the early detection of the mycogone perniciosa of Agaricus bisporus.
Key words: Hyperspectral; Feature extraction; Spores; Detection
福建省是食用菌类生产大省,其中以双孢蘑菇Agaricus bisporus为代表,双孢蘑菇富含高蛋白、高维生素和低脂肪以及它的生长周期短、繁殖快、市场需求量大等特点赋予其极高的经济价值,但双孢蘑菇疣孢霉病是双孢蘑菇最为常见且最为普遍的病害之一,其致病菌为有害疣孢霉菌mycogone perniciosa,该病害传染性强、破坏性大,通常对生产造成减产甚至绝收等恶劣影响。目前双孢蘑菇栽培由于缺乏疣孢霉病早期检测手段,通过人眼观察法观察双孢蘑菇疣孢霉病害症状进行病害防治往往为时已晚,导致巨大的经济损失;而依靠聚合酶链式反应(PCR)等生化试验对病原体检测,存在工作人员专业要求高,检测费时费力等问题。因此,借助新型技术手段对双孢蘑菇疣孢霉病早期检测十分必要,实现在双孢蘑菇栽培中罹患疣孢霉病早期监测,保障双孢蘑菇生产。
高光谱成像技术作为一种新型检测技术,具有高分辨率的图像信息和丰富的光谱信息优势,广泛应用于农作物病害检测领域。秦立峰等[1]采集黄瓜早期霜霉病高光谱图像建立黄瓜霜霉病早期检测模型,实现对染病1 d的测试集检测识别率达到95.83%;陈子涵等[2]将高光谱成像技术应用于双孢蘑菇疣孢霉病早期鉴别,采集染病双孢蘑菇早期子实体样本菌盖高光谱图像,基于极限学习机模型实现对测试集总体样本鉴别准确度为91.32%;曹益飞等[3]针对白叶枯病菌的水稻叶片采集其光谱数据,提出光谱分形维数定量描述水稻叶片感染白叶枯病菌光谱指数实现对白叶枯病害的监测,其相关系数达到了0.984。高光谱图像将传统的空间维和光谱维信息融合为一体,高维光谱特征为高光谱图像分类提供特异性表达,但维数过高会导致“维数诅咒”[4],导致信息冗余、波段相关性强和数据处理复杂性增加以及影响分类效果,因此对高光谱特征提取[5]、特征选择[6]等数据降维手段必不可少。传统高光谱波段选择算法一般只考虑信息间的线性关系,基于深度学习的高光谱波段选择算法能够充分考虑光谱间非线性关系,通过端到端网络的学习选择大信息量且易于分类的波段。目前,注意力机制[7-8]是神经网络中的研究热点,广泛应用于高光谱图像波段选择算法。Lorenzo等[9]构建了基于注意力机制卷积神经网络(CNN)波段选择算法,但提取到的波段子集的相关性很强,数据冗余较大;Cai等[10]引入通道注意力机制结合稀疏自编码器网络对原始数据稀疏重建,端到端训练网络有效地提取出信息量大且相关性低的波段子集;Roy等[11]结合光谱通道注意和位置通道注意机制挖掘波段之间的非线性关系,有效降低高光谱图像冗余数据。因此基于注意力机制的波段选择算法可以有效地对高光谱图像降维。
高光谱图像每个像素点都包含了几十至上百个波段的光谱信息,不同的目标拥有不同的反射光谱,基于异物异谱对不同的像素点分类。高光谱目标检测旨在检测高光谱图像中的小目标或者异常点,实际上是一种二元分类任务[12],核心是判断一个像素点是目标光谱还是背景光谱。基于高光谱图像的目标检测算法也层出不穷,光谱匹配滤波[13](SMF)基于高斯分布假設;异常检测算法是在没有先验光谱信息时借助数理统计模型去识别像素目标,具有代表性的Reed-Yu(RX)[14]是基于测试目标像素和背景像素之间的马氏距离计算;正交子空间投影(OSP)[14]将样本光谱向量与目标光谱向量均投影到正交子空间中做内积以达到最大化信噪比;约束能量最小化算法(CEM)[15]是在仅知道目标光谱信息的前提下设计一个FIR线性滤波算法向量,在先验目标光谱约束下最小化总能量输出,突出目标信息,抑制背景信息,被广泛应用于遥感图像目标检测,具有稳定的检测性能。由于厚垣孢子显微高光谱图像中充满许多不确定的杂质,背景信息具有不确定性,只有孢子目标先验信息,因此选用CEM作为目标检测算法更适合本研究情况。
本研究根据双孢蘑菇疣孢霉病通常是被污染的带有病菌土壤中的厚垣孢子所侵染,并且在病害早期不表征出明显的症状,依靠人眼观察并不可靠,缺乏前瞻性、预防性,因此本研究基于疣孢霉菌土传性特征,借助显微高光谱成像系统获取土壤中的有害疣孢霉菌厚垣孢子显微高光谱图像,采用基于注意力机制和稀疏自编码器[16]重建网络波段选择算法数据降维,并提出MTCEM算法对显微高光谱图像中的厚垣孢子检测,为实现双孢蘑菇疣孢霉病早期检测提供技术支持。
1 材料与方法
1.1 试验材料
1.1.1 双孢蘑菇培养 本研究在福建农林大学农业信息感知工程中心进行,双孢蘑菇菌种编号为W192(福建省农业科学院食用菌研究所提供),采用袋栽方式培育双孢蘑菇,置于22℃和90%湿度下的人工气候培养箱避光培养。双孢蘑菇培育周期共分为原基期、菇蕾期、小菇期和成熟期4个阶段,在双孢蘑菇菌丝爬出培养料表面,需要进行覆土并进入原基期生长状态时,对土壤喷洒1×10^5个·mL-1的疣孢霉菌厚垣孢子溶液,模拟带病菌土壤侵染双孢蘑菇。
1.1.2 显微高光谱图像获取 本研究采用由奥林巴斯BX53光学显微镜搭载四川双利合谱GaiaField-Pro-V10E光谱成像仪构成的显微高光谱成像系统获取有害疣孢霉菌厚垣孢子显微高光谱图像(图1)。在双孢蘑菇生长原基期为期1周内采集带病土壤1 g并加入5 mL的去离子水制成悬浊液,用吸管吸取悬浊液滴在载玻片放在显微高光谱成像系统下获取其孢子显微高光谱图像,光学显微镜物镜放大倍数为×10,光谱成像仪图像分辨率大小为890×960,光谱波长范围在400~1046 nm,共计176个波段。
1.2 试验方法
1.2.1 黑白校正 由于显微高光谱成像系统受环境噪声以及系统光源和光路中透镜及传感器性能的影响[17],显微高光谱成像系统获得的原始图像数据不可避免带有随机噪声和条带噪声等干扰,本研究中剔除异常波段并保留波段范围在400~753.6 nm,共计100个波段,并且利用黑白校准算法对图像进行去噪和辐射校正,提高图像的成像质量。首先应采集光谱仪相机在聚氯乙烯白板及在黑暗环境下的光谱曲线用以校正显微高光谱图像数据,校正公式如(1)所示。
R=RS-DW-D(1)
公式中R为校正后的显微高光谱图像数据,RS为原始显微高光谱图像数据,W为白帧参考光谱数据,D为黑帧参考光谱数据。
1.2.2 波段选择算法 高光谱图像具有波段连续、数据量大等特点,高光谱图像波段选择算法能够减少数据量和数据间的线性关系从而降低计算负担,避免“维数诅咒”。本研究中厚垣孢子显微高光谱图像采用基于全连接网络的波段选择(Bandselection net based on Fully connected networks,BS-Net-FC)算法[10]选择具有相关性低,信息量大的波段子集用于后续孢子目标检测。BS-Net-FC算法包括基于波段注意力模块(Band attention module,BAM)、波段加权模块(Band re-weight module,BRM)和基于稀疏自编码器重建网络(autoencoder-basedreconstructionnetwork,AERecNet),网络结构示意图见图2,网络中不同隐藏层的输入输出尺寸见表1。模型是以单个像素点的光谱数据输入,BAM是基于通道注意力机制学习不同光谱波段之间的权重关系,权重越高意味该波段具有更大的信息量;BRM是将原输入光谱数据和BAM所对应的光谱通道权重相乘,完成各光谱通道加权;由于冗余特征可以通过其他有用特征的线性或非线性组合来表示,AERecNet是基于稀疏自编码器网络[16]将输入特征压缩到一个低维空间中,利用这些低维数据来表示原始特征,将对低维数据影响较小的特征识别为冗余,并通过稀疏正则化去除冗余特征。
假设高光谱图像数据xR1×1×b输入BAM得到波段权重向量ωR1×1×b,即
ω=fBAM(x,θb)(2)
其中θb代表BAM网络中需要训练的参数,为保证学习到的权重非负使用sigmoid函数作为输出激活函数。在BRW中将波段权重ω与原输入光谱数据相对应的通道相乘得到zR1×1×b,即
z=ω x(3)
最后利用AERecNet重建输入光谱特征,将z作为网络输入,即
=fAERecNet(z,θc)(4)
其中θc是稀疏自编码重建网络中可训练参数。在网络训练中采用均方误差(Mean-Square Error,MSE)作为损失函数L,并对波段权重ω进行L1正则化约束。
L=12S∑Si=1‖xi-i‖22+λ∑Si=1‖ωi‖1(5)
S代表是训练样本数量,λ是正则化系数,用于最小化重构误差和正则化项之间的值。
由于波段权重系数ω代表光谱波段信息量大小,对所有训练样本的ω求平均得到每个光谱波段平均权重值,然后选择具有信息量大的波段子集,因此第j个波段的平均权重值为
j=1S∑Si=1ωij(6)
1.2.3 多目标CEM(Multiple-targetsCEM,MTICEM)算法 Multiple-Target CEMCEM广泛应用于高光谱图像目标检测,但它对先验目标信息十分敏感并且只能检测一种目标信号而不能同时检测多种目标,在现实应用中通常是针对多目标检测任务且高光谱图像中目标光谱信息容易被环境噪声所干扰。本研究中根据厚垣孢子在形态上是分为两个部分,提出一个具有强鲁棒性且能同时检测多种目标的多目标CEM(Multiple-targetsCEM,MTICEM)应用于显微高光谱厚垣孢子目标检测。
多目标CEM(Multiple-Target CEM,MTCEM)是設计一个有限脉冲响应滤波器(FIR)在满足所有目标响应约束在特定值下最小化平均输出能量,整个过程可以看作一个受等式约束的凸优化问题。在利用CEM对高光谱图像目标检测的过程中只需要知道先验目标信息,设计一个滤波算子达到突出图像的目标信息并抑制背景信息的目的。CEM算法是一种标准线性探测器,它的输出可以表示为输入光谱向量r与探测器ω系数内积,
y=ωTr=rTω(7)
假设高光谱图像由矩阵S=[r1,r2…rN]表示,图像中每个像元的光谱向量ri=[ri,1,ri,2…ri,L]T,其中i(1,N),L为波段数。当输入为高光谱图像矩阵S时,滤波器平均输出能量E为
E=1N∑Ni=1y2i=1N∑Ni=1WTririTw=wT1N∑Ni=1ririTw=wTRW(8)
其中,R=1N∑Ni=1ririT是高光谱图像矩阵S的自相关矩阵。所以,假设D=[d1,d2…dM]包含了M个先验目标光谱信号在目标光谱信号,满足约束条件(DTw=1)下最小化输出能量E,其中1是长度为M且值全为1的列约束向量。因此,最优化问题可以描述为
minω{E}=minω{WTRW} s.t.DTW=1(9)
求得公式8线性约束最优解得权值向量W*
W*=R-1D(DTR-1D)-11(10)
滤波器输出为
y*=W*Tr=DR-1rDTR-1D(11)
1.3 检测方案设计
1.3.1 厚垣孢子显微高光谱图像分析 本研究中数据为厚垣孢子显微高光谱透射图像,经黑白校正和光谱异常剔除预处理,图像像素灰度值分布在(0,1),图像大小分辨率为890×960,波段范围在400~753.6 nm,共计100个波段,图像中只有害疣孢霉菌厚垣孢子一类目标和复杂的背景,孢子目标在图像中占比很小。如图2a所示为波长为624 nm的显微高光谱图像灰度图,图2b为厚垣孢子目标真值图。
1.3.2 试验平台 试验中软件平台均在win10系统下实现,编程语言采用python3.6以及神经网络的搭建均采用pytorch深度学习框架完成,计算机配置为AMD Ryzen 5 1600 Six-Core Processor CPU,16G运行内存,NVIDIA GeForce GTX 1050显卡。本研究使用BS-Net-FC对显微高光谱图像数据进行波段选择,将图像所有像素点的光谱数据输入训练,训练网络采用Adam优化器迭代损失函数,学习率设置为0.00002,正则化系数,对网络训练100次直至损失值收敛。
1.3.3 评价准则 为定量评价显微高光谱图像目标检测算法性能,一般选用ROC(Receiver Operating Characteristic)曲线测试检测结果,ROC能够体现检测器准确率Pd(Probability of detection)和虚警率Fa(False alarm rate)之间的关系,反映不同检测算法对同一数据探测效果差异,在同等虚警率条件下能够达到更高准确率,或者同等准确率条件下能够获得更低虚警率的检测方算法探测效果更优,即ROC 曲线越位于左上方的探测器探测性能越优。为进一步分析检测算法在厚垣孢子显微高光谱图像上的检测性能,本研究采用AUC作为评价标准,即ROC曲线下的面积,AUC越趋近1表明检测器检测性能越好,反之越接近于0检测性能越差。
2 结果与分析
2.1 波段选择
为量化不同波段图像之间的相关性,采用皮尔逊相关系数作为量化指标,图3为显微高光谱图像各波段之间的自相关系数热力图,可以看出部分波段之间的相关性较大,因此需要使用波段选择算法减少数据冗余和高共线性。
应用BS-Net-FC算法对显微高光谱图像波段选择,图4为网络损失值收敛曲线图,可见在第8个epoch下损失值就迅速下降到接近0,表明网络具有高收敛性。 为可视化波段权重在训练过程中的变化趋势,将所有的权重值归一化至(0,1)区间,绘制各波段权重随训练次数epoch的演变图,如图5所示。可以看出,波段权重变得更加稀疏,同时在信息量大且相关性低的波段越来越突出。根据BS-Net-FC算法波段选择的结果,表是根据波段权重排序选择的前15的波段子集。
为保证所选波段数据具有信息量大,对所选的波段子集的信息熵定量分析,单波段图像的信息熵H可以代表图像中信息量的大小,熵值越大则表明图像所包含的细节越多,由下列公式计算,
H(Bi)=-∑y ψp(y)log[p(y)](12)
其中y代表的是第i个波段图像Bi灰度直方图的灰度值,p(y)是灰度值y的个数占所有像素点的比例。图6显示为不同波段图像的信息熵大小,线上的点代表算法选出的前15个波段,由表2可知,分布比较均匀,较少连续相邻波段,主要集中在熵值较大的范围,表明所选波段子集相关性和数据冗余度低。
2.2 目标检测
本研究数据集中的厚垣孢子显微高光谱图像共有890×960个像素点,根据厚垣孢子目标在形态上分为母孢和子孢2个部分,因此分别在这两个不同部位取端元光谱数据(图7)。基于BS-Net-FC算法选取的波段子集,应用MTCEM算法探测厚垣孢子目标,因为只有厚垣孢子一类目标,因此将MTCEM滤波器的两个输出求和运算及归一化得到新的更具鲁棒性的输出分数,检测结果见图8。
为了验证BS-Net-FC算法应用于CEM检测上的效果,将AUC作为评价指标,如图9a为AUC随波段数的变化曲线,可以看出随着波段数的增加,MTCEM和CEM检测方法的AUC都呈现为先增大后减小的,且都在波段数为20左右AUC达到最大,表明BS-Net-FC算法极大地减少了冗余数据,降低计算开销同时提升了CEM算法检测性能。为查看MTCEM算法相较于CEM算法改进表现,基于选取的前15个波段将该算法与之前原有CEM算法进行对比测试,图9b为MTCEM和CEM的ROC曲线,可以看出相比于原有的CEM算法,本研究提出的算法检测性能更好,能够更为有效地检测出孢子目标。表3为MTCEM和CEM不同的检测器AUC值最大值以及所需波段数,可以看出MTCEM在优选的波段数为17时的AUC最大等于0.8785,比CEM算法检测性能更好,所需的波段数也越少。
3 结论与讨论
本研究针对双孢蘑菇疣孢霉病缺乏早期检测手段,借助显微高光谱成像技术应用于双孢蘑菇疣孢霉病的早期检测方法研究,提出结合BS-Net-FC波段选择算法和MTCEM对厚垣孢子显微高光谱图像检测厚垣孢子,在有效地检测出孢子目标的同时减少了冗余波段图像,为后续设备开发降低计算开销,为双孢蘑菇在疣孢霉病早期检测提供新思路和技术支持。
参考文献:
[1]秦立峰,张熹,张晓茜.基于高光谱病害特征提取的温室黄瓜霜霉病早期检测[J].农业机械学报,2020,51(11):212-220.
[2]陈子涵,廖小玲.双孢蘑菇疣孢霉病早期高光谱图像鉴别[J].福建农业科技,2021,52(4):16-22.
[3]曹益飞,袁培森,王浩云,等.基于光谱分形维数的水稻白叶枯病害监测指数研究[J].农业机械学报,2021,52(9):134-140.
[4]王盛铭,王涛.高光谱图像目标检测综述[C]//2020年第三届智慧教育与人工智能发展国际学术会议论文集(第二卷),2020.
[5]王立国,王丽凤.结合高光谱像素级信息和CNN的玉米种子品种识别模型[J].遥感学报,2021,25(11):2234-2244.
[6]严阳,华文深,刘恂,等.基于高光谱基本准则的波段选择方法[J].光学技术,2018,44(5):634.
[7]曾涛,薛峰,杨添.基于通道和空间双重注意力的行人重识别[J].计算机工程,2022:DOI:10.19678/j.issn.1000-3428.0063136.
[8]FU J,LIU J,TIAN H,et al.Dual attention network for scene segmentation[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR),2019:DOI: 10.1109/CVPR.2019.00326.
[9]LORENZO P R,TULCZYJEW L,MARCINKIEWICZ M,et al.Hyperspectral band selection using attention-based convolutional neural networks[J].IEEE Access,2020,8:42384-42403.
[10]CAI Y, LIU X,CAI Z.BS-Nets:An end-to-end framework for band selection of hyperspectral image[J].IEEE Transactions on Geoscience and Remote Sensing,2019,58(3):1969-1984.
[11]ROY S K,DAS S,SONG T,et al.DARecNet-BS:Unsupervised dual-attention reconstruction network for hyperspectral band selection[J].IEEE Geoscience and Remote Sensing Letters,2020,99:1-5.
[12]王志威,譚琨,王雪,等.基于光谱空间重构的非监督最邻近规则子空间的高光谱异常检测[J].光子学报,2020,49(6):80-89.
[13]林娜,杨武年,刘汉湖.基于高光谱遥感的岩矿端元识别及信息提取研究[J].遥感信息,2011(5):114-117.
[14]刘轩,李向阳,何芳,等.基于空谱特征融合的高光谱RX异常检测方法[J].系统仿真学报,2021,33(12):2891-2900.
[15]REN H,DU Q,CHANG C,et al.Comparison between constrained energy minimization based approaches for hyperspectral imagery[C]//IEEE Workshop on Advances in Techniques for Analysis of Remotely Sensed Data, 2004: DOI:10.1109/WARSD.2003.1295199.
[16]HAN K,WANG Y,ZHANG C,et al.AutoEncoder Inspired Unsupervised Feature Selection[C]//2018 IEEE International Conference on Acoustics,Speech and Signal Processing (ICASSP),2018:DOI: 10.1109/ICASSP.2018.8462261.
[17]刘洪英,李庆利,顾彬,等.新型分子高光谱成像系统性能分析及数据预处理[J].光谱学与光谱分析,2012,32(11):3161-3166.
(责任编辑:柯文辉)