词袋特征PCA多子空间自适应融合的黄瓜病害识别

秦立峰，何东健，宋怀波

（1. 西北农林科技大学机电学院，杨凌 712100；2. 农业部农业物联网重点实验室，杨凌 712100）

0 引 言

温室蔬菜种植是农业经济的重要组成部分，而病害诊断与防治是生产中面临的主要问题之一。传统黄瓜病害识别诊断主要依靠人工现场观察判断，对大规模种植情况很难适用。利用计算机视觉和图像特征进行病害识别，可及时发现和准确诊断病害，实现病害的远程自动诊断，提高蔬菜种植效益，是当前农业信息化技术中一个研究热点[1-4]。

已有的研究多利用病害图像的颜色、纹理、形状等底层特征[5-8]，通过训练分类器进行识别和诊断[9-11]。但由于底层特征过于简单，对复杂病害对象的描述能力不够，因而制约了病害识别的准确率。词袋特征（bag of words，BoW）[12-15]是建立在图像底层特征上的中间层语义特征，对复杂图像描述能力更强，因而在图像分析和识别中取得了较好的效果[16-18]。温志超[19]利用金字塔匹配原理，对玉米病虫害图像分层后建立传统词袋模型，并利用支持向量机进行识别，大大提高了识别精度。但图像内容复杂时，建立图像词袋模型较大，导致图像特征向量维数较高[20-22]，一方面使分类器训练时间开销急剧增大，难以实际应用；另一方面对于高维特征，样本数太少则容易导致分类器陷入“维数灾难”；样本数太多则分类器很难收敛到最优解[23]。而缩小词袋规模又会导致视觉单词对图像内容描述不够准确[24-25]，难以获得较高的图像分类准确率。针对此问题，本文首先建立病害的类别相关词袋模型(category related BoW，CR-BoW)，并基于此模型，将病害图像表示为一个高维词袋特征；为解决高维特征下分类器不易收敛的问题，提出词袋特征PCA多子空间自适应融合（BoW multi-PCA subspace selfadaptive combination，BoW-mPCA）的黄瓜病害识别算法。该算法通过主成分分解，将词袋特征映射到不同大小的若干个低维子空间上，在每个子空间上分别训练分类器，得到分类器组；待识别病害图像在由小到大多个子空间上的分类得分进行自适应融合，得到识别结果。该算法有2个特点：1）以高维词袋特征进行病害表征，尽可能保留了病害特征，而在低维空间训练分类器，可保证训练器较好收敛；2）通过由小到大多子空间自适应融合，可降低过小子空间上有效信息不足和过大子空间冗余过多对识别结果的影响，有效提高识别准确率。本文对所提出的方法进行了试验验证，为黄瓜病害的自动诊断和防治技术提供参考。

1 材料与方法

1.1 图像采集

在温室环境下，在黄瓜植株苗期利用分辨率为1 200×1 600 pixel的CanonA640数码相机，采取近拍模式、自动白平衡、自动调节焦距和光圈，采集角斑病（angular leaf spot）、棒孢霉叶斑病（corynes pora）、白粉病（powder）、霜霉病（downy）和炭疽病（anthrax）5种病害图像，每种病害采集图像25幅。部分样本如图1所示。

考虑到远程传输中图像数据量过大会降低病害识别的实时性[26-27]；同时，病害部位对病害的识别起决定性作用[28-29]，因此，研究中对所拍摄的图像样本，手动裁剪其病斑部位进行分析。而在实际应用中，人为裁剪图像具有一定的随机性，算法应对不同大小的病害子图具有适应性，故对采集的病害样本图像手动截取病害部位子图，5种病害分别采集子图46、50、50、50和50个，共计246幅图像，其中样本子图最小为58×68 pixel，最大为 562×487 pixel。

图1 5种黄瓜叶部常见病害图像示例Fig.1 5 example images of common diseases on cucumber leaves

1.2 黄瓜病害图像词袋模型建立与特征提取

按照文献[30]方法，提取5种病害子图的SIFT（scale invariant feature transform）特征[31]，并建立CR-BoW模型，步骤如下：

1）从每类病害子图像中任意选择 20幅作为训练图像；

2）提取训练图像的SIFT特征；

3）对第i类训练图像SIFT特征点用k-means算法聚为 15类，取 15个聚类中心构成该类病害的视觉单词（visual words，VW），记为 VWi，i=1,2,…,5；

4）建立CR-BoW：CR-BoW={VWi}，i=1,2, …,5。所建立的模型中共有75个VW。

对每个病害子图提取SIFT点，并将这些点量化为距其最近的VW；统计每个子图中各VW出现的频率，得到75维直方图，即为该图像的特征向量。

1.3 词袋特征主成分分解

设训练样本为x1, x2,…,xm，m为训练样本数。训练样本的归一化协方差矩阵M是一个N×N的方阵，N为训练样本维数，本文中N=75。求M的特征值并按降序排列为 λ1, λ2,… ,λN，；对应的特征向量为v1, v2,…,vN；给定0

式中Ep为降维参数。取前k个主成分轴而忽略其他主成分轴。取特征向量 V~ = [v1, v2,… ,vk]张成的k维子空间。设图像词袋特征为 xi，将其映射到该子空间上得到降维后的特征 x~i，如式（2）。

设置不同大小的Ep值，可对原特征进行不同程度的降维。

1.4 词袋特征PCA分解与多级融合的病害图像分类

不同大小的PCA子空间上主成分特征的表达能力不同。通常病害图像内容复杂，不同类别病害在同一子空间上特征的分辨力有差异。对特定病害，在适当大小的子空间上，其特征与其他类别病害的特征有显著区分，因此在适当的子空间上待分类图像 Ix与其所属类别的相关性会显著高于 Ix与其他类别的相关性。基于该思想，提出词袋特征 PCA多子空间自适应融合的（BoW Multi-PCA subspace self-adaptive combination，BoW-mPCA）的病害识别算法。算法流程如图2所示。

图2 BoW-mPCA算法流程Fig.2 Scheme of BoW-mPCA Algorithm

对词袋特征进行PCA分解时，设置n个不同的降维参数Ep值，其大小满足式（3）。

由式（1）知，Ep越小，降维后的子空间越小。取对应的n个子空间，得到图像在这些子空间上的特征。

分类识别时，先将待分类图像 Ix的词袋特征映射到各主成分空间，得到各子空间上的降维特征。设图像 Ix被分类器 Classifieri分为 K个候选类别的得分为，，…，，K为病害类别数，本文中K=5。对给定的阈值T若此K个得分的最大值s_max与次大值s_snd满足式（4）：

则表明s_max所对应类别有显著优势，此时Ix判定为该类别Cx，即：

若不满足式（4），则将 Ix在更大一级子空间中的分类得分 s ci与 s ci-1加权融合生成新的 s ci：

式中αi为Spacei上分类得分的加权系数。

根据新的sci利用式（4）、式（5）进行分类。重复以上过程，直到满足式（4），或者i=n。算法结束。

2 试验结果与分析

从每类病害子图像中随机选择20幅，共100幅作为训练样本，其余 146幅用作测试。建立词袋模型后，提取训练样本的词袋特征并进行PCA降维。通过预备试验，选取降维参数Ep为0.65、0.75和0.85，在得到的3个PCA子空间上分别训练3个BP神经网络。BP网络输入单元等于输入矢量维数；包含 1个隐含层，隐含神经元数为输入层的2倍，传递函数采用tan-sigmoid函数，该函数处处可微，被广泛用作BP网络的传递函数；输出神经元为10个，输出层传递函数采用线性函数；采用动量梯度下降学习算法；为保证训练效率，取初始学习率为0.15，最大训练次数为10 000次，目标误差为10-5。

分别利用3个单一子空间和BoW-2PCA算法进行病害种类识别。由于较大的子空间保留了更多的病害信息，因此当在小的子空间没有明显的类别区分时，倾向于在更大子空间上进行分类是合理的，因此选择显著优势判别阈值T=1.5，即当最大可能的类别得分比第2可能类别得分高出 50%以上时，才做出判别结论；通过预试验，取权重α1=0.75；α2=0.65。共进行10次独立试验，测试样本的平均分类准确率如表1所示。作为对比，表1给出全部75维特征下的BP神经网络识别准确率。

由表1可见，用7种不同特征和方法对5种病害的分类识别中，全部 75维特征的平均准确率最低，仅为74.61%。经PCA降维后的主成分特征识别准确率均有提高，这表明原始特征中有较大冗余，使BP网络性能下降。其中，Ep=85%的子空间分类准确率为 84.73%，高于Ep=65%、Ep=75%的情况，这是由于 Ep=85%时，子空间保留了更多的病害信息，因而对病害的识别率更高。

但单一子空间上的分类准确率并不能达到最高。由表1可见，在不同的Ep取值下，2个子空间融合后识别率为均高于2个对应的单一子空间识别率。对黄瓜叶部5种常见病害，降维参数为75%和85%的2个子空间隔合的 BOW-2PCA算法平均识别率达到 90.38%。这是由于BoW-2PCA算法先在小的子空间上进行识别，若无明确结果，则在保留了更多信息的较大子空间上进行识别，有效利用了小的子空间特征集中紧凑、大的子空间信息充分全面的优势，从而得到更高的分类准确率。该结果表明，利用BoW-2PCA算法可有效提高病害的识别精度，对常见黄瓜叶部 5种常见病害的分类识别具有较高的准确率。

表1 BoW-2PCA算法对5种黄瓜病害图像的分类准确率Table 1 BoW-2PCA classification accuracy of 5 kind of cucumber diseases %

对单个病害，对比BoW-2PCA在3种不同子空间上的识别率可见，当参与融合的 2个子空间逐渐增大时，识别率并未随之提高。如角斑病识别率由82.61%提高到89.13%后，降低为86.96%；而棒孢霉叶斑病的识别率先降低后提高；发粉病则先提高后降低。该结果表明，对特定病害，并非子空间越大识别率越高，而是存在一个一定大小的最优子空间。

与传统算法比较，分别提取病害子图的 14维 HSV（hue saturation value）颜色直方图、20维灰度共生矩阵纹理特征和颜色纹理混合特征，选取训练样本和测试样本与前文相同，采用BP网络进行10次独立的分类识别试验，测试样本的平均分类准确率如表2所示。

对比表1、表2可见，1）在相同的分类器下，基于词袋模型和单一子空间 BoW-Space3（Ep=85%）的 5种病害平均识别率比HSV直方图、纹理特征和颜色纹理混合特征分别高1.32、20.50和7.37个百分点；表明词袋模型对病害的特征表示更有效；2）采用2个子空间融合的BoW-2PCA（75%+85%）算法对 5种病害的平均识别准确率比HSV直方图特征高6.97个百分点；比纹理特征高26.15个百分点；比颜色纹理混合特征高13.02个百分点，表明算法比传统的单一特征的分类准确率有明显提高。

表2 3种传统特征下BP网络的病害图像分类准确率Table 2 BP network classification accuracy of 5 cucumber diseases with 3 traditional features %

从表1、表2中单一病害的分类结果可见，颜色特征对角斑病和棒孢霉叶斑病的分类准确率最高，分别为89.78%和93.20%，比BoW-2PCA高2.82和3.40个百分点，这是由于此2种病害的HSV颜色特征较其他病害突出，从而能在此颜色特征空间下准确区分；但对白粉病、霜霉病和炭疽病HSV特征的分类准确率均比BoW-2PCA（75%+85%）算法低，特别是对霜霉病识别率较差，仅为64.20%，而BoW-2PCA算法的识别率为89.13%。该结果表明，对传统特征很难有效区分的病害，BoW-2PCA有突出优势，识别率更高。

同时，由表2可见，传统方法对5种病害的识别准确率有较大差异，14维HSV直方图对棒孢霉叶斑病的识别率高达93.20%，而对霜霉病仅为64.20%，相差29个百分点；相比表1中BoW-2PCA算法（75%+85%），对炭疽病的识别率最高为98.00%，对角斑病最低为86.96%，相差约12个百分点，表明算法对5种病害识别率更趋一致，对不同病害具有更好的适应性，因而更适用于多种病害的识别。

文献[11]融合了病害图像和环境信息对黄瓜的霜霉病、褐斑病和炭疽病 3种叶部病害进行识别，平均识别率均达到94.44%，识别效果较好，但该方法所识别的病害类别较本文少，且需融合环境信息，因此在实际应用中易受限制。本文算法仅需病害图像信息即可对 5种叶部病害进行识别，取得平均识别率为90.38%。

3 结 论

针对温室黄瓜多种病害识别问题，本文提出了一种基于词袋模型和 PCA多子空间融合的病害识别算法BoW-mPCA，该算法对不同病害在不同的PCA子空间上进行分类并采用一种自适应融合策略得到识别结果。

1）建立了病害图像的CR-BoW模型，将病害图像表示为高维词袋特征；分别利用该特征的PCA单子空间和颜色特征以相同方法训练BP网络并分类，结果表明词袋特征下5种黄瓜病害的平均识别率为84.73%，较颜色高1.43个百分点，因此模型对病害特征提取更有效。病害种类增加时，只须训练并加入新增病害的视觉单词，即可扩展CR-BoW模型，但扩展模型性能仍需进一步检验。

2）在高维词袋特征的多个主成分空间上进行自适应融合的识别试验表明，对黄瓜叶部 5种常见病害，降维参数为75%和85%的2个子空间融合的BoW-2PCA算法平均识别率达到90.38%，与传统颜色、纹理及混合特征的识别率相比，分别提高了6.97、26.15和13.02个百分点，识别率较高，该算法可为温室蔬菜自动诊断识别提供技术支持。

[参 考 文 献]

[1] 何东健，何勇，李明赞，等. 精准农业中信息相关科学问题研究进展[J]. 中国科学基金，2011, 25(1): 12－18.He Dongjian, He Yong, Li Mingzan, et al. Research progress of information science-related problems in precision agricuture[J]. Bulletin of National Natural Science Foundation of China, 2011, 25(1): 12－18. (in Chinese with English abstract)

[2] 刘涛，仲晓春，孙成明，等. 基于计算机视觉的水稻叶部病害识别研究[J]. 中国农业科学，2014, 47(4): 664－674.Liu Tao, Zhong Xiaochun, Sun Chengming, et al.Recognition of rice leaf diseases based on computer vision[J].Scientia Agricultura Sinica, 2014, 47(4): 664－674. (in Chinese with English abstract)

[3] 张善文，张传雷. 基于局部判别映射算法的玉米病害识别方法[J]. 农业工程学报，2014，30(11): 167－172.Zhang Shanwen, Zhang Chuanlei. Maize disease recognition based on local discriminant algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(11): 167－172. (in Chinese with English abstract)

[4] 田凯，张连宽，熊美东，等. 基于叶片病斑特征的茄子褐纹病识别方法[J]. 农业工程学报，2016，32(增刊 1): 184－189.Tian Kai, Zhang Liankuan, Xiong Meidong, et al.Recognition of phomopsis vexans in solanum melongena based on leaf disease spot features[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(Supp.1): 184－189. (in Chinese with English abstract)

[5] 张建华，孔繁涛，李哲敏，等. 基于最优二叉树支持向量机的蜜柚叶部病害识别[J]. 农业工程学报，2014，30(19):222－231.Zhang Jianhua, Kong Fantao, Li Zhemin, et al. Recognition of honey pomelo leaf diseases based on optimal binary tree support vector machine[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(19): 222－231. (in Chinese with English abstract)

[6] 胡敏，陈红波，许良凤，等. 基于颜色和纹理特征的黄瓜病害识别算法[J]. 电子测量与仪器学报，2015，29(7): 970－977.Hu Min, Chen Hongbo, Xu Liangfeng, et al. Cucumber disease recognition algorithm based on color and texture features[J]. Journal of Electronic Measurement and Instrumentation, 2015, 29(7): 970－977. (in Chinese with English abstract)

[7] 秦丰，刘东霞，孙炳达，等. 基于深度学习和支持向量机的 4种苜蓿叶部病害图像识别[J]. 中国农业大学学报，2017，22(7): 123－133.Qin Feng, Liu Dongxia, Sun Bingda, et al. Image recognition of four different alfalfa leaf diseases based on deep learning and support vector machine[J]. Journal of China Agricultural University, 2017, 22(7): 123－133. (in Chinese with English abstract)

[8] 柴洋，王向东. 基于图像处理的温室大棚中番茄的病害识别[J]. 自动化技术与应用，2013，32(9): 83－89.Chai Yang, Wang Xiangdong. Recognition of greenhouse tomato disease based on image processing technology[J].Techniques of Automation and Applications, 2013, 32(9): 83－89. (in Chinese with English abstract)

[9] 许良凤，徐小兵，胡敏，等. 基于多分类器融合的玉米叶部病害识别[J]. 农业工程学报，2015，31(14): 194－201.Xu Liangfeng, Xu Xiaobing, Hu Min, et al. Corn leaf disease identification based on multiple classifiers fusion[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(14): 194－201. (in Chinese with English abstract)

[10] 贾建楠，吉海彦. 基于病斑形状和神经网络的黄瓜病害识别[J]. 农业工程学报，2013(增刊1): 115－121.Jia Jiannan, Ji Haiyan. Recognition for cucumber disease based on leaf spot shape and neural network[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2013, 29(Supp.1): 115－121. (in Chinese with English abstract)

[11] 王献锋，张善文，王震，等. 基于叶片图像和环境信息的黄瓜病害识别方法[J]. 农业工程学报，2014，30(14): 148－153.Wang Xianfeng, Zhang Shanwen, Wang Zhen, et al.Recognition of cucumber diseases based on leaf image andenvironmental information[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(14): 148－153. (in Chinese with English abstract)

[12] 杨晓敏，严斌宇，李康丽，等. 一种基于词袋模型的图像分类方法[J]. 太赫兹科学与电子信息学报，2014, 12(5):726－730.Yang Xiaomin, Yan Binyu, Li Kangli, et al. An image classification method based on bag of words model[J].Journal of Terahertz Science and Electronic Information Technology, 2014, 12(5): 726－730. (in Chinese with English abstract)

[13] 钱钧，杨恒，刘培桢，等. 一种基于词袋模型的大规模图像层次化分组算法[J]. 应用光学，2014, 35(5): 799－805.Qian Jun, Yang Heng, Liu Peizhen, et al. Large-scale image hierarchical grouping algorithm based on bag-of-words[J].Journal of Applied Optics, 2014, 35(5): 799－805. (in Chinese with English abstract)

[14] Qun L I, Zhang H G, Guo J, et al. Improving bag-of-words scheme for scene categorization[J]. Journal of China Universities of Posts & Telecommunications, 2012, 19(2):166－171.

[15] Wang R, Ding K, Yang J. A novel method for image classification based on bag of visual words[J]. Journal of Visual Communication & Image Representation, 2016,40(PA): 24－33.

[16] 杨赛，赵春霞，徐威. 一种基于词袋模型的新的显著性目标检测方法[J]. 自动化学报，2016，42(8): 1259－1273.Yang Sai, Zhao Chunxia, Xu Wei, et al. A novel salient object detection method using Bag-of-features[J]. Acta Automatica Sinica, 2016, 42(8): 1259－1273. (in Chinese with English abstract)

[17] 汪荣贵，丁凯，杨娟，等. 三角形约束下的词袋模型图像分类方法[J]. 软件学报，2017，28(7): 1847－1861.Wang Ronggui, Ding Kai, Yang Juan, et al. Image classification based on bag of visual words model with triangle constraint. Journal of Software, 2017,28(7): 1847－1861. (in Chinese with English abstract)

[18] 齐梅，胡敏. 基于多方向空间词袋模型的物体识别[J]. 计算机工程与应用，2017，53(7): 197－201.Qi Mei, Hu Min. Object recognition based on multi-direction spatial Bags of Words model[J]. Computer Engineering and Applications, 2017, 53(7): 197－201. (in Chinese with English abstract)

[19] 温志超. 基于演化算法及改进词袋模型的病虫害分类识别技术研究[D]. 广州：华南农业大学，2016.Wen Zhichao. Research of Crop-disease Classification and Recognition Technology Based on Evolutionary Algorithm and Improved BOW Model[D]. Guangzhou：South China Agricultural University, 2016. (in Chinese with English abstract)

[20] Bolovinou A, Pratikakis I, Perantonis S. Bag of spatio-visual words for context inference in scene classif i cation[J]. Pattern Recognition, 2013,46(3): 1039–1053.

[21] 郭景峰，李贤. 基于群稀疏的结构化字典学习[J]. 中国图象图形学报，2012，17(11): 1347－1352.Guo Jingfeng, Li Xian. Structured dictionary learning based on group sparsity[J]. Journal of Image and Graphics, 2012,17(11): 1347－1352. (in Chinese with English abstract)

[22] 陈丹雯，张俊，韩兵，等. 基于改进词袋模型的相似关键帧匹配方法[J]. 计算机工程与设计，2011，32(8): 2752－2755.Chen Danwen, Zhang Jun, Han Bing, et al. Near-duplicate keyframe matching based on advanced bag-of-words model[J]. Computer Engineering and Design, 2011, 32(8):2752－2755. (in Chinese with English abstract)

[23] 张志武，吴飞. 面向分类的增量字典学习算法[J]. 计算机工程，2017，43(10): 167－171，185.Zhang Zhiwu, Wu Fei. Classification-oriented incremental dictionary learning algorithm[J]. Computer Engineering,2017, 43(10): 167－171,185. (in Chinese with English abstract)

[24] Lu Z, Wang L, Wen J R. Image classification by visual bag-of-words refinement and reduction[J]. Neurocomputing,2016, 173(15): 373－384.

[25] Sun Q, Liu H, Ma L, et al. A novel hierarchical Bag-of-Words model for compact action representation[J].Neurocomputing, 2016, 174(22): 722－732.

[26] 叶海建，郎睿. 基于Android的自然背景下黄瓜霜霉病定量诊断系统[J]. 农业机械学报，2017，48(3): 24－29.Ye Haijian, Lang Rui. Cucumber downy mildew severity quantifying diagnosis system suitable for natural backgrounds based on android[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(3): 24－29. (in Chinese with English abstract)

[27] 田有文，王炜，王泷，等. 基于Android平台的黄瓜叶部病害图像处理[J]. 农业科技与装备，2015(2): 30－31.Tian Youwen, Wang Wei, Wang Long, et al. Image processing of cucumber leaf disease based on android platform[J]. Agricultural Science & Technology and Equipment, 2015(2): 30－31. (in Chinese with English abstract)

[28] 张芳，付立思. 基于图像处理技术的黄瓜叶部病害识别诊断系统[J]. 农机化研究，2014(9): 213－215.Zhang Fang, Fu Lisi. Research on the Identification and diagnosis system of cucumber leaf disease based on image processing technology[J]. Journal of Agricultural Mechanization Research, 2014(9): 213－215. (in Chinese with English abstract)

[29] 马浚诚，温皓杰，李鑫星，等. 基于图像处理的温室黄瓜霜霉病诊断系统[J]. 农业机械学报，2017，48(2): 195－202.Ma Juncheng, Wen Haojie, Li Xinxing, et al. Downy mildew diagnosis system for greenhouse cucumbers based on image processing[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(2): 195－202. (in Chinese with English abstract)

[30] Qin Lifeng, He Dongjian. Category related BoW model for image classification[J]. Journal of Information and Computational Science, 2015, 12(9): 3547－3554.

[31] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004,60(2): 91－110.