基于改进型LBP算法的植物叶片图像识别研究

李龙龙，何东健，王美丽

1.陕西工业职业技术学院 信息工程学院，陕西 咸阳 712000

2.西北农林科技大学 机械与电子工程学院，陕西 杨凌 712100

3.西北农林科技大学 信息工程学院，陕西 杨凌 712100

植物作为人类必需的一种独一无二的营养、医疗和工业原料，在生态环境保护[1]、食品药品开发[2]、日用品生产[3]等方面发挥着不可替代的作用，因此，研究植物分类对于人类经济社会发展是非常必要的。

作为现代农业的重要组成部分，植物鉴别在植物分类学、精细农业和园艺学、中医药研究等人们生产生活密切相关的各个领域具有重要的应用价值。叶片作为一种扁平的二维结构植物器官，叶片外形、叶缘和纹理等特征具有明显的形态差异，是植物物种鉴别和形态区分的重要指标，而准确高效的图像特征提取方法和分类识别算法是解决植物叶片分类问题的关键所在。近年来，有关植物叶片的特征选择及分类识别算法无论从理论上还是应用研究方面都取得了一定的进展，随着计算机传感器技术、机器视觉及机器学习技术的飞速发展，使得通过图像捕获设备快速获取植物生理特征并综合利用图像处理和模式识别算法进行植物快速分类成为可能。然而相关算法中对识别特征高度相似的叶片图像研究不多，而随着图像获取技术的不断提升，捕获的植物叶子图像分辨率更高、维度更多，彩色叶片图像的特征提取逐渐成为叶片图像分类识别中的亟待解决的新难题。

在植物的外形特征中，叶片图像的获取不受时间、地点限制，且具有二维属性，其颜色、形状、纹理、叶缘、叶裂等特征都可以用来作为分类依据。但由于植物的数目众多，叶片外形结构特征复杂多变，即使是同一种植物叶片图像，在生长阶段、生长位置、所处季节和受到光照等不同因素影响下，也会导致其分类特征的巨大差别，从而限制了现有叶片图像特征提取算法与技术的分类识别率[4]。所以，如何有效获取叶片图像特征中具有不变性特点的识别特征是解决植物分类和识别技术难题的关键所在。

作为一种经典的纹理特征提取算法，LBP算法通过度量和提取图像局部的纹理信息，不经过预处理操作就能达到较高的识别效果。但由于其存在特征提取时速度慢、难以有效获取局部或者全局特征等问题，限制了算法的应用。一些研究人员提出了改进的LBP 算法。Tarkoglu等人[5]将LBP算法与SVM分类器结合，用于阔叶树及禾本类杂草的图像识别，极大地提高了分类识别率和分析效率；Lukic 等人[6]则采用LBP 和Hu 不变矩进行特征提取，同样使用SVM 作为分类器进行植物分类识别；Le等人[7]在此基础上，采用近邻、半径和不变旋转值作为LBP 算法的参数，将LBP 与SVM 算法结合起来获取最佳识别性能；Muthevi等人[8]提出了Signed CLBP（Completed-LBP）、Magnitude CLBP 和Centered CLBP等3种LBP改进算法，并用于叶片识别；Salima等人[9]设计了一种药用植物识别系统，使用LBPV（Local Binary Pattern Variance）算法提取叶片的纹理特征，并综合形状和颜色特征，采用概率神经网络进行分类识别；Naresh等人[10]使用相邻像素的符号表示来代替传统LBP算法中的阈值对其进行改造；Wang 等人[11]基于多尺度分解和局部二值描述符，提出一种DS-LBP算法进行叶片纹理和轮廓特征识别。

本文针对植物叶片图像的复杂多样性特征，提取了叶片基于区域的关键几何特征和纹理特征，将LBP 算法改进为加权局部均值WRM-LBP（Weighted Region Mean-LBP）和加权全局均值WOM-LBP（Weighted Overall Mean-LBP）算法，并在此基础上，提出了一种加权LBP（Weighted Combined Mean-LBP，WCM-LBP）算法，并应用于植物叶片图像分类与识别过程中，算法的识别过程如图1所示。

图1 叶片图像分类识别过程Fig.1 Recognition process of leaf images

1 WCM-LBP算法

1.1 LBP算法

LBP算法在识别对象的特征提取过程中应用广泛，通过比较识别图像中每个中心像素与其相邻的像素，如果邻域像素值比中心像素点大，则邻域点编码为1，反之，则为0，这样从左上角开始，生成一组由0和1组成的编码[12-15]，一个像素的LBP编码可以表示如下：

其中，D代表中心像素点到其相邻像素点的距离，T为相邻像素点的个数，Mc指中心像素点，Mi则代表第i个相邻像素点，而L为算法在相应领域点的LBP编码，LBPT,D为该像素点的LBP值。如图2为一个叶片图像像素点的LBP值求解过程示例。

图2 LBP算法求解过程举例Fig.2 Example of LBP algorithm solving process

1.2 加权局部均值LBP（WRM-LBP）

与LBP算法不同的是，WRM-LBP算法首先通过将图像的局部均值与中心像素点进行比较选出最大值，然后通过将该值与中心像素点周围3×3 范围内的加权像素值进行比较生成二进制编码组。其中，局部均值RM的计算公式如下：

其中，Mi指第i个相邻像素点，T为相邻像素点的个数，RWi表示第i个相邻像素点的权值，在本文中，相邻像素点的个数为8，因此，T=8。那么，WRM-LBP算法可以描述如下：

其中，Mc指中心像素点，通过K可以求出RM与Mc的比较后的最大值，最后通过与加权像素值RWiMi对比后生成WRM-LBP二进制编码并生成该像素点的WRMLBP值，当RWiMi取值大于255时取255，图3为图2所示叶片图像像素点的WRM-LBP值求解过程示例。

图3 WRM-LBP算法求解过程举例Fig.3 Example of WRM-LBP algorithm solving process

1.3 加权全局均值LBP（WOM-LBP）

WOM-LBP 算法则通过将图像的全局均值与中心像素点进行比较选出最小值，然后通过将该值与中心像素点周围3×3 范围内的加权像素值进行比较生成二进制编码组。其中，全局均值OM的计算公式如下：

式中，N代表包含对象像素点求解范围在内的一个T行D列的图像矩阵，OWi表示第i个相邻像素点的权值，同理，相邻像素点的个数为8，因此，T=8。那么，WOM-LBP算法可以描述如下：

同理，通过K可以求出OM与Mc的比较后的最小值，最后通过与加权像素值OWiMi对比后生成WOM-LBP的二进制编码并生成该像素点的WOM-LBP 值，当OWiMi取值大于255 时取255，求解过程与WRM-LBP算法类似。假设选取图2 所示叶片图像像素点所在范围中6 行9 列的图像矩阵，求得矩阵中所有像素点的和为3 510，则OM为65，则WOM-LBP值求解过程如图4所示。

图4 WOM-LBP算法求解过程举例Fig.4 Example of WOM-LBP algorithm solving process

1.4 WCM-LBP

本文给出一种加权LBP算法WCM-LBP，该算法将WRM-LBP与WOM-LBP算法融合起来，通过获取两者运算结果的级联矩阵[WRM-LBP WOM-LBP]求出识别对象的特征矩阵，如图5 为叶片灰度图像WCM-LBP算法的求解过程。

图5 WCM-LBP算法求解过程举例Fig.5 Example of WCM-LBP algorithm solving process

该算法除采用灰度图像作为识别对象外，也可将彩色图像的R、G通道图像作为识别对象，算法步骤可描述如下所示。

（1）获取识别对象：输入图像I，根据识别需要，获取图像I的灰度图像、R通道图像、G通道图像、B通道图像作为识别对象。

（2）将识别对象拆分为3×3的重叠区域块。

（3）利用公式（5）求出各个重叠区域块的加权局部均值WRM，其中，第i行第j列的加权局部均值表示为WRM(i,j)。

（4）利用公式（9）求出各个重叠区域块的加权全局均值WOM，其中，第i行第j列的加权全局均值表示为WOM(i,j)。

（5）进而得到WRM-LBP 的直方图WRM 及WOMLBP的直方图WOM。

（6）最终识别对象特征直方图FWCM=WRM⊕WOM。

2 特征加权的模糊半监督聚类算法

本文采用特征加权的模糊半监督聚类算法（SFFD）[16]作为分类器对WCM-LBP 算法获得的特征矩阵进行聚类识别。该算法基于完全自适应距离函数、特征加权[17]和成对约束构建统一目标函数，SFFD 算法旨在搜索成对约束下的最优模型参数和最优特征权重集合，其主要算法公式如下所示。

（1）聚类之间的距离公式：采用内积范式Ai来检测数据集中不同聚类的几何形状。

式中，ci为聚类均值，是实例i对于聚类j的隶属度。

（2）特征权值vik可以表示如下：

其中，n为输入数据集的特征数，K为一个常量，带有上标(t-1)的变量uij、vik、dijk分别对应其在第(t-1)次迭代中的值。

（3）引入成对约束并采用拉格朗日乘数法进行推导，可以得到算法的目标函数：

其中，M为must-link约束集，ζ为cannot-link约束集。

3 实验结果

3.1 数据集

为了验证WCM-LBP算法的有效性，并检测文中算法在实际应用中的识别效果，在采用国际公认的Flavia、Foliage、Swedish这3种叶片数据集的基础上，同时采集了10 种树木在不同时期的1 920 张叶片照片作为自测数据集，使用SFFD 算法作为分类器进行植物叶片分类实验。相关叶片数据集详情如表1所示，自测数据集如表2所示。

表1 实验采用的数据集Table 1 Datasets for experiments

表2 自测数据集Table 2 Measured datasets

3.2 实验结果与分析

为了提高算法分析与验证过程的可靠性，降低分类器对算法结果的不必要影响，采用MATLAB 实验平台进行实验分析，并设定SFFD算法的加权指数m=2，分类矩阵的阈值ε=0.001，经过50次以上重复实验后，使用多次实验结果的平均值作为算法性能评价依据。

3.2.1 聚类识别算法对比实验

为了对本文提出的SFFD 分类器进行性能分析，本文采用模式识别领域中通用的标准数据集——UCI知识库（http：//archive.ics.uci.edu/ml/）中的Dermatology、Ecoli、Ionosphere、Scale、Sonar、Vowel、Waveform、Wine等8 种数据集，将SFFD 算法与FCM、AFCC、sSFCM 和SSKFCM等聚类算法进行分类准确率的比对，实验过程中对每一个数据集的类随机选择40%的数据进行标记，每一种聚类算法运行50 次，在各种算法性能检测的基础上给出了所有算法的性能均值作为基准线，其余半监督聚类算法作为参考算法进行对比，其中每个数据集下的最高准确率用加粗效果表示，实验结果如表3所示。

由表3 结果可以看出，作为改进版的FCM 聚类算法，AFCC、sSFCM、SSKFCM 和SFFD 聚类算法在引入部分相关监督信息的条件下，其聚类准确率得到了很大的提高。但不同算法的准确率略有差异，如作为一种引入先验隶属度来进行聚类指导的算法，sSFCM 算法使用来替代FCM聚类算法中的目标函数，因此，在边信息的指导下，该算法在各种数据集下的聚类准确率均优于FCM算法。对于同样采用成对约束作为边信息的AFCC聚类算法而言，其类内距离之和达到了最小值，却忽略了不同识别特征的权值，所以，AFCC 在除Dermatology数据集外的其他数据集下，聚类准确率均不如SFFD，这是因为特征权值可以很容易地让同一类别的实例靠近，不同类别的实例相互远离。通过与其余算法的平均识别准确率比对可以发现，SFFD 在8 个数据集上的性能均优于其余算法的平均值，其中，在Ionosphere 数据集上达到最优，超出平均值12.18 个百分点，而在Dermatology 数据集上比平均值仅仅高出0.16 个百分点。总之，SFFD算法在除Dermatology数据集外的几乎所有数据集下均达到了聚类准确率的最高值，该算法在所有的UCI 数据集上的聚类准确率均高于相应数据集下的平均值约7.74 个百分点。因此，SFFD 聚类算法在区分数据实例类别方面的准确率性能更加接近预期。

表3 UCI数据集下不同算法的准确率Table 3 Accuracy for various algorithms on UCI datasets %

3.2.2 与LBP类算法的对比实验

为了对本文算法进行更全面的评价研究，利用Flavia、Foliage、Swedish 及自测数据集等4 种叶片数据集，采用SFFD算法作为分类识别器，将文中WRM-LBP、WOM-LBP、WCM-LBP与传统LBP算法、典型特征描述算法GLCM、HOG、Color Features和Shearlet Transform以及文献[6]、文献[8]、文献[10]、文献[11]所提算法进行分类准确率对比实验，进行了50次重复实验，实验结果如表4所示。

表4 特征提取算法的准确率Table 4 Accuracy of feature extraction algorithms%

从表4 可以看出，文中的3 种算法与4 种图像描述算法相比，WCM-LBP算法在Flavia、Foliage和自测数据集上均优于其他6种图像描述子，其分类识别率分别为97.94%、90.92%和81.71%，比同一种数据集下7 种算法分类识别率的平均值84.36%、74.47%和63.87%分别高出13.58个百分点、16.45个百分点和17.84个百分点，在Swedish 数据集上，WOM-LBP 的分类识别率达到了最高值98.46%。

此外，作为改进版的LBP 算法，WRM-LBP、WOMLBP、WCM-LBP、文献[10]、文献[11]算法的分类识别率均得到了很大的提高，但不同算法的准确率略有差异，如在局部和全局两个层面权值信息的指导下，WCMLBP 算法在各个数据集上均优于LBP，尤其在Flavia、Foliage 和自测数据集上的分类识别率均达到了相关算法的最高值97.94%、90.92%和81.71%，比LBP算法分别高出1.89 个百分点、6.06 个百分点和15.14 个百分点。而在Swedish 数据集中，由于全局特征更加明显，因而，WOM-LBP算法的分类识别率高达98.46%。

从实验结果可以看出，WCM-LBP 算法在除Swedish数据集外的所有数据集下均达到了分类识别率的最高值，该算法在所有的数据集上的分类识别率均高于相应数据集下的平均值约5.53 个百分点。因此，WCMLBP 算法描述的叶片特征在区分数据实例类别方面的准确率性能更加接近预期。

3.2.3 不同颜色通道下的算法对比实验

大家知道，不同的颜色通道下，叶片图像的特征会表现出差异化特征，从而影响分类器的分类识别率。为了全面评估WCM-LBP 算法在R、G、B 这3 种颜色通道下的特征描述能力，采用自测数据集中叶片图像的灰度图像及其对应的R、G、B 分量作为识别对象，分别对本文提出的WRM-LBP、WOM-LBP、WCM-LBP 算法进行分类性能评价实验，部分叶片图像的R、G、B分量如图2所示，实验结果表5所示。

表5 R、G、B分量下文中特征提取算法的准确率Table 5 Accuracy of feature extraction algorithms with R，G，B components %

由于自测数据集中叶片图像主要为绿色叶片图像，其G分量特征差异明显。因而在表5中可以看出，3种算法在G分量下的分类识别率均达到最高值。其中，WRMLBP 算法在G 通道下的分类识别率比灰度图像高出7.69 个百分点，WOM-LBP 算法在G 通道下的分类识别率比灰度图像高出1.68 个百分点，WCM-LBP 算法在G通道下的分类识别率比灰度图像高出1.91个百分点。

由图6的分量图像可知，待识别叶片图像在G分量图像下的特征最为明显，灰度图像次之，R 分量图像其次，B 分量图像的全局特征差异性较弱。因此，WCMLBP算法在灰度图像、R分量和G分量图像下的分类识别率分别比WRM-LBP 算法高出12.29 个百分点、11.73个百分点和6.51个百分点，比WOM-LBP算法高出7.14个百分点、4.25 个百分点和7.37 个百分点，而由于数据集B 分量图像的局部特征加权效果更好，因此，WRMLBP算法的分类识别率最高，为63.30%。

图6 部分叶片图像的灰度及R、G、B分量Fig.6 Part of gray and R，G，B components for different leaf images

不同数据集的实验结果表明：文中提出的WCMLBP算法兼顾了全局特征和局部特征的优点，是一种叶片图像特征提取过程中行之有效的特征描述算法。

4 结论

本文将叶片图像的全局特征和局部特征相结合，提出一种叶片图像特征描述算法。该方法充分考虑了不同颜色通道对特征提取的影响，并基于SFFD 分类器对该算法在不同数据集下的分类识别率进行分析。4种不同数据集下的3组对比实验结果表明，本文提出的方法是有效可行的；该方法在3种国际公认数据集下的分类识别率最高达到97.94%，自测数据集下的分类识别率也达到了81.71%，与其余5种LBP类算法和4种图像描述算法相比，大大提高了分类识别率，具有良好的应用前景。