基于分段面积比的植物叶片图像识别方法研究

殷云霞 孟庆全 徐先韬

(安徽中医药大学医药信息工程学院， 合肥 230012)

不同植物的叶片形态多样，但每种植物的叶片又具有相对稳定的形态特征。植物叶片形态特征的稳定性，是人们借助计算机通过叶片图像来识别植物的基本依据。围绕叶片识别问题，学者们从不同角度进行了研究[1-4]。但在实践中，要提取叶片的几何特征和纹理特征仍然存在计算过程复杂和运算量大的问题。为实现对植物叶片的快速识别，并力求运算简便，我们认为可以采用基于叶片分段面积比的叶片形态特征提取方法。

1 叶片识别流程

按照基于叶片分段面积比的叶片形态特征提取方法，叶片图像识别流程主要包括叶片采集与成像、叶片图像预处理、等分分段处理、计算等分面积比、形成样本数据集、样本训练及叶片识别等环节(见图1)。

1.1 叶片采集与成像

采集多种植物叶片，借助数码相机制作叶片的数字图像。本次实验，从安徽中医药大学的药用植物园中，采集了白英、杜仲、枸杞、鸡矢藤、夹竹桃、腊梅、枇杷、篇蓄、桑叶、乌桕、乌敛草、喜树、山茶、杏、玉兰、樟树、银杏、桂枝等18种植物的叶片，每种 5～10片。运用佳能PowerShot SX720系列2030万像素的相机，将每张叶片都制成数字图像。

1.2 叶片图像预处理

通过图像预处理，获得图像中的叶片轮廓，这是保证准确提取叶片特征的关键。叶片图像预处理操作主要包括灰度转换、自动阈值分割、形态学处理和旋转4个环节。在实验中，我们采用的是matlab7.0数学软件，叶片图像预处理效果如图2所示。

(1) 灰度转换。利用加权公式GRAY=0.3R+0.59G+0.11B(其中：R、G、B分别对应RGB彩色图像中的红色、绿色和蓝色分量值)，将彩色叶片图像转换为灰度图像。使用灰度图像，可以大大减少图像处理计算量。

(2) 阈值分割。采用大津阈值法(OTSU)[5]，将灰度图像转化为便于提取叶片边缘轮廓的二值图像。通常来说，二值图像的前景部分具有提取叶片区域的显著标识。

(3) 形态学处理。采集的植物叶片可能存在孔洞、杂点等情况。因此，在数码成像后，需要对这些“噪音”进行去除。采用图像处理中常用的形态学方法，对二值图像进行膨胀、腐蚀处理[5]，可以解决“噪音”的问题。通过膨胀操作，使边界向外部扩张。使用matlab7.0下的imdilate函数，可以快速完成该任务，填补叶片中的孔洞。通过腐蚀操作，使边界向内部收缩。使用matlab7.0下的imerode函数，可以进行图像腐蚀，消除小且无意义的物体如杂点。叶片图像经过膨胀、腐蚀处理后，提取其边缘图像。

图1 基于图像分段面积比进行图像识别的流程

图2 叶片图像预处理效果例示

(4) 旋转。根据叶片二值图像找出边缘点之间的最远路径，并依据这个路径形成直线；然后计算这条直线与图像横轴之间的夹角，并以此夹角作为旋转的角度，分别对二值图像和灰度图像进行旋转处理，从而得到去掉多余部分的预处理图像。

1.3 叶片图像特征提取

将预处理后的叶片二值图像，绕叶片横轴线进行逆时针旋转，从0°开始旋转至90°。图像每旋转5°，求取一次该图像的外接矩形，测量记录该矩形的长(Ai)和宽(Bi)，计算该外接矩形的面积 。旋转完毕，可计算获得该叶片图像的外接矩形最小面积(Areamin)值，得到该图像的最小外接矩形。

在叶片图像最小外接矩形测算过程中，由于图像的对称性，只需将图像旋转90°即可找出相应矩形，而不必旋转360°。此外，如果减小图像旋转的步长，比如从5°减小为2°，则运算结果将更加精确。

1.4 叶片图像分段处理

将预处理后的叶片图像，等分分割为若干段。计算出每段叶片的面积与其相应分段的矩形面积的比值(Si)，计入数据库。该数据记录了叶片的边缘形状变化特征。在本次实验中，分段数i=20(如图3所示)。

图3 叶片等分分段示意图

通过对全部叶片图像进行预处理和等分分段处理后，即可形成数据样本集。本次实验，采集了18种植物叶片，形成2个数据样本集：一个记为LEAF2132，包含2 132个样本。其中，银杏叶样本有1 078个，桂叶样本有1 054个。另一个样本集记为LEAF130，存储了除银杏叶、桂叶以外的16种植物的叶片图像，因此这个数据集上的叶片识别任务具有更高的难度。

2 叶片识别实验

2.1 NN算法与叶片识别

2.1.1 NN算法原理

神经网络(NN)算法是学科交叉性极强的机器学习算法之一，其算法模型主要由输入层(输入节点)、隐层(隐节点)、输出层(输出节点)组成。输入节点负责接收和处理训练样本集的输入变量，输出节点给出输出变量的预测结果。在众多的神经网络模型中，最为基础的算法当属三层神经网络。三层神经网络中最基本的单元称作神经元，一个神经元包含输入、输出、权值向量、偏置和激活函数等几个基本元素。神经元的结构如图4所示。

图4 神经元的结构

神经元输入依次经过一个线性变换和一个非线性的映射，得到神经元的输出。一个神经元所做的运算为：

(1)

其中，ω表示权值向量，b表示偏置，σ(-)则代表激活函数。

激活函数一般有以下选择：

① sigmoid激活函数[6]

(2)

② 双曲正切激活函数[7]

(3)

③ ReLU激活函数

(4)

sigmoid激活函数满足以下性质：

σ′=σ(z)(1-σ(z))

(5)

图5 三层神经网络结构图

当一个样例(x1，x2，…，xD)输入到神经网络的输入层，首先通过定义增广的输入x0，将式(1)中的偏置参数整合到权值向量中。其中，额外的输入变量x0固定为1，则隐含层激活的计算可以通过下面这个函数：

(6)

类似地把第二层的偏置整合到第二层的权重向量中。于是，整体的网络函数为：

(7)

2.1.2 运用NN算法进行叶片识别

实验环境为：64位Windows 7操作系统，i5主频，2.4 GHz CPU，4 GB内存。使用matlab7.0编程实现。

【实验一】 使用数据样本集LEAF2132进行实验。将叶片的图像数据经过之前提出的数据处理方式得到相关训练数据，然后对输入样本进行归一化处理。将该数据集划分为训练集和测试集，其中训练集包含1 500个样本，测试集包含632个样本。在训练集上训练网络参数，在测试集上测试识别效果。在这次实验中，构建了网络结构为22-20-2的三层神经网络。在每个网络层的输出处使用sigmoid激活函数，增强网络的表达能力。在整个网络的输出层使用softmax激活函数，获得银杏叶和桂叶的叶片形状规律。图6展示了在100个数据循环内网络损失函数和识别率的变化曲线。图中，Error为均方误差，Misclassfication rate为识别错误率。最终在测试集上取得了99.4%的识别准确率。

【实验二】 实验一只包含2种植物叶片，识别任务相对简单，不足以说明模型的有效性。第二次实验使用样本数据集LEAF130，其中训练集包含100个样本，测试集包含30个样本。数据的预处理方式与实验一相同。采用23-23-16的三层神经网络，同样使用sigmoid和softmax激活函数。实验结果如图7所示，其中Error为均方误差、Misclassfication rate为识别错误率。最终在测试集上取得了100%的识别准确率。

图6 实验一的均方误差和识别错误率

图7 实验二的均方误差和识别错误率

2.2.1 MLR算法原理

多元线性回归算法(multiple linear regression algorithm)简记为“MLR算法”。

如果变量(x1，x2，…，xn)与随机变量y之间存在相关关系，通常就意味着当xn取定值后，y便有相应的概率分布与之对应。随机变量y与相关变量xn之间的概率模型为：

y=f(x1,x2,…,xn)+ε

(8)

其中，ε为随机误差。

当式(8)中回归函数为线性函数时，有

y=β0+β1x1+β2x2+…+βnxn+ε

(9)

其中，β0,β1,β2,…,βn为未知参数，也被称为回归系数。

如果(xi1，xi2，…，xin；yi)是式(9)中变量(x1，x2，…，xn；y)的一组观测值，则线性回归模型可以表示为：

yi=β0+β1xi1+β2xi2+…+βnxin+εi

(10)

式(10)写成矩阵形式，为

Y=Xβ+ε

(11)

2.2.2 运用MLR算法进行叶片识别

表1 MLR算法在训练集的识别结果

表2 MLR算法在测试集的识别结果

将数据集分为训练集和测试集，训练集包含100个样本，测试集包含30个样本。实验结果，在训练集上识别正确率达到70%，在测试集上识别正确率只有60%。

从上述4次实验的结果可以看出，运用基于分段面积比的植物叶片图像识别方法，可以获得较高的识别准确率，而且识别耗时短(见表3)。另外，利用植物叶片图像的等分分段技术，求取每一种叶片的分段面积比，采用神经网络算法进行叶片识别，其效果明显优于多元线性回归模型。

表3 两种算法的识别耗时对比

3 结 语

为了实现计算机对植物叶片的快速、准确识别，我们将植物叶片分段面积比作为叶片的关键特征。实验结果表明，在计算获得植物叶片分段面积比的基础上，运用神经网络算法进行植物叶片图像识别，运算简单，识别率高，易于实现。这次识别实验涉及的叶片背景比较简单、数据量较小。下一步研究，可采集更多种类的植物叶片，建立更大的叶片数据库，增强深度学习训练样本强度，增加分段数目，进一步探讨这种方法在复杂背景下对植物叶片的识别效果。