基于叶缘特征的植物图像分类检索

晏艺真, 周坚华

(1. 华东师范大学 地理系, 上海 200241; 2. 华东师范大学 地理信息科学教育部重点实验室，上海 200241)

基于叶缘特征的植物图像分类检索

晏艺真1, 周坚华2

(1. 华东师范大学 地理系, 上海 200241; 2. 华东师范大学 地理信息科学教育部重点实验室，上海 200241)

叶缘是植物属种识别分类可以参照的主要特征之一.与叶片形状特征相比，叶缘描述了尺度更细微的特征，对于弥补叶形识别特征的不足、以及从多尺度识别植物属种都有重要意义.在借鉴已有研究成果的基础上，设计了7个新的叶缘特征描述符、提出了以语义字典组织植物属种多层分类中的层间继承关系、以及通过叶节点成员相似性评估确定植物属种的技术框架和方法.通过分支结点描述符组合分类实验，证明了叶缘凸残差与叶局部面积比、右边长与左边长比对划分不同的非裂叶植物、以及划分不同的非全缘叶植物有效；叶缘凸残差均值等描述符对于划分不同的非全缘叶植物有效.通过多描述符组合的多层分类将30种非裂叶植物划分到多个叶节点，平均全局精度优于81.21%.而叶节点成员属种概率评估实验，进一步论证了这种多层分类和相似性检索框架的合理和有效性.

叶缘特征； 描述符； 凸残差； 语义字典； 图像检索

0 引 言

植物属种识别分类是植物学研究和农林业生产经营中的重要基础工作，传统的方法是由植物分类专家亲临野外辨识，或由更多的野外工作者采集实物样本和/或拍摄图片，带回实验室由这些专家做分析.但植物种类的丰富性和形态多样性所带来的巨量信息，是人类专家的经验、记忆力和分析能力远远不能承受的，这种传统方法面临严峻挑战.

数码摄影技术的普及使数字图像更易获得，它的主要特点是可以实时处理和传输. 依靠一些植入智能手机或个人数字助理(PDA)的系统，使人们有可能借助图像自动识别技术在野外对植物做实时分类.同时，计算机网络和手持式导航仪技术的发展，又使这种识别的准确率可能通过采样地点定位和网络图像检索的支持而改善.这些技术的集成框架称为“基于内容的图像检索”(Content-Based Image Retrieval，CBIR)[1].该框架扩展了人类感知世界的能力，使我们快速进入“自动识别各类物种的时代”[2].已经出现了少量基于CBIR的手机版植物辨识软件，但由于正确辨识的植物种类有限，目前主要用于科普目的，距离为植物学野外工作服务还有一定差距[3].也就是说，由于专家知识植入图像识别软件和网络检索系统方面的一些困难，使得CBIR系统在植物属种识别分类领域的应用深度和广度还有待进一步拓展.

叶缘是植物属种识别分类可以参照的主要特征之一，无论对人类专家依靠经验的识别和计算机图像自动识别都非常重要.与叶片形状特征相比，叶缘描述了尺度更细微的特征，对于弥补叶形识别特征的不足、以及从多尺度识别植物属种都有重要意义.已经有一些研究者报导了他们在这方面的工作.比如判断植物叶是否存在锯齿[4]、区分锯齿和分裂[5]、检测叶缘锯齿[6]、提取锯齿特征[7,8]、对植物叶锯齿和叶裂定位[9]、在识别中结合使用叶缘与叶形特征[10-13]等.但没有检出侧重于研究锯齿深浅和整齐程度等叶缘特征的文献.已有的研究中，主要有跟踪叶缘轮廓曲线构造函数以提取锯齿位置和数量的方法[5,6]，以及通过检测角点提取锯齿特征的方法[7,8].前者易受图像噪声影响，使轮廓曲线连续性变差并影响函数计算；使用的叶缘特征简单，存在对图像和叶片尺寸变化的适应性欠好等问题.而后者在自适应确定算子尺寸和分割阈值、分辨锯齿类型、部位等方面显得不足.

上述成果已经提出了较多叶形特征描述符和少量叶缘特征描述符，而植物属种划分通常采用单层分类方法，因此划分类别数比较有限.为了适应更多植物属种分类，本文综合应用图像分类和图像检索的一些概念模型和方法，对植物属种常规图像分类方法做了一些改进.比如，根据图像检索概念，构建了叶缘分类语义字典，并为各分支结点设计了描述符组合；根据多层图像分类原理，以字典层结点组织和描述植物属种分层继承关系；根据相似概率索引方法，推求字典叶节点成员属于特定植物种的概率，进而实现对植物属种做图像分类索引的功能.在描述符设计方面，主要侧重于锯齿深浅和整齐程度等重要叶缘特征的描述，形成的7个新叶缘特征描述符补充和丰富了已有叶缘描述符库.对30种非裂叶植物的332幅叶图像的分类检索实验表明，在“分类语义字典组织的分层分类+叶节点成员相似性检索”的技术框架下，将这些新描述符与某些常用叶形描述符结合使用，可以有效改善植物叶图像属种划分的精度.

1 方 法

1.1 方法概述

为了提取叶缘特征和区分不同属种植物的叶缘差异，提出了鲁棒性较高的图像预处理和叶缘特征元素提取方法，并由这些特征元素的集合和统计表达式形成新的叶缘特征描述符；为了增加分类数和减小分类难度，采用了多(层)分类方法；提出了叶缘分类语义字典的概念，并以该字典描述多分类中的层间继承关系.为了解决字典叶节点植物属种不唯一问题，提出并实践了以相似性检索确定叶节点成员归属概率的方法.另外，使用本文设计的描述符和分类规则，分割阈值比较稳定、对图像和叶片尺寸变化较不敏感、描述符中的参数可以自适应确定.图1显示该方法的技术流程.下面简要介绍其中的关键技术.

图1 技术流程Fig.1 Flowchart of the proposed methods

1.2 数据采样

近日，应急管理部、国家减灾委办公室会同自然资源部、农业农村部、气象局等部门对2018年11月份全国自然灾害情况进行了会商分析。经核定，11月份中我国自然灾害以滑坡灾害为主，洪涝、风雹、地震、山体崩塌等灾害也有不同程度发生。各类自然灾害共造成全国12万人次受灾，8.6万人次紧急转移安置；3400余间房屋严重损坏，2.2万间一般损坏；农作物受灾面积8.2千公顷，其中绝收2千公顷；直接经济损失75.4亿元。

植物叶片样本数字图像均来自野外自采集.采集区域为上海市区的华东师范大学闵行校区、上海植物园和虹桥路虹梅公共绿地，以及浙江省临安市西天目山地区.共对30余种阔叶类植物采样量测和摄影，拍摄图像包括单叶的正反面，共获取有效样本图像300余幅.采样设备为普通单反变焦数码相机，拍摄时注意了避免阳光直射，拍摄背景为自制小黑板.

1.3 图像预处理

图像预处理主要用于减少噪点对叶形状特征提取的干扰.本研究使用去除叶柄后的摄影图像作为预处理的原图像，图2以宽叶十大功劳为例介绍图像预处理的一般流程.

注：(a)原图像.(b)对灰度图做中值滤波后图像，滤波窗口尺寸据图像尺寸自适应确定.(c)二值化并经过数学形态学处理后的图像，分割阈值按大津算法[14]确定，数学形态学处理为先用两次开启运算去除毛刺，再进行两次闭合运算封闭较小裂隙；最后进行两次膨胀运算，并与叶片二值图做与运算，以恢复叶缘信息，填充凹陷，并滤除较小的凸点.图2 图像预处理过程Fig.2 Image preprocessing

1.4 描述符设计和参变量提取

为体现不同植物类在叶缘细微特征上的差异和减少运算开销，在叶缘特征元素/参变量获取时，统一只取右半叶中段三分之一的子图像(叶外接矩形平均划分为两列三行，(2,2)处部分)参与运算，记为PT(见图3)，图4显示部分叶缘参变量的含义.图5以朴树和花叶青木为例，显示了叶缘参变量提取过程中，对于凸残差的处理.凸包是将最外层的点连接起来构成的凸多边型，凸残差是凸包和原图像相减的结果.凸包以MATLAB的convhull函数提取，该函数出自著名算法 “Qhull”(参见http://www.qhull.org).

图3 取子图PT示意图Fig.3 Getting sub-graph PT

图4 叶缘特征参变量示意Fig.4 Explanation of parameter

注：(a)和(c)是两叶的part图像，其获取方式为对二值图图斑排序得到最大图斑，将part区域保留原值，其他区域数值归为0；(b)和(d)分别是(a)、(c)的凸残差图斑，一些粘连的凸残差经形态学处理后分离，非常小的凸残差消失.图5 朴树和花叶青木凸残差处理后结果Fig.5 Extracting residual error of convex

可以根据提取的叶缘特征参变量设计叶缘描述符，设计参照如下原则：

(1)能够有效表征叶锯齿的数量、整齐程度、深浅和尖锐程度等叶缘特征；

(2)描述符的特征参量在图像上可提取、可量化；

(3)具有区分植物属种作用.

根据这些原则，设计了7个新的叶缘描述符(见表1前7个).为便于后续内容理解，表1还列出了后面将引用的部分常用叶形描述符.

1.5 分层分类和检索

属种分类在语义字典的每个分支结点上进行，包括:为每个分支结点选择描述符组合，通过训练定制各分支结点的分类器,以及以定制的分类器做分类测试.

各分支结点使用的描述符在表1中挑选，一个结点的划分通常需要多个描述符组合，而一个描述符也可能被多个结点的划分规则采用.对于某个结点最适合的描述符组合可以通过分类实验测试.测试时，将样本集随机分为训练和测试两个子集，用选定分类器模型做分类精度评估.本文以决策树(DT)作为分类器模型，以方便查看分类规则和分析组合中各描述符的有效性.通过训练DT，可以定制某结点的分类器，它以分类规则树的形式显示，图6给出一个实例.规则树所用的描述符由DT在训练过程中自主决定.并非所有在组合中的描述符都能入选，一般可以将入选者视为对当前分类问题较有效的描述符.用该规则树对剩余的测试样本做分类，其结果可用于评估定制分类器的精度和描述符组合的优劣.表2是对非裂叶类232幅测试样本图像做全缘和非全缘叶分类的混淆矩阵.其余各分支结点的分类精度评估情况参见2.2.

表1 叶缘特征和本文引用的部分形状特征描述符Tab.1 New leaf margin descriptors and some existing leaf shape ones

注:[a]Ca为子图PT凸残差的总面积；Pa为子图PT面积；L为PT左边长，其值为叶片外接矩形高的三分之一；R为PT右边长，其值等于Pm-H/3-Up-Dw(Pm为PT外接矩形周长，H为叶片外接矩形的高，Up为PT上边界的长度，Dw为PT下边界的长度).[b] 名称后带*的为在分类有效性测试中未能入选DT分类规则的描述符.[c] 描述符适用范围可能不只限于表中所列.

注：利用100幅植物叶图像为训练样本，以Rcp-Dep-Num组合作为属性向量时给出的分类规则;叶节点1和2分别代表全缘和非全缘叶;最终被DT选用的描述符有Rcp(凸残差与PT面积比)和Dep(右边长与左边长比).图6 将非裂叶层划分为全缘叶和非全缘叶的规则Fig.6 The rules for dividing non-lobed leaf into integrifolious leaf and non-integrifolious leaf

表2 一个分支结点分类的混淆矩阵Tab.2 A case confusion matrix

注：全局精度为84.91%.

通过分层分类到达语义字典某个叶节点的成员通常属于多个植物类，或说叶节点成员尚未分到具体的植物属种.本文参考目前图像检索领域的主流方法，提出了评估叶节点成员归属概率的方法，并测试了其有效性，具体请见2.4.

2 结果与讨论

借鉴现有研究成果的基础上，本文取得了如下进展：设计并测试了7个新的叶缘描述符、以多层分类取代单层分类、以语义字典组织多层分类的继承关系、通过叶结点成员与样本的相似性评估，给出该成员归属某些植物类的概率.下面讨论其中的几个重要内容，包括叶缘分类语义字典、分支结点描述符组合和分类精度、叶缘和叶形特征分类精度比较、叶节点相似性评估.

2.1 叶缘分类语义字典

为了扩大可分类别数，采用了分层分类的方法.分类语义字典主要用于管理层间继承关系.字典的构建同时兼顾了经典植物分类学方法和计算机图像辨识能力两个方面(见图7).因实验采集的样本种类有限，划分到第三层时，结点中的植物类别即在10种以内，所以本文以3层的语义字典为例，介绍植物叶特征提取和分类检索的方法.

注：为了方便计算机图像辨识，非裂叶按照是否有叶缘齿分为有齿的非全缘叶和无齿的全缘叶；非全缘叶根据齿的整齐、疏密、尖锐和深浅程度，分别分为等齿和非等齿叶、齿密和齿疏叶、齿尖锐和齿圆叶、齿浅和齿深叶；这4种划分情况可能同时或先后出现在第3及以后层，可用类似图a的4个3层二分树表达，也可以用类似图b的单个多层二分树表达.图7 叶缘分类语义字典(以非裂叶植物为例)Fig.7 A case semantic dictionary for distinguishing between different non-lobed -leaf species

2.2 分支结点描述符组合和分类精度

下面讨论以不同描述符组合分类的精度，表3列出图7中5个分支结点的分类实验数据.非裂叶结点以Rcp-Dep-Num3个描述符组合做分类实验，其他结点均以新设计的7个叶缘描述符组合做分类实验，表中列出的描述符(组合)由DT自主确定.由于不同特征提取和量化的难易程度不同，不同划分内容在区分植物属种能力方面存在差异等原因，使得不同结点分类精度差别较大.其中，将非全缘叶划分为等齿和非等齿及齿圆和齿尖锐叶时精度稍差，提示需要继续研究对齿整齐程度和尖锐程度敏感的描述符.此外，DT自主确定的描述符中，Rcp、Dep和Mv出现的频率较高，可见基于叶缘凸残差的描述符和它们的某些组合对于划分植物属种有效.

以新设计的7个描述符组合分类时，入选DT决策规则的描述符可能会与以更少数量描述符组合分类时的不同.如对非裂叶结点上的分类，用7个描述符组合分类时，入选的描述符有Rcp、Src和Sta，精度只有70.26%，低于用Rcp-Dep-Num组合分类时的精度，提示描述符个数会对分类精度产生较难预期的影响，并非总是描述符个数越多越好(或特征空间越复杂越好).此外，以和叶节点划分特征相关的单个描述符对非全缘叶层分类时，其精度普遍比使用多个描述符分类时低，说明描述符组合在分层分类中更有效.

表3 各层结点分类精度评估Tab.3 Assessment of classification accuracy in every layer nodes

2.3 叶缘和叶形特征分类精度比较

具有相似叶形的植物种较多，单独使用叶形描述符分类难以提高某些层的分类精度.如划分非裂叶结点时，猫乳、樱花、栾树和紫薇叶形相近，仅用叶形描述符将难以区分.实验发现，仅使用叶形描述符对非裂叶层进行分类时，精度较使用叶缘描述符时低，说明对于叶形相似的植物种类，使用叶缘描述符分类更有效.在多植物属种分类时，可以将叶形和叶缘描述符联合使用，以丰富特征空间，提高分类精度.表4提供了仅仅使用叶形描述符分类和联合使用叶形、叶缘描述符分类的例子.与表3同一结点对照可知，对于叶形相似、叶缘特征不同的植物属种，使用叶缘描述符或联合使用叶形、叶缘描述符分类精度将得到较大改善.

表4 使用叶形描述符分类精度评估Tab.4 Assessment of classification accuracy in the case of using leaf shape descriptors only

2.4 相似性概率评估

与需要划分的植物属种相比，分类特征空间总是显得过于简单.因为对划分问题有效、且彼此相互独立的描述符的数量非常有限；采用分层分类也只能有限改善这种情况.所以通过分类到达语义字典某个叶节点的成员尚未分到具体的植物属种.这一部分将通过评估叶节点成员与已知样本的相似程度，给出该成员分别属于某些植物属种的概率.这种相似程度可以采用如式1所示的均方差公式定量计算.

(1)

其中，i=1,2,…,n为样本序号(0表示新成员)；j=1,2,…,m为描述符序号；G为描述符值，如Gi1为第i个样本第1个描述符的值；Si是为第i个样本的均方差.

通常，Si可以反映某叶节点新成员与同一节点已知样本的相似度，Si值越小，相似度越高.在下面的两个例子中，叶节点的新成员分别为花叶青木和红叶石楠叶图像，表5和6显示这两种新成员相对于已知样本的Si值，并列出Si排序较前的样本植物种类.由表可见，Si可以用于确定叶节点成员的植物种归属.可以根据某类植物出现频次和平均Si值等综合确定新成员的归属概率，式2给出一个评估表达式的例子.

Pi=a·Ni+b·(1-MEANSi).

(2)

其中，Pi为新成员属于第i类的概率；a和b为权系数；Ni为在Si较低的10个样本中第i类植物出现的次数；MEANSi为这10个样本中，第i类的平均Si.可以通过调节a和b，给予Ni和MEANSi不同的信任度.

以表5为例,先将Ni和Si归一化到值域[0,1]，并设a=b=0.5(等权)，则P1=49.11%(花叶青木)，P2=14.29%(宽叶十大功劳) ，P3=40.04%(石楠) ，P4=23.36%(窄叶十大功劳)；将概率归一化，即得到新成员属于花叶青木、宽叶十大功劳、石楠、窄叶十大功劳的概率分别为100%、29.10%、81.53%、47.58%.以同样的方法处理表6的数据，可得新成员属于榔榆、樱花、猫乳、桃树的概率分别为100%、87.30%、30.34%、63.48%.该例提示相似概率可以正确表征新成员属种.

表5 相似度概率评估(花叶青木)Tab.5 A case assessment of similarity for j. var. variegata

表6 相似度概率评估(榔榆)Tab.6 A case assessment of similarity for Ulmus parvifolia

3 结 论

本文主要研究基于叶缘特征的植物属种自动图像分类检索技术，并在设计新的叶缘描述符、构建语义字典和多层分类、叶结点成员归属概率评估等方面取得突出进展， 所提交的成果支持如下结论.

(1) 叶缘特征是植物叶图像识别的有效指标，对于某些叶形相似的植物类，甚至是唯一有效指标.描述符设计的合理性是改善可分性的关键，凸残差与PT面积比、右边长与左边长比对非裂叶层和非全缘叶层分类有效；凸残差均值、凸残差均方差等描述符对于非全缘叶层的区分有效.

(2) 使用分类语义字典组织分层分类，并在各分支结点使用适当的描述符组合分类，可以有效增加可分类别数和提高分类精度.

(3) 在植物属种较多的情况下，(分层)分类通常不能最后决定属种.对于分到叶节点的成员可以通过与索引库样本的相似性评估，获得它们属于不同科、属、种的概率，而基本实现对植物属种做图像自动分类检索的功能.

(4) 由于植物属种测试样本的数量和代表性等对分类精度会有较大影响，相对于数目庞大的植物属种，本文的实验属种数和实验图像数依然很有限，所提交的分析结论还有待进一步验证.

[1] NAM Y, HWANG E, KIM D. A similarity-based leaf image retrieval scheme: Joining shape and venation features[J]. Computer Vision And Image Understanding, 2008, 110: 245-259.

[2] MACLEOD N, BENFILELD M, CULVERHOUSE P. Time to automate identification[J]. Nature, 2010, 467: 154-155.

[3] JAMES S C, DAVID C, JONATHAN Y C, et al. Plant species identification using digital morphometrics: A review[J]. Expert Systems with Applications, 2012, 39: 7562-7573.

[4] 祁亨年,寿韬,金水虎,等.基于叶片特征的计算机辅助植物识别模型[J].浙江林学院学报,2003,20(3):281-284.

[5] 朱静,田兴军,陈彬,等.植物叶形的计算机识别系统[J].植物学通报,2005,22(5):599-604.

[6] 赵国庆,刘循,王勇,等.导数在提取植物叶片锯齿特征上的应用[J].四川大学学报:自然科学版,2009,46(4):941-946.

[7] 徐辉,王忠芝,黄心渊,等.基于角点检测的叶缘锯齿快速识别[J].北京林业大学学报,2010,32(6):85-89.

[8] 郑小东,王晓洁,高洁,等.SUSAN算法在植物叶缘特征提取中的应用[J].中国农学通报,2011,27(27):174-178.

[9] 王晓洁,于浩杰,郑小东,等.凸包在植物叶锯齿与叶裂位置识别中的应用[J].农机化研究,2013(3):214-217.

[10] CLARK J Y. Identification of botanical specimens using artificial neural networks[C]//Computational Intelligence in Bioinformatics and Computational Biology, 2004. Proceedings of the 2004 IEEE Symposium on, 2004: 87-94.

[11] CLARK J Y. Plant identification from characters and measurements using artificial neural networks[M]//MACLEODN.Automated Taxon Identification in Systematics: Theory, Approaches and Applications. FL:CRC Press, 2007.

[12] CLARK J Y. Neural networks and cluster analysis for unsupervised classification of cultivated species of Tilia (Malvaceae)[J]. Botanical Journal of the Linnean Society, 2009, 159: 300-314.

[13] RUMPUNEN K, BARTISH I V. Comparison of differentiation estimates based on morphometric and molecular data, exemplified by various leaf shape descriptors and RAPDs in the genus Chaenomeles[J]. Taxon, 2002, 51: 69-82.

[14] OTSU N. A threshold selection method from gray-level histogram[J]. Automatica, 1975, 11(285-296): 23-27.

[15] 贺鹏,黄林.植物叶片特征提取及识别[J].农机化研究,2008(6):168-170.

[16] 周坚华.遥感图像分析与空间数据挖掘[M].上海:上海科技教育出版社,2010:109.

[17] 王晓峰,黄德双,杜吉祥,等.叶片图像特征提取与识别技术的研究[J]. 计算机工程与应用,2006(3):190-193.

(责任编辑 李万会)

Plant image classification and retrieval based on leaf margin features

YAN Yi-zhen1, ZHOU Jian-hua2

(1.DepartmentofGeography,EastChinaNormalUniversity,Shanghai200241,China;2.KeyLabofGeographicalInformationScience,MinistryofEducation,EastChinaNormalUniversity,Shanghai200241,China)

Leaf margin is one of the main characteristics to identify plant species. Compared to leaf shape features, leaf margin features are much more subtle, so they are often indispensable in multi-scale recognition of plant species as either dependent features or supplements for others. The progresses include designing 7 new margin feature descriptors, taking hierarchical classification organized by some semantic dictionaries to reach a better classification accuracy, and finally deciding plant species of a leaf node member by similarity evaluation and retrieval. Our experiments have revealed that the descriptors, named as the ratio of residual convex to leaf area and the ratio of right edge to left edge, are efficient to distinguish between different non-lobed-leaf species and different non-integrifolious-leaf species; the mean value of residual convex etc., is of other examples of useful descriptors to the identification between different non-integrifolious-leaf species. By using the hierarchical classification in the feature space of multi leaf margin descriptors, 30 non-lobed-leaf species have been divided into several leaf nodes, and the mean overall accuracy is better than 81.21%. The test of assessing the similarity between the new assigned leaf node member and the known samples has further demonstrated that the framework of jointly using the hierarchical classification and the image retrieval is effective for the identification of plant species.

leaf margin features; descriptors; residual error of convex; semantic dictionary; image retrieval

1000-5641(2015)04-0154-10

2014-06

国家自然科学基金(J1310028，41071275)

晏艺真，女，本科生， E-mail: ylxbyy@126.com.

周坚华，女，副教授，硕士生导师，研究方向为图像智能识别和生态遥感. Email: jhzhou@geo.ecnu.edu.cn.

TP391.6

A

10.3969/j.issn.1000-5641.2015.04.016