一种基于三支决策的花卉图像分类

2019-07-09武慧琼张素兰张继福胡立华

小型微型计算机系统 2019年7期

武慧琼，张素兰，张继福，胡立华

(太原科技大学计算机科学与技术学院，太原 030024)

1 引言

花卉图像分类是根据花卉所具有的属性特征将其划分到不同类别的过程，有效的分类对于花卉图像分析和检索是非常重要的.随着数码技术的普及，网络花卉图像资源与日俱增，花卉因其种类繁多、不同类别的花卉之间具有很大的类间相似性以及同一类别的花卉之间具有很大的类内差异性，使得花卉图像分类成为植物学领域和图像研究领域的一个极具挑战的研究课题.

三支决策[1，2](Three-Way Decisions，3WD)由加拿大学者Yao首次提出，是一种在不确定或不完整信息条件下的决策方式，它来源于决策粗糙集理论(Decision Theoretic Rough Sets，DTRS)，其主要目的是将粗糙集模型的正域、负域和边界域解释为接受、拒绝和不承诺(延迟决策)三种决策的结果.为将三支决策理论拓展到更广泛地领域，Yao给出了三支决策的基本框架[3]，它的基本思想是“三分而治”，即按照分治法将复杂问题转化为三个规模较小的问题，有针对性的解决三个小问题，从而提高决策质量，减少决策成本和降低决策时间[4].本文针对花卉图像分类中存在的图像信息不完整和不确定而造成分类精度不高的问题，给出了一种基于三支决策的花卉图像分类方法.该方法首先利用单一特征对花卉图像进行分类，并依据分类结果的决策状态值选取适当的阈值(α1，β1)将图像集三分为POS1域、BND1域和NEG1域；其次定义域之间的转移规则，并分别对BND1域和NEG1域所包含的花卉图像提取新特征；接着融合新特征后再对BND1域和NEG1域所包含的花卉图像进行分类，并依据分类结果的决策状态值选取适当的阈值(α2，β2)和(α3，β3)继续进行三分，进而实现多层“三分-治略”，提高花卉图像分类精度；最后采用牛津大学VGG(Visual Geometry Group)小组的Oxford-17-flowers和Oxford-102-flowers花卉图像集，实验验证了该方法的有效性.

2 相关工作

传统的花卉图像分类方法是基于精度敏感的二支决策模式，在决策图像类别时，只有接受与拒绝两种选项.Guru D S等[5]提出了一种基于概率神经网络(PNN)的花卉图像分类方法，该方法在花卉主体图的基础上提取三种纹理特征，使用PNN进行分类时，以贝叶斯最小风险准则为理论基础，依据后验概率的大小立即做出接受或拒绝的决策.Nilsback M E等[6]提取花卉图像颜色、形状、纹理特征，融合三种特征后使用K-最近邻(KNN)对花卉图像进行分类，该方法依据最邻近的一个或几个样本的类别来对待分类样本做出接受或拒绝的决策.Nilsback M E等[7]在102类花卉图像集上提取四种花卉特征，并使用支持向量机(SVM)对花卉图像进行分类，该方法依据样本和划分超平面的距离来做出接受或拒绝的决策，对最靠近超平面的样本做出接受的决策.周伟等[8]提出一种新的基于显著图的花卉图像分类算法，该方法首先将显著图融入到特征提取的过程中，然后提取颜色特征和局部特征后进行SVM分类.柯逍等[9]在基于多特征融合的花卉图像检索中，对分割后的花卉图像采用基于SVM的多特征融合方法进行分类检索.林思思等[10]提出融合深度特征和人工特征的花卉图像特征提取方法并在此基础上实现了花卉图像分类，该方法首先构建基于卷积神经网络(CNN)的特征提取框架，然后利用CNN模型提取多种特征并与人工特征融合后进行分类.这些分类方法现有的图像信息进行分类决策，而没有考虑当前所获取信息的不确定与不完整.

三支决策在传统二支决策的基础上增加了更符合人类认知的第三个决策选项，即延迟决策，不再严格要求决策者即时做出接受或拒绝的决策，它允许决策者收集更多的信息后再给出更准确的判断，因此可以很好地解决延迟决策的问题[11].例如，在垃圾邮件过滤中[12]，除了确定属于正常和确定属于垃圾的邮件，还包括需要获取更多信息才能确定类别的邮件(延迟决策)；在医疗诊断中，对于一些小病，医生可以直接给出是否患病的结论，而对于一些疑难杂症，则需要进一步诊断(延迟决策)；Li H等[13-15]考虑到信息的不确定与不完整，依据误分类代价的不平衡性，提出代价敏感序贯三支决策人脸识别方法，在人脸图像识别过程中，从粗粒度到细粒度，随着信息的更新和补充，在不同粒度的图像下做出一系列决策，而不是立即做出决策，这种序贯三支决策的方法可以很好地解决人脸识别过程中延迟决策的问题，降低决策的总代价.

综上所述，当决策花卉图像类别时，如果采用基于精度敏感的二支决策模式，即要求给出即时判断，则当花卉图像信息不完整和不确定时，如果立即做出接受或拒绝的决策，很容易会导致错误决策，从而影响图像分类精度.代价敏感的三支决策模式虽然考虑到当前信息的不完整与不确定，但同样需要考虑分类代价的不平衡性，并不适用于花卉图像分类.因此，基于三支决策的花卉图像分类方法既考虑到花卉图像信息的不完整与不确定，又不需要考虑分类代价的不平衡性，是一种有效的花卉图像分类方法.

3 三支决策描述

定义 1[16].设U={x1，x2，…，xn}是有限、非空实体集，C是有限条件集.基于条件集C，三支决策通过映射f将实体集U分为三个两两互不相交的区域，分别为：POS域、BND域和NEG域，即：

(1)

POS域、BND域和NEG域是U的子集，它们并不严格要求为非空，之间具有如下关系：

POS∩BND=φ

POS∩NEG=φ

BND∩NEG=φ

U=POS∪BND∪NEG

(2)

映射f可以基于条件集量化，用评价函数来刻画.评价函数又称为决策函数，它的值称为决策状态值.评价函数的构造因具体应用需求的不同而有所不同，本文使用单评价函数，即f=v(x).引入一对阈值(α，β)将决策状态值映射到三个域，不失一般性，假设α≥β，边界域的大小可由阈值(α，β)来决定.这样基于评价函数和一对阈值就可以将所有实体划分到三个域中.一种简单的三支决策规则可以构造如下：若实体的决策状态值大于阈值α，即v(x)≥α，则其属于POS域；若实体的决策状态值介于两个阈值之间，即β

POS(α，β)(v)={x∈U|v(x)≥α}

BND(α，β)(v)={x∈U|β

(3)

NEG(α，β)(v)={x∈U|v(x)≤β}

Yao在文献[17]中给出了三支决策的“三分-治略”模型(“trisecting-and-acting” model)，可以看出，Yao将一个整体集三分为三个区域，分别对不同的区域采取不同的策略，从而将一个复杂的问题转化为几个简单的问题.

4 本文方法

本文结合三支决策的定义和“三分-治略”模型，在“治略”阶段分别对BND域和NEG域采取继续“三分”的策略，首先定义了多层“三分-治略”模型，然后给出了相应的转移规则，并将其应用在花卉图像分类中.

4.1 多层“三分-治略”模型

多层“三分-治略”模型按照分治法的思想，进行多次“三分”和“治略”，将全局多次划分为三个独立的部分，从而将一个复杂问题多次转化为三个规模较小的问题，有针对性的解决这些问题，达到决策质量的提高，决策成本和决策时间的降低.具体多层“三分-治略”模型如图1所示，其中阈值(α，β)通过三分后的决策状态值人为进行设定.

4.2 转移规则

图1多层“三分-治略”模型每一次三分为三个域之后，域之间都遵循一种简单的转移规则，本文定义了如下一种P-B-N(NEGtoBNDtoPOS)转移规则：

定义 2.P-B-N转移规则是一种实现三支决策域之间转移的规则，即：

规则P：对于POS域，第一次分类后，它所包含的决策状态值大于等于阈值α，可以简单认为POS域是正确分类的域，不再进行处理；

规则B-N：为达到分类结果的最优化，要尽量将BND域包含的类别向靠近POS域的方向转移；同时尽量将NEG域包含的类别向靠近BND域或者靠近POS域的方向转移.最终目的是实现BND域和NEG域所包含的类别向POS域转移，从而提高分类精度.

图1 多层“三分-治略”模型Fig.1 Multi-Level “trisecting-and-acting” model

实现域之间的转移，即将BND域向靠近POS域的方向转移，将NEG域向靠近BND或者POS域的方向转移，就要想办法增大BND域和NEG域决策状态值的大小，即将v(x)≤β和β

1.提取新特征.利用一种特征进行分类，假设分类后决策状态值小于等于β，处于NEG域，那么融合两种或者多种特征后，获取到的花卉图像信息将增加，此时再进行分类，决策状态值将增大向靠近BND域或者POS域的方向靠近，从而实现域之间的转移.本文所提方法使用新特征的提取来实现域之间的转移.

2.增加视觉词典维数.利用某一特征维度为V的视觉词典进行分类，假设分类后决策状态值小于等于β，处于NEG域，那么随着视觉词典维数的增加，对花卉图像获取的信息将增加，对应分类后的决策状态值将增大，从而实现NEG域向靠近BND域或者POS域的转移.但增加到一定程度可能产生“过犹不及”的效果.

4.3 花卉图像分类方法

结合上述多层“三分-治略”模型以及该模型域之间的转移规则，给出本文所提花卉图像分类方法的具体步骤：

第1步.由于SVM能较好地解决小样本、非线性和高维等分类问题，因此首先利用SVM针对单一特征(特征d1)对花卉图像进行分类，并依据特征d1进行的分类结果选取适当的阈值(α1，β1)将花卉图像集U三分为三部分，分别为POS1域、BND1域和NEG1域；

第2步.分别对BND1域和NEG1域所包含的图像提取新特征(特征d2)，融合两种特征(特征d1+特征d2)，依据特征d1和特征d2进行的分类结果选取适当的阈值(α2，β2)将NEG1域三分为POS2域、BND2域和NEG2域，同样的，选取适当的阈值(α3，β3)将BND1域三分为POS3域、BND3域和NEG3域；

第3步.分别对BND2和BND3以及NEG2和NEG3取并集，即：BND2∪BND3和NEG2∪NEG3，继续进行新特征提取，依此进行多层“三分-治略”，第n步阈值为(αn，βn)，特征为d(n+1)/2；

第4步.分别得到POS域、BND域和NEG域所包含的花卉图像类别，如公式(4)所示，POS域包含每一步三分后的POS域，而BND域和NEG域只包含最后两步三分到BND域和NEG域的结果；

POS={POS1(α1，β1)，…，POS(n-1)(αn-1，βn-1)，POSn(αn，βn)}

BND={BND(n-1)(αn-1，βn-1)，BNDn(αn，βn)}

NEG={NEG(n-1)(αn-1，βn-1)，NEGn(αn，βn)}

(4)

此外花卉图像的分类精度average_precision求取如公式(5)所示.

(5)

5 实验结果及分析

本文应用多层“三分-治略”模型的前两层来验证所提方法的有效性，第一层利用HSV颜色特征进行SVM分类，第二层融合HSV颜色特征和SIFT特征进行SVM分类.

SVM分类函数作为评价函数f，其分类结果用混淆矩阵表示，混淆矩阵对角线元素的值为决策状态值，阈值(α，β)依据决策状态值来人为设定，三分到POS域、BND域和NEG域的花卉图像类别如公式(6)所示，精度的求取如公式(7)所示.

POS={POS1(α1，β1)，POS2(α2，β2)，POS3(α3，β3)}

BND={BND2(α2，β2)，BND3(α3，β3)}

NEG={NEG2(α2，β2)，NEG3(α3，β3)}

(6)

average_precision=(sum(max(POS1))+sum(diag(BND1))

+sum(diag(NEG1)))/nclasses

(7)

5.1 花卉图像集

为便于实验结果的对比分析，本文采用牛津大学VGG小组的Oxford-17-flowers和Oxford-102-flowers花卉图像集进行实验.Oxford-17-flowers包括17类花卉，每类有80幅图像，共1360幅.Oxford-102-flowers包含102类花卉，共8189幅图像，其中训练集每类10幅图像，共1020幅图像；验证集每类10幅图像，共1020幅图像；测试集每类最少20幅图像，共6149幅图像.

由于花卉图像属于精细图像的范畴，背景的复杂性会直接影响其分类效果，因此，首先对花卉图像进行了主体分割，去掉了复杂的背景区域.本文采用的花卉主体分割方法如下[18]：1)对花卉原图使用SLIC算法进行超像素划分得到超像素图；2)在超像素图的基础上利用基于图的流形排序显著性计算思想得到显著图；3)将得到显著图转化为二值图；4)在花卉原图的基础上填充二值图的白色部分得到主体图.然后在主体图的基础上进行特征的提取并分类.

5.2 13类花卉实验结果

5.2.1 阈值对分类精度的影响

文献[19]考虑到Oxford-17-flowers中的Bluebell、Cowslip、LilyVallery和Snowdrop这四类花卉图像分割效果差，因此采用除此之外的13类花卉进行实验.本文参照文献[19]，随机选取三组花卉图像进行实验，每类随机选取30幅图像作为训练集，15幅图像作为测试集.选取不同的阈值(α1，β1)，对应的分类精度不同，如图2所示.

图2 Oxford-13-flowers不同的阈值对应的分类精度 Fig.2 Classification precision of Oxford-13-flowers corresponding to different threshold(α1，β1)

图2中α1=0，β1=0时，即直接融合HSV颜色特征和SIFT特征进行分类，精度为83.59%，但基于三支决策，在多组不同的阈值(α1，β1)取值情况下，分类精度均明显高于直接分类的精度83.59%，最高达到89.23%，证明了本文所提方法的有效性.

5.2.2 类别数对分类精度的影响

选取不同的阈值(α1，β1)，三分到三个域的花卉图像类别数不同，如表1所示为参照文献[19]进行的三组实验中，选取不同阈值的情况下，三分到POS1域、BND1域和NEG1域的花卉图像类别数.由表1和图2可知，三分到三个域的类别数影响分类精度，BND1域的类别数大于或者等于NEG1域的类别数时，分类精度相对高.这是因为特征的可区分性不同，相对而言，本文所提取的HSV颜色特征和SIFT特征对POS1域的图像可区分性最高，BND1域次之，NEG1域最差.其他实验情况类似，不再赘述.

表1 不同阈值(α1，β1)对应的花卉图像类别数Table1 Number of classes of flower images corresponding to different threshold(α1，β1)

5.2.3 域之间转移分析

1)提取新特征实现域之间转移

表1第一组花卉图像实验中，利用HSV颜色特征进行SVM分类，当(α1，β1)取(0.9，0.5)时，对应的决策状态值如表2所示.由表2可知，利用HSV特征分类三分到POS1域中的花卉为Fritillary和Winderflower共2类，三分到BND1 域的花卉为Buttercup、ColtsFoot、Crocus、Daisy、Dandelion、Iris、Pansy、Sunflower和Tigerlily共9类；三分到NEG1域的花卉类别为Daffodil和WildTulip共2类，即：POS1={Fritillary，Winderflower}，BND1={Crocus，Buttercup，ColtsFoot，Daisy，Dandelion，Iris，Pansy，Sunflower，Tigerlily}，NEG1={Daffodil，WildTulip}.

表2 HSV特征分类结果Table 2 Classification results of HSV feature

为了证明域之间的转移，此处(α2，β2)和(α3，β3)都取(0.9，0.5).融合HSV特征和SIFT特征后，NEG1域三分到POS2域中的花卉为Daffodil共1类，三分到BND2域中的花卉为WildTulip共1类，三分到NEG2域中0类，即：POS2={Daffodil}，BND2={WildTulip}，NEG2=Ø.BND1域三分到POS3域中的花卉为Daisy和Sunflower共2类，三分到BND3域中的花卉为Buttercup、ColtsFoot、Crocus、Dandelion、Iris、Pansy和Tigerlily共7类，三分到NEG3域0类，即：POS3={Daisy，Sunflower}，BND3={Buttercup，ColtsFoot，Crocus，Dandelion，Iris，Pansy，Tigerlily}，NEG3=Ø.依据P-B-N转移规则，POS1域的花卉是正确分类的花卉，不再进行处理，NEG1域由于新特征的提取向靠近POS2域和BND2域的方向转移，而BND1域向靠近POS3域的方向转移.最终POS域的类别数由2类变为5类，BND域的类别数由9类变为8类，NEG域的类别数由3类变为0类，即：POS={POS1，POS2，POS3}={Daisy，Daffodil，Winderflower，Fritillary，Sunflower}，BND={BND1，BND2，BND3}={Iris，Buttercup，ColtsFoot，Crocus，Dandelion，Tigerlily，WildTulip，Pansy}，NEG={NEG1，NEG2，NEG3}=Ø.

2)增加视觉词典维数实现域之间转移

利用HSV颜色特征分类，颜色词典维度与分类精度关系如图3所示，以表1第一组实验为例，(α1，β1)取(0.9，0.5).当颜色词典维度V=5时，三分到三个域的类别数分别为：POS1域0类，BND1域5类，NEG1域8类，即：POS1=Ø，BND1={ColtsFoot，Iris，Sunflower，Tigerlily，Winderflowr}，NEG1={Buttercup，Crocus，Daffodil，Daisy，Dandelion，Fritillary，Pansy，WildTulip}.颜色词典维度V=60时，精度随词典维度的变化趋于稳定，此时三分到三个域的类别数分别为：POS1域2类，BND1域9类，NEG1域2类，即：POS1={Fritillary，Winderflower}，BND1={Iris，Buttercup，ColtsFoot，Dandelion，Sunflower，Tigerlily，Crocus，Daisy，Pansy}，NEG1={Daffodil，WildTulip}.此时，POS1域由0类变为2类，BND1域由5类变为9类，NEG1域由8类变为2类.NEG1域和BND1域由于颜色词典维度的增加，获取到的图像信息增加，从而向靠近POS1域的方向转移，实现了域之间的转移.其他阈值情况类似，不再赘述.

图3 精度与颜色词典维度关系Fig.3 Relationship between the precision and thecolor dictionary dimension

5.3 16类花卉实验结果

文献[20]使用Oxford-17-flowers中除Dandelion外的16类花卉进行实验，每类选取50幅图像作为训练集，25幅图像作为测试集.不同的阈值对应的分类精度如图4所示.

图4 Oxford-16-flowers不同的阈值对应的分类精度 Fig.4 Classification precision of Oxford-16-flowers corresponding to different threshold(α1，β1)

图4中α1=0，β1=0时，即直接融合HSV颜色特征和SIFT特征进行分类，精度为78%，而基于三支决策，在多组不同的阈值(α1，β1)取值情况下，分类精度均明显高于直接分类的精度78%，分类精度最高达到83.5%.证明了本文所提方法的有效性.阈值(α1，β1)取不同的值，三分到三个域的图像类别数如表3所示.

表3 不同阈值(α1，β1)对应的花卉图像类别数Table 3 Number of classes of flower images corresponding to different threshold(α1，β1)

5.4 102类花卉实验结果

Oxford-102-flowers已经将训练集和测试集分类，直接调用即可.训练集和验证集共2040幅图像作为训练集，其余6149幅图像作为测试集.由于每类测试图像的数量不同，本文选用类精度的平均值作为最终分类结果(而不是正确分类图像数目的平均值).不同的阈值对应的分类精度如图5所示.

图5 Oxford-102-flowers不同的阈值对应的分类精度 Fig.5 Classification precision of Oxford-102-flowers corresponding to different threshold(α1，β1)

图5中α1=0，β1=0时，即直接融合HSV颜色特征和SIFT特征进行分类，精度为54.46%，而基于三支决策，选取多组不同的阈值，分类精度均明显高于直接分类的精度，分类精度最高达到62.89%.证明了本文所提方法的有效性.阈值(α1，β1)取不同的值，三分到三个域的图像类别数如表4所示.

表4 不同阈值(α1，β1)对应的花卉图像类别数Table 4 Number of classes of flower images corresponding to different threshold(α1，β1)

5.5 实验对比

综合以上在13类花卉、16类花卉以及102类花卉三组数据集中进行的实验，如图6所示，清晰地表明本文所提基于三支决策的花卉图像分类方法相比于直接融合特征进行分类均有5%左右精度的提高，具有一定的优势.

图6 三支分类与直接分类对比Fig.6 Three-way classification compared with the direct classification

为验证本文所提方法的优势，将本文实验结果与其它文献实验结果进行比较分析.如表5所示，文献[19]在13类花卉图像集上基于一种新的颜色特征提取的方法，对花卉图像提取的Lab特征和SURF特征进行加权融合，并用SVM作为分类器，分类精度达到84.01%；文献[20]对各种梯度和二元描述符在平移、旋转和缩放等方面的效率和鲁棒性进行经验性评估，并在16类花卉图像集上使用SVM分类器，提取SIFT特征后分类精度为78.06%；文献[21]在102类花卉图像集上首先进行花卉主体分割，其次使用两种不同的卷积神经网络结构GoogleNet和AlexNet进行分类，GoogleNet的top-1精度为47.15%，top-5精度为69.17%，AlexNet的top-1精度为43.39%，top-5精度为68.68%.