航拍油菜花图像的自动聚类分割方法

梅 杰,孙开琼,覃 磊,刘昌华

(武汉轻工大学 数学与计算机学院,湖北 武汉 430023)

0 引言

油菜种植在我国十分广泛,油菜籽是重要的植物油源,也是植物蛋白粉的主要来源之一[1]。根据国家统计局数据,2018年中国油菜籽产量为1328.12万t。开花期是油菜种植的关键阶段,其标志着油菜从营养生长向生殖发育的过渡。油菜开花信息有助于揭示油菜生长与环境的关系,并且有助于制定最优的作物管理方案[2]。计算机视觉技术是自动量化油菜开花数量和程度,取代耗时的人工测量的重要手段。

颜色阈值和聚类方法通常被用来实现花的分割和比例估计,其图像来源于不同的成像方式，例如： Fang S, et al.[3]采用油菜冠层反射光谱绿、红、红边和近红外光谱数据; Wan L, et al.[4]采用红、绿、蓝多光谱。在类似的成像条件下, Aggelopoulou A D, et al.[5]提出的检测花卉的颜色阈值方法要求在特定的日光时间拍摄图像,并在树后设置黑屏去掉背景。Thorp K R,et al.[6]提出了HSI颜色空间中颜色阈值图像分割方法。Hocevar M, et al.[7]根据HSI空间中颜色的确定阈值来估计苹果树的花簇数目。Oppenheim D, et al.[8]采用了两个阈值区间来检测番茄花,阈值区间的选择是通过将图像分成较暗和较浅的图像来决定的。这种图像分类是基于对整个图像的饱和度的统计,因此,该方法对背景变化敏感。Long Y, et al.[9]建立了基于RGB颜色空间的颜色相似性判断模型,确定了合适的颜色相似性判断阈值,以对油菜花进行分类。相似度阈值实际上决定了最终结果的聚类数,需要为每个图像指定聚类数。在聚类方法方面, Shuai D, et al.[10]利用黄色模板去除背景信息,然后用K-means聚类法对油菜花进行分割。还有一些学者[4，10-12]采用不同的聚类数进行花卉分割,这些聚类数均需要人工预先指定。HSI变换通常被认为是户外农业场景中可变光照条件下彩色图像分割的有用方法。研究发现,油菜花面积在H通道中有较稳定的统计[6]。已有的花卉阈值分割方法都是在特定的颜色通道中使用目标敏感阈值来简化多区域情况,因为人们只关心花与背景的分离[6,8]。然而,阈值的选取对环境的变化非常敏感。作为解决此问题的一种选择,伴随颜色阈值的蒙特卡罗抽样方法[6]使用多组参数来进行分割，得到多个分割结果,最后综合所有结果得到最后分割,这导致计算成本增加。利用整个图像的饱和度统计信息[8],使阈值区间适应单个测试图像,这样的估计并不准确。

本文的研究目标是开发一种油菜花的分割方法,图像来源于可见光范围内的普通数码相机拍摄成像，这种成像方法的成本低,且易于实现。在对油菜花的分割中，为了克服背景变化对颜色阈值的影响,本文提出了一种基于HSI空间颜色阈值和X均值自动聚类[13]相结合的方法。颜色阈值用来确定候选的目标区域,然后计算其区域统计量,包括均值和方差,这些量被用在X均值自动聚类方法[13]中作为约束条件,自动决定聚类数目和目标区域对应的聚类。与现有的颜色阈值方法不同的是,本文提出的方法并不直接采用颜色阈值得到的二值化结果,而是估计其对应区域的统计量,相对于现有的聚类方法,提出的方法不需要预先指定聚类数目。整个分割过程如图1所示。首先,RGB油菜花图像被转化至HSI空间[6],通过H通道阈值去掉背景,得到候选目标区域；然后将图像再转至LAB空间,分别计算候选目标区域在a、b空间的均值和方差;均值作为初始中心，使用X均值自动聚类算法[13]进一步分割油菜花；在聚类过程中,之前计算的候选目标区域的方差作为一个类是否分裂为两个子类时两个子类中心需要满足的距离条件,形成对新产生的聚类的约束。实验表明,本文提出的这种方法可以克服背景变化对分割的影响,能够自动、精准地分割出田间油菜花。

图1 算法过程流程图

1 HSI颜色空间的阈值分割

HSI颜色模型[6]采用H、S、I三个参数来描述彩色图像,其中H表示颜色的波长,称为色调;S表示颜色的深浅程度,称为饱和度;I表示强度或亮度。从RGB空间转换成为HSI空间的公式为:

I=(r+g+b)/3

(1)

(2)

(3)

式(3)中θ的定义为:

(4)

在转换前,图像的R、G、B的值需要进行归一化处理,分别得到归一化值r,g,b，然后根据(1)、(2)、(3)式将RGB图像转为HSI颜色空间模型,转换后的H、S、I值也在[0,1]区间。Thorp K R, et al.[6]统计了有关黄色花朵在HSI颜色空间每个通道的边界信息,边界信息由最大和最小色调、最大和最小饱和度、最大和最小强度六个参数组成,各个通道的值如表1所列。本文只利用H通道的边界值,即[0.1216,0.1768]。将在边界条件范围内的像素值设为1,其它不在范围内的设为0,得到二值图像。图2b给出了图2a中的原始图像通过以上颜色阈值后对应的目标区域,其中背景为黑色,目标为原始图像中的RGB颜色。

表1 油菜花图像分割所用的边界信息

a b

2 自动聚类

X均值自动聚类法[13]是一种典型的无监督聚类算法。在X均值聚类中,只需给出种类的上限和下限,它便会将数据集合划分为合适的聚类,同时得到聚类数目。与传统的K均值聚类相比,X均值聚类输出的不仅有质心集,还有根据模型选择标准在得分最高处的K值。该算法从给定范围下限Kmin开始,在需要的地方继续添加质心,直到达到上限为止,而决定是否需要增加质心采用贝叶斯信息标准。在此过程中,记录得分最高的质心集,作为最终输出的质心集。

2.1 贝叶斯信息标准

假定D为给定的数据集合,Mj是可选的模型对应不同的聚类数K得到的聚类结果。为了判断模型是否合适,采用后验概率Pr[Mj|D]对模型打分,并用下面的贝叶斯信息标准来拟合后验概率:

(5)

在高斯假设下,并假设所有类的方差相同,方差的极大似然估计为:

(6)

式(6)中：μ(i)是对应点xi的聚类中心;xi是聚类像素的值,其概率为:

(7)

式(7)中：R(i)为点xi对应聚类的点数目;M为数据的维度。

对于所有像素点的对数似然函数为:

(8)

对某个第n(1≤n≤K)类,如果只关注属于质心n范围的集合Dn,并考虑最大似然估计,则得到:

+RnlogRn-RnlogR

(9)

2.2 X均值自动聚类

利用前面的贝叶斯信息标准,X均值自动聚类算法包括以下4个操作:(1)输入Kmin、Kmax和数据集D；(2)运行传统的K均值聚类算法(K=Kmin)；(3)对当前已有的所有聚类,进行K均值聚类(K=2)；(4)根据贝叶斯信息标准计算聚类及其两个子类的分数，决定是否进行二分聚类。对第(3)步到第(4)步进行迭代,如果两次结果(中心点数量)一样或达到Kmax,则结束迭代。

3 分割方法

在复杂的田间环境中,影响农作物分割的因素有很多,一是自然环境的影响,如土壤、光照和天气;二是农作物对本身的影响,如叶片、花秆。前面通过颜色阈值得到的目标区域并不准确,包含与目标颜色接近的背景。采用传统的聚类方法一般可以得到完整的目标区域,但是通常需要人工指定或者调节聚类数目,而常用的自动决定聚类数的方法基于特定的假设,难以符合本文油菜花分割的情况。X均值自动聚类方法偏向聚类数目较大的选择,容易导致过分割。本文采用X均值自动聚类方法[13],但是利用前面颜色阈值得到的目标区域的统计信息,在自动聚类中增加约束,来实现完全自动的分割。聚类采用原始图像在LAB空间的a、b通道的值,如图2c、图2d所示。采用上节的聚类过程,不同的是,在判断接受当前的某个类分裂为两个子类时,除了前面的贝叶斯信息标准,另外增加的条件为:两个子类的质心距离差的平方大于候选目标区域的在对应颜色通道的方差,候选目标区域由前面H通道的颜色阈值得到,即满足下式:

(10)

式(10)中：D是两个子类质心在a、b通道的差;右边为固定的方差；Ai、Bi是候选目标区域在a、b通道上的点值；分母是候选目标区域的点数。

图3a显示了图2a原始图像的聚类分割结果,与原始颜色阈值的结果图2b相比,得到的新结果有更清晰的目标区域,且干扰的背景像素大量减少。采样同样的颜色通道,将聚类数范围设定为[2,10],采用原始的X均值自动聚类方法[13]得到的最优聚类数为5,图3c和图3d显示了其中与候选目标区域颜色最接近的两个聚类的结果,与本文提出的方法对比,原始的X均值导致了目标的过分割,而本文增加的分裂约束抑制了过分割,得到更完整的目标区域,即图3a。

a b

4 实验结果与分析

为了验证本文提出的分割算法的效果,我们使用Matlab 2018b对选取的30张油菜花田航拍图像进行仿真实验，并将本文方法所得的结果与传统的颜色阈值方法相比较。图4给出了本文的方法与其它3种方法ExG[14]、ExR[15]、两阶段方法[16]比较的结果。

a b c d e

如图4所示：ExG和ExR分割方法都将原始图像中某些黄色枯萎的叶子也分割出来了,以致分割的图像中出现很多细小的黄点；两阶段算法相对于ExG和ExR而言较好；本文所提出的方法也避开了黄色叶子的分割错误。总体上,采用上述4种方法均得到了比较满意的结果,区别在微小的目标区域。

采用同样的方法对大尺度图像的分割结果如图5所示,由于受背景的影响,大量的背景像素颜色主导了阈值的选择,因此采用ExG、ExR以及两阶段方法所得的结果都有大片的背景存在,效果不佳；而采用本文提出的方法并没有受到背景的明显的影响,所得结果对背景的变化并不敏感。由于背景的变化,图像上实际的不同目标数量增加,采用固定聚类数目的方法[10-12]不能适应这种变化,需要人为地确定合适的聚类数目；而本文的方法能够自动检测确定合适的聚类数,不需要人工指定,实现了完全的自动化。

5 结论与讨论

本文提出了一种基于自动聚类的油菜花图像分割方法,相对于传统的颜色阈值分割方法,提出的方法能够将与油菜花颜色相近的土壤剔除掉。与ExG、ExR以及两阶段方法相比，本文提出的方法对背景的变化具有更强的适应性,且能自动确定合适的聚类数。本文方法存在的问题是,对于油菜花中心的绿色花蕊无法分割,造成分割的花朵中心为空,没有考虑目标的形状信息。