SBSM对开放环境下多色叶片RGB图像背景的精确分离

赵羡波， 林国健， 林志华， 曾文龙， 胡正平， 包可翔， 陈义强， 张 佩

(1.福建中烟工业有限责任公司，福建 厦门 361000；2.福建省烟草公司 龙岩市公司，福建 龙岩 364000；3.福建省烟草公司漳州市公司，福建漳州 363000；4.江苏省气象局，江苏 南京 210008)

随着智慧农业的高速发展，采用彩色图像信息反映植物品质[1-2]或植物内在生理生化指标[3]是植物表型学无损测量的一个研究热点，而获取精准的叶色信息是采用彩色图像定量描述叶片表型特征的前提[4]。通过图像采集设备获取叶片图片后，必须先对原始图片进行背景分离处理，将目标叶片和背景干扰物体进行分离后再进行叶色信息的提取分析[1-5]。现有计算机自动背景分离方法需要使用特定拍摄条件 (黑箱拍摄等)[6]，且多用于分离绿色或单色叶片，但存在背景阴影分离不充分[7]和处理效率较慢[8]等问题。在实际生产中，叶片杂色多色情况较为普通且复杂。一些多色植物〔如紫背天葵(GynurabicolorDC)、彩叶草(PlectranthusscutellarioidesL., R.Br.)〕或植物受病虫危害〔如大麦条纹病(DrechsleragramineaRabenh., Shoem.)〕会导致部分植物叶片整体呈多色状态，且叶面的不同颜色呈点状、条纹和块状分布等，其分布区域也各不相同。目前，大部分研究人员实验室和户外等开放环境下采集叶片图像时未配置或使用图像采集箱，只能将采集的叶片平放在试验台或较为平整的地面(一般会垫上纯色绒布)进行图像采集。台面较为粗糙或颜色不均会导致图像背景产生大量噪音，影响其分离算法的精准度；加之开放环境使用的光源一般为方向单一的点源光(自然光线或者照明灯管)，如果目标叶片叶面扭曲即会产生大面积阴影，导致算法产生误判，致使背景阴影分离不充分[6-7]。如何在实验室或品质分级台等开放环境下进行自动、快速和精准地分离多色叶片图像背景，已成为制约大样本植物叶色参数提取的一个难点。

目前，计算机图像背景分离方式主要有人工分离法[9]、边缘检测法[10-13]、通道差值法[7,11,14-16]、颜色阈值法[5,13,17-19]和最大类间方差法(OTSU)[5,8,10]等，其中，通道差值法和颜色阈值法需要与边缘检测法组合成为复合法[5,11,13]使用才能较好地完成对叶片的识别和切割。人工分离法以人眼识别，并利用Photoshop 7.0等辅助进行分离，虽然精度高、对目标叶片叶色及背景颜色无特殊要求等优点，但是其处理效率低，所以才产生各种自动识别方法。边缘检测法对背景噪音和干扰较为敏感，对于背景颜色复杂且有阴影的图像处理效果很不理想。颜色阈值法采用事先设定好的颜色阈值(如RGB色彩模型中某个通道的色阶值或HSV色彩模型中的色调值)为区间；通道差值法采用事先设定好的通道差值组合(如R-B、R-G、R+B-G等)等对图像进行减法处理，通过多次试验得到图像对比度最大的组合，并以此为依据进行背景分离；颜色阈值法和通道差值法单独使用时，对图片的要求条件非常苛刻，所以经常与边缘检测法结合成复合方法使用；2个方法能够较好地分离纯色叶片，但对具有大面积杂色或者混色的叶片切割效果仍然较差。OTSU无需事先设定阈值，采用最大类间方差法原理，以原图像中前景和背景差别最大的类间方差为阈值，并以此对图像进行二值化处理，进而实现对目标图像和背景的分离；OTSU对图像多峰干扰及目标大小十分敏感，对具有大面积杂色或者混色的叶片切割效果较差，仅对类间方差为单峰的图像(纯色叶片)产生较好的分离效果；同时，该方法要求背景必须与叶片主体颜色有较大色差。

在HSV色彩模型中，饱和度(Saturation)是一个重要的参数，其是反映色彩的鲜艳程度。饱和度与物体表面反色光谱的选择性程度有关，其值取决于该色中含色成分和消色成分(灰色)的比例，含色比例越高，饱和度越大。各种单色光饱和度最高，而完全不饱和的颜色，如黑白之间的各种灰色，饱和度较低。为此，以HSV色彩模型为基础，以背景图像与主体叶片饱和度不同为分离依据，综合饱和度筛选、边缘检测[10,20]和面积筛选[21]等方法，提出图像饱和度背景分离法(Saturation Background Segregate Method，简称SBSM)，研究SBSM与现有4种图像背景分离方法在开放环境下对多色叶片的处理效果，旨在探明高效、精确、方便、适用范围广的叶片RGB图像自动化背景分离方法，以期为实验室及户外等开放环境下精确地将背景与目标叶片分离提供依据。

1 材料与方法

1.1 材料

1.1.1 多色叶片 选择9种类型，每种类型采集5片叶，共计45片叶，均采自福建省龙岩市龙津湖公园(117.023011°E，25.068662°N)。采集时间为2019年11月16日10:00-13:30，采集叶片用吸水纸擦干表面水分及灰尘，各类型多色叶片状况见表1。

表1 不同类型多色叶片状况

1.1.2 试验台 图像采集试验台为长300 cm、宽100 cm、离地高度80 cm的长方形桌台，台面为灰白色哑光磨砂材质。

1.1.3 数码相机 CANON EOS-550D高分辨率照相机，日本佳能公司。

1.1.4 灯管 雷士品牌2支20 W条状白色LED灯管(色温为5 000 K)，市购。

1.2 方法

1.2.1 图像采集 照明光源用LED灯管悬挂位置位于平台1/4和3/4处，台面光线均匀；在距离台面120 cm处用三脚架固定数码相机进行垂直拍摄。采集时间为2019年11月16日13:30-15:00。图像采集时，将叶片保持自然舒展状态放入镜头中央，采用M档无闪光拍摄，ISO值为400，光圈f/5.6，曝光时间为1/60 s，焦距39 mm，白平衡设为自动，原始数字图像分辨率为5 184×3 456。

1.2.2 手动背景分离及颜色信息提取 采用Photoshop 7.0中的颜色魔棒工具及磁性边缘索套工具对叶片图像进行手工背景分离，并用其自带的图像信息直方图获取目标图像的Red通道色阶均值作为基准值，用于分离精准度比较。

1.2.3 计算机图像背景分离 计算机自动化背景分离方法主要通过MATLAB2016R(简称MATLAB)实现，主要有以下几种方法。

1) 边缘检测法(C1)。将图片转为灰度图，进行分层小波消噪及全局阀值消噪；而后运用edge函数canny算子进行边缘检测，并对背景分离后的图像进行膨胀操作，填补边缘缝隙及图像内部空隙，最后利用菱形结构元素对图像进行平滑及中值滤波处理。采用循环算法将原图与所得到的图像进行比对，将黑色部分(即背景)予以去除，保留部分即为目标叶片，将处理后的图像保存为jpg格式。

2) 通道差值法(C2)。分别读取叶片RGB图像的Red、Blue和Green通道图像，采用imsubtract函数进行图像减法操作(即R-G、G-B和R-B 3种组合)，找到处理后图像对比度最大的组合后，再进一步去除图像边缘对象，然后按C2方法进行操作。

3) 颜色阈值法(C3)。将RGB图像转化为HSV图像，以事先设定的色调阈值(即H值，当H值为0.167时，图像显示为黄色，当H值为0.333时，图像显示为绿色，因此H值区间为0.167～0.333，将区间外的图像明度(即V值)调整为0，而后将其转化为灰度图像，然后按C2方法进行操作。

4) OTSU(C4)。将图片转化为双精度数组后，通过graythresh函数获得其最优阈值，然后以此为阈值对图片进行二值化处理。采用循环算法将原图与所得到的图像进行比对，将黑色部分(即背景)予以去除，保留部分即为目标叶片，将处理后的图像保存为jpg格式。

1.2.4 图像饱和度背景分离法(SBSM)操作步骤 SBSM主要通过MATLAB实现，处理后的图像均保存为jpg格式，操作步骤： 1) 将目标叶片根据研究所提供的图像采集方法进行拍摄得到原始图像(图1a)；2) 将RGB图像转化为HSV图像，以饱和度0.2(即S值)为界限，将小于界限的图像明度(即V值)调整为0，并转化为灰度图(图1b)；3) 用edge函数canny算子对图像边缘进行检测提取后得到的图像(图1c)；4) 对图像进行膨胀操作并填补边缘缝隙(图1d)；5) 对空隙填充并采用菱形结构元素对图像进行平滑(图1e)；6) 将平滑后的图像经中值滤波去除冗余信息(图1f)；7) 将中值滤波后的图像进行二值化处理后进行连通域面积筛选，去除小面积的杂质及碎片(图1g)；8) 采用循环算法将原图与面积筛选后的图像进行比对，将黑色部分予以去除(即背景)，保留部分即为目标叶片(图1h)。

1.3 叶色参数的提取

研究采用MATLAB对背景分离处理后的图像进行参数提取。叶色参数均以彩色图片Red通道的色阶均值作为数据比较、分析对象。主要操作步骤如下：读取目标图像Red通道每个像素色阶，运用全循环算法检索记录图像中非黑部分像素点的索引码，将其组合为新的色阶数组，并通过double函数将其转化为双精度数组，最后运用Mean函数获取图像Red通道的色阶均值。

1.4 多色叶片图像背景分离的精准度

采用C1～C4及SBSM 5种方法对45张叶片进行背景分离处理，而后采用叶色参数提取方法获取处理图像的Red通道色阶均值，并计算其分离精准度。

分离精N表示不同背景分离方法处理图像的Red通道色阶均值，M为目标图像的Red通道色阶的基准值。如果某个处理对图像的分离精准度<0.00%，则将此精准度记为0.00%。

1.5 数据处理

采用Excel 2013对数据进行处理与分析。

2 结果与分析

2.1 不同方法对多色叶片图像背景分离效果的差异

从图2看出，边缘检测法(C1)、通道差值法(C2)、颜色阈值法(C3)、OTSU法(C4)和SBSM对多色叶片图像背景分离效果存在差异，总体看，C1～C4传统方法无法满足多色叶片图像背景分离需要，SBSM能够较好地实现开放环境下多色叶片图像背景的分离。

2.1.1 边缘检测法(C1) C1分离多色叶片图像背景时，均保留了较大面积的图像背景(图2-C1类型1～9)，且C1还会错误将类型3叶片与背景颜色相近的、淡黄色条纹部分进行分离，造成叶片破损(图2-C1类型3)。其原因是C1受背景噪音的干扰较大，无法对背景进行精确地去除。

2.1.2 通道差值法(C2) C2对背景去除效果优于C1，分离效果较好，背景面积保留较少(图2-C2类型1～9)，但C2会错误将类型2叶片黄色斜纹及类型7叶面红色部分识别为背景进行分离，导致叶片图像破损(图2-C2类型2和类型7)。

2.1.3 颜色阈值法(C3) C3能较好地分离背景，对背景去除效果与C2相近，背景面积保留较少(图2-C3类型1～9)，但C3会将类型2、类型3、类型4和类型9这4种叶片叶面黄色或红色部分作为背景进行分离，导致叶片图像破损(图2-C3类型2～4和类型9)。

2.1.4 OTSU法(C4) C4背景去除效果优于C1、C2和C3，背景面积保留极少，叶缘清晰(图2-C4类型1～9)，但C4会将类型2、类型3、类型8和类型9这4种叶片叶面黄色部分作为背景进行分离，导致叶片图像破损(图2-C4类型2～3和类型8～9)。

2.1.5 SBSM SBSM背景去除效果与C4相近，背景面积保留极少，叶缘清晰(图2-SBSM类型1～9)，同时，SBSM对9种类型叶片均能较好地保留叶面部分，未出现错误去除现象，叶片图像分离完整。

2.2 不同方法对多色叶片图像背景分离的精准度

从表2看出，不同方法对多色叶片图像背景分离的单叶平均用时和精准度差异较大。平均单叶用时：不同方法为2.15～12.34 s，其中，C1用时最长，为12.34 s；C3其次，为7.17 s；C4最短，为2.15 s。平均精准度，不同方法为25.00%～97.19%，其中，SBSM最高，为97.19%；C4其次，为78.27%；C1最低，为25.00%。总体看，SBSM除3号样品分离的精准度为84.07%外，其余样品分离的精准度均达96%以上，其对多色叶片图像背景分离的精准度最优，较C1、C2、C3和C4分别提高72.19%、32.14%、27.46%和18.92%。

表2 不同方法对多色叶片图像背景分离的单叶平均用时与精准度

3 结论与讨论

叶色是反映植株内在生理生化指标及器官变化的最主要外在特征之一，通过RGB图像对叶色进行定量描述是快速检测判断植物生长态势的有效手段。目前，图像自动背景分离的传统方法主要有边缘检测法、通道差值法、色调阈值法和OTSU等，其对绿色或者纯色叶片图像的背景分离效果均较好，而对多色叶分离效果欠佳；同时，传统方法还受到图像采集条件的制约，在实验室、户外等开放环境中，无法精确地将背景与目标叶片进行分离，进而导致叶色参数提取出现误差。NEILSON等[22-24]采用高光谱、多光谱、数码成像图像等手段进行图像采集，并取得较好的成效。数码图像由于其低廉的成本、精准的信息、方便的操作而备受青睐。在叶色信息获取的已有研究中，主要集中在特殊采集环境的单色叶方面[25]。在处理这类叶片时常用边缘检测法，其以图像中目标对象与背景间灰度发生急剧变化的区域为边界进行分离，用图像灰度分布的梯度作为区分阈值。阈值越低，能够检测出的边线越多，结果越易受图片噪音的影响，并且越容易从图像中挑出不相关的特性；阈值过高，将会遗失细的或者短的线段。边缘检测法对背景灰度干扰较为敏感，要求背景不能有较大的灰度变化区域，否则无法将目标图像与背景进行有效区分。因此，在使用该类方法时，一般要求采用黑箱采集目标图像。

为了解决灰度干扰问题，一般采用复合方法，即先采用某种方法大致分离目标对象和背景，然后再采用边缘检测法对目标对象进行精确分离。常用通道差值法和颜色阈值法2种复合方法。研究结果表明，在开放式的环境下，2种方法能够比较好地解决背景噪音的干扰，但是对叶面扭曲引起的阴影和叶面杂色的区分效果不理想。通道差值法对叶面扭曲产生的叶片阴影(类型7和类型8)处理效果欠佳，颜色阈值法需要事先根据不同叶片颜色设定色调阈值，对大面积杂色叶(类型2和类型9)及整体非黄绿颜色的叶片(类型4)处理效果较差，对叶面扭曲产生的叶片阴影(类型7和类型8)处理效果也不理想。2种复合方法对开放环境下的多色叶总体分离精准度较差。

OTSU无需事先设定阈值，采用最大类间方差法原理，以原图像中前景和背景差别最大的类间方差为最佳阈值，以此对图像进行二值化处理，进而实现对目标图像和背景的分离。OTSU对图像多峰干扰及目标大小十分敏感，其仅对类间方差为单峰的图像(纯色叶片)分离效果较好；当目标与背景的大小比例悬殊时，或图像呈现双峰或多峰(具有大面积杂色或者混色的叶片)时分离效果欠佳。研究结果表明，OTSU处理速度最快，对叶片阴影分离效果良好，总体分离精准度较高，对单一叶色的叶片处理效果很好，对有大面积杂色叶片(类型2～3和类型9)或叶缘与背景有相近颜色的叶片(类型3)处理效果较差。SBSM是基于叶片与台面色彩饱和度的不同作为分离依据，由于叶色一般饱和度均较高(>0.4)，而台面饱和度较低(<0.2)，因此，无需根据目标叶色的不同而调整参数，操作简便，整体处理速度适中；同时，SBSM也能较好地解决因叶面扭曲造成的叶片阴影问题(阴影饱和度较台面更低)，叶片阴影去除充分，对单色叶、杂色叶、多色叶的处理效果均最佳，综合表现好。在分离精确度方面，SBSM对各种叶片的分离精确度均与手动PS进行背景分离后的基准值差异较小，表明SBSM适用范围广，可在开放环境下对各种多色叶进行精确的分离。

SBSM成功解决了以往研究中图像采集需黑箱取样、背景分离不充分和目标图像过度分离等问题，可在开放环境下采集到较为精准的叶片图像，且无需进行参数调整即可对不同颜色各种类型的杂色叶、多色叶背景进行分离处理。通过算法的固化该方法已实现了全过程自动化，在试验室条件下，可实现大量植物叶色数码图像的采集及背景分离处理，极大地减少了植物颜色表型测量、分析所需时间，且排除人为因素对测量结果的干扰，提升大样本表型叶色数据获取的准确率及处理效率，降低高通量表型获取障碍；所获取的精确数据可帮助研究人员在各种试验室条件下建立外观颜色表型性状与植物体内生理生化的关联[26]，从而更好地解释植物外观表型及适应性的生理基础。