基于RGB颜色相似度的成熟草莓图像分割

覃　磊，孙开琼，李诗高，刘春苔，阮　松

(1. 武汉轻工大学 数学与计算机学院，湖北 武汉 430048；2. 华中科技大学 自动化学院，湖北 武汉 430074；3. 南昌航空大学 测试与光电工程学院，江西 南昌 330063)



基于RGB颜色相似度的成熟草莓图像分割

覃磊1，2，孙开琼1，3，李诗高1，刘春苔1，阮松1

(1. 武汉轻工大学 数学与计算机学院，湖北 武汉 430048；2. 华中科技大学 自动化学院，湖北 武汉 430074；3. 南昌航空大学 测试与光电工程学院，江西 南昌 330063)

针对复杂背景下的成熟草莓图像，提出了一种基于RGB颜色相似度的成熟草莓图像分割算法(CS-BASED RSIS)。首先提取成熟草莓区域，确定成熟草莓的主颜色，然后遍历待分割的图像，求出每个像素点相对于主颜色的颜色比和相似度，进行颜色相似度的阈值分类，最后经多次膨胀和去除小面积对象的数学形态学处理，输出分割结果。试验结果表明，在无粘连无遮挡、无粘连有遮挡、有粘连有遮挡3种复杂环境下，与OTSU等图像分割算法相比，CS-BASED RSIS算法不仅能达到更好的分割效果，而且平均分割时间仅为0.965 s，能满足成熟草莓机械化采摘的实时性要求。

图像分割；颜色相似度；成熟草莓

草莓的日成熟量大，采摘时间紧迫，草莓采摘工作量已成为草莓种植业发展的瓶颈。如何实现草莓的机械化采摘，对于减轻采摘工作量、加快草莓业的种植与发展具有重要意义。机械化采摘核心环节之一是成熟草莓的图像分割，成熟草莓图像分割效率直接影响后续机械化采摘。

现有文献大多只针对一般图像的分割[1-4]，关于草莓等水果的图像分割的研究相对较少。谢志勇等[5]根据CIE-XYZ颜色模型及其色调度，提出一种在RGB彩色模型中进行草莓图像色调分割的方法，但试验对象过于简单。周天娟等[6]在基于数学形态学的方法上，研究相接触草莓的快速聚类分割法和分水岭区域分割法，结果显示，这两种算法都能将相接触区域分开，但仅处理有粘连的草莓图像。Guo等[7]利用OHTA颜色空间图像分割算法提取草莓图像，应用背景并非草莓种植园的实际环境。张红旗等[8]通过遗传算法寻找FCM图像分割方法的聚类中心，提出基于遗传算法的草莓图像FCM分割方法，但聚类数需预先给定，而且遗传算法收敛速度较慢。Wei等[9]提出了一种复杂农业背景下采摘机器人的水果图像自动提取方法，应用OHTA颜色空间的新特征作为输入，进行OTSU算法的阈值分割，虽然大多数时候能成功提取复杂农业背景下的成熟水果，但处理石榴图像时部分果实图像会缺失。上述算法存在背景、光照、复杂计算量或参数设定等缺陷，并不适用于草莓园成熟草莓图像分割。

针对上述问题，本文提出了一种基于RGB颜色相似度的成熟草莓图像分割算法(ripe strawberry image segmentation based on color similarity， CS-BASED RSIS)。首先提取草莓图像的主颜色，然后遍历草莓图像，求出每个像素点相对于主颜色的颜色比和相似度，进行阈值分类，最后进行数学形态学处理完成分割。与OTSU等图像分割算法相比，CS-BASED RSIS算法不仅能达到更好的分割效果，而且平均分割时间仅为0.965 s，能满足成熟草莓机械化采摘的实时性要求[10-11]。

1　相似度

1.1集合元素的相似度

SIMILATION是由Wang提出的集合元素的相似度[12-13]，任给集合A={V1，V2，…，Vn}，Vi>0，集合A各元素的算术均值定义为：

(1)

调和均值定义为：

(2)

SIMILATION定义为集合A中各元素的相似度，其值为集合A各元素的调和均值和算术均值的比值，其表达式为：

(3)

SIMILATION∈(0，1]，当V1，V2，…，Vn较接近时，SIMILATION的值趋近为1，特别当V1=V2=…=Vn时，其值为1；当V1，V2，…，Vn相差较大时，SIMILATION的值趋近为0，所以SIMILATION可描述集合中各元素的相似度，SIMILATION值越大意味着各元素越接近，反之意味着各元素相差越大。

1.2RGB颜色相似度

(4)

将(R′，G′，B′)代入式(3)则

(5)

(5)式定义为两种颜色的相似度，举例如表1。

表1RGB颜色相似度的比较

Table 1Comparison of RGB color similarity

参考颜色(R0,G0,B0)相关颜色(R1,G1,B1)颜色比(R',G',B')颜色相似度SIMILATION/%(60,4,80)(90,6,120)(3/2,3/2,3/2)100(60,4,80)(120,40,30)(2,10,3/8)22.26(90,6,120)(120,40,30)(4/3,20/3,1/4)22.26

通过表1可看出若参考颜色为60，4，80，相关颜色为90，6，120，两种颜色具有同样的色调和饱和度，两种颜色的颜色比(R′，G′，B′)=(3/2，3/2，3/2)，颜色相似度值为100%，所以颜色相似度可有效比较两种相似颜色。若相关颜色为(120，40，30)，当参考颜色分别为(60，4，80)和(90，6，120)时，计算颜色相似度均为22.26%，(60，4，80)和(90，6，120)的色度和饱和度相同，亮度不同，所以颜色相似度可有效比较两种不相似的颜色，且对参考颜色的色度、饱和度具有不变性。总之，若两种颜色相似，即若两种颜色具有相似的色度和饱和度，则计算SIMILATION值应接近于1；反之，若两种颜色不相似，则计算SIMILATION值应不接近于1，且不受参考颜色的色度和饱和度的影响，所以式(5)定义的颜色相似度能有效判别两种颜色是否相似。

1.3基于颜色相似度的彩色图像分割

图像分割的主要目的是将一幅图像分割为目标和背景两个区域，假定目标区域具有相似的颜色，背景区域也具有相似的颜色，提取图像中出现次数最多的两种颜色作为主颜色，分别作为目标和背景主颜色，分割时遍历图像的每一像素，通过式(4)和(5)计算每一像素的颜色相对两种主颜色的颜色比和相似度，比较相似度的大小，将相似度较大的划为对应类别。

2　基于RGB颜色相似度的成熟草莓图像分割

Wang[12]假定目标区域具有相似的颜色，背景区域也具有相似的颜色，此假设对于目标和背景较单一、颜色较均衡，或者颜色变换较平缓的彩色图像是合理的。但很多时候图像的目标和背景具有较复杂的颜色及纹理，甚至颜色变化比较剧烈，仅依据颜色的相似度将图像分割为目标和背景是不准确的，例如背景区域若出现与目标相同的颜色区域，则Wang的算法将无法分割此背景区域，算法失败。此外图像中出现频率最高的两种颜色作为目标颜色和背景颜色也待商榷，出现频率最高的两种颜色不一定对应目标颜色和背景颜色，有可能都是背景颜色。

虽然Wang的算法对分割图像有诸多限制，无法将其直接用于成熟草莓图像分割，但草莓的机械化采摘所拍摄的图像中主要为成熟的红色草莓、未成熟的青绿色草莓、绿色的草莓茎叶，黑色的地膜和白色的草莓花等物，目标区域的颜色比较单一，可将Wang的算法改进，使其适用于成熟草莓的图像分割，本文将Wang的算法改进，提出一种新的基于RGB颜色相似度的成熟草莓图像分割算法。

2.1彩色图像的主颜色提取

在处理时需要提取两种主颜色，分别对应目标和背景。成熟草莓呈现鲜红色，草莓图像在处理时仅需对目标颜色做出分割，即将图像中红色区域作为成熟草莓对象进行提取，非红色区域则作为背景，所以背景区域是黑色的地膜或是绿色的茎叶或是白色的花瓣等无须关注，仅把红色区域作为感兴趣区域。

红色作为主颜色必须先得到，可手工任意截取多幅图像的多个成熟草莓区域，求出这些区域的RGB值的平均值(R0，G0，B0)，将(R0，G0，B0)作为图像的主颜色。

2.2CS-BASED RSIS算法

当确定图像的主颜色(R0，G0，B0)后，遍历整幅图像的所有像素点，通过式(4)计算所有像素点的颜色(R1，G1，B1)相对于主颜色(R0，G0，B0)的颜色比(R′，G′，B′)，将颜色比(R′，G′，B′)代入式(5)，计算每个像素点颜色相对于主颜色的相似度SIMILATION，设定阈值，若相似度大于此阈值则认定此像素点为目标区域像素点，反之则认定此像素点为背景区域像素点，分割流程如图1所示。

图1　基于RGB颜色相似度的成熟草莓图像分割算法流程图Fig.1　The flowchart of ripe strawberry image segmentation algorithm based on RGB color similarity

CS-BASED RSIS算法是对每个像素进行处理，因为根据光照、遮挡、角度等因素分类筛选出的草莓区域往往会出现孔洞、毛刺、边缘断开等情况，当阈值分类完成后还需对图像进行多次膨胀和去除小面积对象的数学形态学处理，最后得到分割结果。

3　结果与分析

为验证CS-BASED RSIS算法，在Intel(R) Pentium(R) CPU B950 @2.10GHz，4.00GB RAM环境下，应用matlab 7.0在多幅图像上进行草莓图像分割试验。阈值分割法具有计算量小、实现简单、性能稳定等特点，常用于图像分割领域。Otsu[14]提出的最大类间方差法是阈值法的经典算法，Kapur等[1]提出的最大熵阈值方法，不需要先验知识，且对于呈非理想双峰直方图的图像也可较好分割，所以应用OTSU算法、最大熵单阈值算法、基于全局搜索的最大熵多阈值图像分割算法(global search maximum entropy multiple threshold， GSMEMT)和本文CS-BASED RSIS算法对比试验效果，其中GSMEMT阈值数设为3，CS-BASED RSIS相似度阈值设为0.9。试验图像采集于湖北省武汉市东西湖区银柏路东湖大队草莓园农场，草莓园为垄作栽培系统，沿草莓园地膜间狭长小沟前行拍摄，拍摄角度为从上往下，每幅图像为360像素×480像素，于晴天和阴雨天天气分别拍摄。

3.1彩色图像的灰度化

因为处理的对象是RGB模式的彩色图像，OTSU、最大熵单阈值和GSMEMT适用于灰度图像分割，所以首先将RGB模式彩色图像转化为灰度图像。考虑到彩色图像中主要对象为成熟红色草莓、未成熟青绿色草莓、绿色草莓叶子和黑色地膜等物，成熟草莓图像的红色分量对比背景区域应有更强的区分度，更有利于各算法的分割，所以彩色图像R分量作为灰度图像应有更好的分割效果。为验证，选取一幅RGB彩色图像，分别提取其R，G，B 三个分量，将各分量图像转化为灰度图像后进行各算法的检测，试验结果见图2。

图2从左至右分别为原图、OTSU、最大熵单阈值和GSMEMT算法分割后的图像，从上到下分别为原图的R，G和B分量灰度图像进行分割后的图像。从图2的各行比较可以看出，RGB彩色图像的R分量灰度图像的分割效果远好于G和B分量的灰度图像分割，G和B分量的灰度图像几乎难以进行草莓区域的分割，所以后续对OTSU、最大熵单阈值和GSMEMT算法进行比较时，图像的灰度化仅提取彩色图像的R分量图像进行试验。

A列： 原RGB彩色图像； B列： OTSU算法； C列： 最大熵单阈值算法； D列： GSMEMT算法。 第1，2，3行分别为原图的R，G和B分量灰度图像进行分割后的图像。图2　RGB三分量灰度图分割结果Fig.2　The segmentation results of RGB three-component grayscale images

3.2不同算法分割结果

根据拍摄的图像，将图像分为无粘连无遮挡、无粘连有遮挡、有粘连有遮挡3种情况，有粘连无遮挡的情况很少见，不做分析。限于篇幅每种情况取4幅图像予以说明，其中从左至右分别为原图、OTSU、最大熵单阈值、GSMEMT和CS-BASED RSIS算法分割后的图像。

3.2.1无粘连无遮挡草莓图像分割

无粘连无遮挡试验结果如图3所示。图3的第1，3和4行为草莓图像为近景的情况，第2行为草莓图像为远景的情况，第3和4行有明显的光照。从分割效果可看出CS-BASED RSIS算法远优于其他算法，OTSU和最大熵单阈值算法易将叶子、青色草莓等区域误分为草莓区域，在图3的第1，2和4行将大片绿色叶子区域误分为草莓，将第2行多个青色草莓误分为成熟草莓，而且各行对地膜的处理并不好。GSMEMT算法虽然效果优于OTSU和最大熵单阈值算法，相对CS-BASED RSIS算法也有不足，如在第1和4行对草莓花区域存在误分，草莓整体分割不全，第4行仅有2/3的真实草莓区域被分割。无论草莓图像处于近景或远景，是否有光照，CS-BASED RSIS算法都有良好的分割效果，能将草莓整体区域准确分割。

3.2.2无粘连有遮挡草莓图像分割

无粘连有遮挡试验结果如图4所示。图4的第1和2行分别为遮挡物为未成熟草莓和草莓萼片，第3行的遮挡物为萼片和茎，第4行为多个草莓无粘连有遮挡的情况。OTSU算法无法将茎、萼片、草莓花等物与成熟草莓区分，最大熵单阈值和GSMEMT虽然处理效果好于OTSU算法，但也有类似误分，同时最大熵单阈值和GSMEMT算法在第1，2和3行出现草莓分割内部乃至边界模糊。CS-BASED RSIS算法因为是基于颜色相似度的划分方法，与上节无粘连无遮挡草莓图像分割效果类似，受茎、萼片、草莓花等物的影响较小，能将草莓区域正确分割，但由于遮挡物的存在，分割的草莓区域不是十分完整，但总体而言，CS-BASED RSIS算法优于其他算法。

3.2.3有粘连有遮挡草莓图像分割

有粘连有遮挡试验结果如图5所示。图5的第1和4行为远景图像，2和3行为近景图像。5种算法中OTSU和最大熵单阈值算法分割效果相似，容易受到草莓萼片、叶子、茎、地膜纹理等背景的干扰而出现误分，GSMEMT和CS-BASED RSIS算法分割效果较好，受上述背景区域的干扰要小，但GSMEMT在第1和3行对于茎的处理效果较差，同时容易出现分割区域边界模糊、孔洞较多等缺陷，而CS-BASED RSIS算法在这些方面明显优于GSMEMT算法。

A列： 原RGB彩色图像； B列： OTSU算法； C列： 最大熵单阈值算法； D列： GSMEMT算法； E列： CS-BASED RSIS算法。 图4和5同。图3　无粘连无遮挡草莓图像分割Fig.3　Strawberry image segmentation in no adhesion and no occlusion

图4　无粘连有遮挡草莓图像分割Fig.4　Strawberry image segmentation in no adhesion and occlusion

图5　有粘连有遮挡草莓图像分割Fig.5　Strawberry image segmentation in adhesion and occlusion

3.2.4算法分割效率比较

因草莓的机械化采摘不仅需要好的分割效果，还应有较快的分割速度。OTSU算法、最大熵单阈值算法、GSMEMT算法和CS-BASED RSIS算法的分割速度，即每幅图像的平均分割时间分别为0.271，0.962，20.446和0.965 s。其中OTSU、最大熵单阈值、CS-BASED RSIS算法的分割速度较快，基本满足实时分割的要求。GSMEMT算法的分割速度较慢，分割时间是CS-BASED RSIS算法的20倍以上。CS-BASED RSIS、最大熵单阈值、OTSU算法不涉及复杂的计算，OTSU和最大熵单阈值算法仅就单层循环寻找最大类间方差和最大熵，CS-BASED RSIS算法也仅遍历整幅图像，求每个像素点的颜色相似度后分类，而GSMEMT算法是多阈值分割，需多重搜索求得最优阈值，每次搜索都通过复杂计算求熵，巨大且重复的计算耗费大量的时间和空间代价，严重影响算法性能，所以分割速度远低于其他算法。

CS-BASED RSIS除分割速度超过最大熵单阈值和GSMEMT算法，分割效果也优于其他算法，这主要有两个原因：首先，CS-BASED RSIS是基于颜色相似度的彩色图像分割算法，处理对象为RGB模式的彩色图像；而OTSU、最大熵单阈值和GSMEMT算法，处理对象为灰度图像，在分割前需要将RGB模式的彩色图像转化为灰度图像，转化中会丢失图像的色度等信息，从而出现误分割。其次，CS-BASED RSIS仅考虑图像的主颜色，成熟草莓的鲜红色作为主颜色来自于多幅草莓图像，且颜色相似度不受亮度的影响，只有成熟草莓区域颜色与主颜色足够相似才予以分割，所以很少出现背景区域的误分，而其他算法没有这样的优点，分割效果难以保证。

4　结论

本文提出了一种基于RGB颜色相似度的图像分割算法，无须将彩色图像转换为灰度图像进行分割，直接处理RGB彩色图像，不会丢失图像的色度等信息，计算简便，分割结果和效率优于OTSU、最大熵单阈值和GSMEMT算法。CS-BASED RSIS算法为彩色图像分割提供了一种新的思路，后续研究可考虑将基于RGB颜色相似度的图像分割算法用于柑橘、苹果、葡萄、火龙果等其他水果，扩大其应用领域，甚至结合聚类、区域增长等构造更加快速有效的算法。CS-BASED RSIS算法也有不足，如在处理遮挡非常严重的草莓对象时，分割对象存在碎片，如何改进将是未来的研究重点。

[1]KAPUR J N， SAHOO P K， WONG A K C. A new method of gray level picture thresholding using the entropy of the histogram[J].ComputerVision，Graphics，andImageProcessing， 1985， 29(2): 273-285.

[2]张俊娜， 冯云芝. 基于量子最大熵多阈值算法的图像分割研究[J]. 激光与红外， 2013， 43(5): 578-582.

[3]WANG Y Q， LIU L X， ZHANG H， et al. Image segmentation using active contours with normally biased GVF external force[J].SignalProcessingLetters， 2010， 17(10): 875-878.

[4]LEE H Y， CODELLA N C F， CHAM M D， et al. Automatic left ventricle segmentation using iterative thresholding and an active contour model with adaptation on short-axis cardiac MRI[J].IEEETransonBiomedicalEngineering， 2010， 57(4): 905-9013.

[5]谢志勇， 张铁中. 基于RGB彩色模型的草莓图像色调分割算法[J]. 中国农业大学学报， 2006， 11(1): 84-86.

[6]周天娟， 张铁中， 杨丽， 等. 基于数学形态学的相接触草莓果实的分割方法及比较研究[J]. 农业工程学报， 2007， 23(9): 164-168.

[7]GUO F， CAO Q X， NAGATA M. Fruit detachment and classification method for strawberry harvesting robot[J].InternationalJournalofAdvancedRoboticSystems， 2008， 5(1): 41-48.

[8]张红旗, 王春光, 李海军. 基于遗传算法的草莓图像FCM分割方法研究[J]. 农机化研究， 2015(4): 47-53.

[9]WEI X Q， JIA K， LAN J H， et al. Automatic method of fruit object extraction under complex agricultural background for vision system of fruit picking robot[J].Optik-InternationalJournalforLightandElectronOptics， 2014， 125(19): 5684-5689.

[10]张凯良， 杨丽， 王粮局， 等. 高架草莓采摘机器人设计与试验[J]. 农业机械学报， 2012， 43(9): 165-172.

[11]张凯良， 杨丽， 张铁中. 草莓收获机器人采摘执行机构设计与试验[J]. 农业机械学报， 2011， 42(9): 155-161.

[12]WANG S K. Color image segmentation based on color similarity [C]//Proceedings of the International Conference on Computational Intelligence and Software Engineering， Wuhan: IEEE Press， 2009: 1-4.

[13]杨康叶， 邬春学. 基于RGB模型颜色相似性的彩色图像分割[J]. 计算机系统应用， 2013， 22(3): 128-131.

[14]OTSU N A. Threshold selection method from gray-level histograms[J].IEEETransactionsonSystems，Man，andCybernetics， 1979， 9(1): 62-66.

(责任编辑侯春晓)

Image segmentation of ripe strawberry based on RGB color similarity

QIN Lei1，2， SUN Kai-qiong1，3， LI Shi-gao1， LIU Chun-tai1， RUAN Song1

(1.SchoolofMathematicsandComputer，WuhanPolytechnicUniversity，Wuhan430048，China; 2.SchoolofAutomation，HuazhongUniversityofScienceandTechnology，Wuhan430074，China; 3.SchoolofMeasuringandOpticalEngineering，NanchangHangkongUniversity，Nanchang330063，China)

In view of the limitations of traditional simple threshold algorithms under the complicated background， a ripe strawberry image segmentation algorithm based on RGB color similarity (CS-BASED RSIS) was proposed. Firstly， ripe strawberry regions were extracted， which determined the main color of ripe strawberry. Then， the CS-BASED RSIS algorithm traveled all pixels in the image for segmentation， calculated the color ratio and similarity of each pixel point relative to the main color， and threshold classification on color similarity were carried out. Finally， the image was processed with the multiple expansion and removing small objects and the segmentation result was output. Experimental results showed that， in three kinds of complex environment， i.e.， no adhesion and no occlusion， no adhesion and occlusion， adhesion and occlusion， the CS-BASED RSIS algorithm not only could achieve better segmentation effect compared with the OTSU image segmentation algorithm， etc， but also could save time， it’s average segmentation time was only 0.965 s， and the CS-BASED RSIS algorithm could meet the real-time requirement of ripe strawberry mechanization picking.

image segmentation; color similarity; ripe strawberry

10.3969/j.issn.1004-1524.2016.02.25

2015-07-22

湖北省教育厅科研计划项目

覃磊(1979—)，男，湖北松滋人，在读博士研究生，副教授，研究方向为图像处理与智能计算研究。E-mail: 53039943@qq.com

TP391

A

1004-1524(2016)02-0330-08

覃磊， 孙开琼， 李诗高， 等. 基于RGB颜色相似度的成熟草莓图像分割[J]. 浙江农业学报， 2016， 28(2): 330-337.