基于机器视觉的水稻秧苗图像分割

袁加红，朱德泉，2，*，孙丙宇，孙 磊，武立权，宋 宇，蒋 锐

(1.安徽农业大学 工学院，安徽 合肥 230036； 2.安徽省粮食作物协同创新中心，安徽 合肥 230036； 3.中国科学院 合肥智能机械研究所，安徽 合肥230031； 4.安徽农业大学 农学院，安徽 合肥 230036)



基于机器视觉的水稻秧苗图像分割

袁加红1，朱德泉1，2，*，孙丙宇3，孙 磊1，武立权2，4，宋 宇1，蒋 锐1

(1.安徽农业大学 工学院，安徽 合肥 230036； 2.安徽省粮食作物协同创新中心，安徽 合肥 230036； 3.中国科学院 合肥智能机械研究所，安徽 合肥230031； 4.安徽农业大学 农学院，安徽 合肥 230036)

水稻秧苗的识别是水稻插秧机自主导航系统的关键内容之一。针对插秧机机器视觉导航中稻田图像秧苗与背景分割问题，建立了基于RGB(红绿蓝)颜色空间的秧苗表面颜色模型。通过颜色特征对秧苗图像进行处理，使用Photoshop软件获取秧苗部分和背景R，G，B分量值；通过对G-R值与G-B值的分析统计，发现两者之间存在分界关系：各自的权重与各分量的乘积之和为某个定值；为方便分析，选取权值a，b为0.5，即ExG因子，采用Otsu法获取定值最佳值，最大程度分割出目标和背景。与适合于大多数绿色作物的传统RGB法进行比较，并采用分割质量因子和算法运算时间作为评判标准，分析各算法的综合性能。试验发现，ExG因子结合Otsu分割法分割效果相对理想、稳定性更高，而且耗时更短。

水稻秧苗；ExG因子；Otsu法；图像分割；质量因子

水稻插秧机自主导航对于精准插秧、降低驾驶员劳动强度具有重要意义。国内外已有不少学者在车辆自主导航方面做了非常多的研究[1-5]。与GPS导航易受干扰、稳定性差相比，视觉导航具有视觉适应能力强、灵活性好等优点，而且机器视觉技术不需要预定的导航路线图，同时能够得到秧苗分布情况。插秧机视觉导航的关键是获取秧苗行结构信息，由于相对于颜色较暗的水田背景，秧苗的颜色为比较突出的绿色。因此，可以根据秧苗的颜色特征提取秧苗行的基本结构[6-7]。在图像灰度化处理方面，陈晓丹等[8]针对现有的各种图像分割算法进行了分类比较；邵明[9]提出一种自适应二值化方法，结合茶叶图像的超绿—超红特征对龙井嫩芽进行图像分割；袁媛等[10]结合超G因子和Otsu方法来去除黄瓜图像中的大部分背景，根据所建立的数据项和平滑项来构建图像分割算法；张芳等[11]针对复杂背景下的黄瓜病害叶片提出利用K均值聚类法结合LOG算子进行基于形状上下文的模板匹配和分割；迟德霞等[12]验证了采用ExG因子结合Otsu法能够对水稻稻田图像进行有效分割；张志斌等[13]采用SURF算法来获取图像特征点进行特征提取，并与SIFT法进行比较来验证其有效性；何建斌等[14]针对小麦植株，提出采用K均值聚类法和数学形态学相结合的方法进行分割，具有较好的分割效果。在农作物自主导航方面，George等[15]提出了相对传统索引因子优势更为明显的ExGR 因子；赵博等[16]提出采用ExG因子和阈值法提取玉米作物行结构；张红霞等[17]提出利用ExG因子结合阈值法分割小麦图像；Ohta等[18]通过统计多种不同类型彩色图像的方差和相关试验，归纳出3种正交彩色特征因子；迟德霞等[19-20]通过分析不同颜色空间各颜色分量的灰度直方图差异，选取I3分量结合Otsu法和模糊C均值聚类法来分割水稻稻田图像并验证其高效性；田磊等[21]提出一种基于贝叶斯分类器的聚类分割法来适应野外环境条件下的农机导航要求；施响军等[22]通过分析各种颜色空间与颜色因子，并结合阈值处理得出CIVE灰度级与Otsu方法组合能较好地实现图像分割；张志斌等[23]提出使用IG>IR且IG>IB作为绿色作物图像的分割条件。综合分析可知，在农作物目标识别以及农机自主导航领域中，通常将颜色特征作为研究对象，大多采用R，G，B三色因子或者其组合因子进行灰度化转换，然后进行目标分割。利用三色组合因子方法提取目标对象颜色特征的效果在准确性方面要明显优于使用单色因子的方法；采用Otsu法能够最大限度地将目标像素从背景中分离。农机导航对图像处理实时性要求非常严格，为保证实时性、稳定性和高效性，提出了一种适合水稻图像的颜色索引因子与分割方法的组合。

1 水稻秧苗表面颜色模型

当光线照射到物体表面时，物体对光会产生不同程度的吸收、反射和透射，其中被吸收的部分转化为热能，而反射和透射的光线会进入人眼。通常我们认为物体的颜色是不同波长范围内的光作用于人眼视网膜上而在大脑中引起的主观感觉。传统的双色反射模型认为物体的颜色是由两部分组成的，即物体对光线的镜面反射和漫反射的线性组合，如下式[24]所示。

L(λ，i，e，g)=Li(λ，i，e，g)+Lb(λ，i，e，g)。

(1)

Li(λ，i，e，g)=mi(i，e，g)ci(λ)。

(2)

Lb(λ，i，e，g)=mb(i，e，g)cb(λ)。

(3)

式中：L(λ，i，e，g)、Li(λ，i，e，g)和Lb(λ，i，e，g)分别表示光波长为λ、入射角为i、反射角为e、相位角为g时光的总强度、镜面反射光强和漫反射光强；mi(i，e，g)和mb(i，e，g)分别是镜面反射和漫反射所对应的几何标度因子，只取决于几何特性，而ci(λ) 和cb(λ)分别是镜面反射和漫反射所对应的光谱功率分布，只取决于光的波长。可以看出物体的颜色不仅取决于物体的本身，还与光源、物体表面的反射特性及观察方向有关。由CCD彩色摄像头输出图像的三基色强度如式(4) 所示[24]。

(4)

式(4)中，I为三基色强度向量，IR，IG，IB分别为红色、绿色和蓝色分量值，E(X，Y，λ)为入射光的频谱函数，τR(λ)，τG(λ)和τB(λ)分别为物体反射红光、绿光和蓝光的频谱函数，s(λ)为摄像机的各项参数函数。由此可见，物体颜色与相机参数有关。以水稻秧苗作为研究对象，秧苗表面对光线的反射特性视为固定的，用于获取秧苗图像的摄像机的各项特征参数也是定值，一天中太阳光的照射角度和强度都是变化的，加上大气质量等因素都会对秧苗表面颜色产生一定的影响。如果不考虑太阳光正午直射情况，便可以认为光源对秧苗的特征识别的影响是在可控范围内的，也意味着可以对秧苗进行颜色特征识别。

2 秧苗颜色特征分析

选取3幅不同的秧苗图像如图1所示。在每幅图像中分别选择50个秧苗和背景采样点，借助于Photoshop软件查看所有采样点的R，G，B分量值，如表1所示。

通过分析发现秧苗采样点的绿色分量比例最大，蓝色分量比例最低，为能够更好地表现出目标和背景之间的区别，使用Excel软件进行统计分析后建立G-R值与G-B值之间的关系，如图2所示。通常，在农机视觉导航系统中，农作物的垄或行结构特性是至关重要的，对农作物进行颜色特征识别和图像分割的重要前提是获取作物垄行的基本结构。

a,晴天时相机动态下拍摄图；b,阴天时相机静态下拍摄图；c,晴天时相机静态下拍摄图图1 不同条件下秧田图像Fig.1 Images of seedlings and background in different illumination conditions

表1 不同拍摄条件下中秧苗和背景采样点三基色分量值

Table 1 Value of R， G， B components for seedlings and background in different illumination conditions

拍摄条件采样点秧苗采样点三基色RGB背景采样点三基色RGB晴天时相机动态情况下114116586180173158213415579159146121315518010017917215549813142187180164…………………5012616266180173157阴天时相机静态情况下18283671551561612396621142143137386124671311301264578338129130119…………………5011314298161162164晴天时相机静态情况下111214840153153129210712835159161142311615055170168150412414984158156133…………………509913134162158129

a, 图1-a中点G-R和G-B关系图；b, 图1-b中点G-R和G-B关系图；c, 图1-c中点G-R和G-B关系图图2 拍摄图中秧苗和背景采样点G-R值和G-B值关系Fig.2 Relation between G-R and G-B components for seedlings and remainder in previous three images

对于水稻秧苗图像，秧苗表面颜色主要是绿色分量，对图2中秧苗和背景采样点数据进行统计分析，可知秧苗采样点和背景采样点在(G-R，G-B)坐标系中存在着一条或者多条分界线能将两者区分开来，分割线满足条件(5)，a，b分别为两者的权值。在考虑分割效果的前提下，为简化分析，取a=b，也意味着秧苗表面颜色三基色值存在式(6)的关系，而对于背景颜色则相反。

(aIG-IR)+b(IG-IB)=T。

(5)

(IG-IR)+(IG-IB)>T。

(6)

式中，IG，IR，IB分别为R，G，B 的灰度值。T为常数，对不同的图像，T值是不同的。图像中秧苗和背景采样点的ExG(即2G-R-B)分布图如图3。由图3可知：秧苗和背景的ExG值分布较为均匀，二者存在一个合理阈值进行区分，而该最佳阈值可通过Otsu法获取。

3 秧苗图像分割

由于水稻秧苗属于绿色植物，以绿色分量为主，所以为方便比较分析，以上述3幅拍摄图片作为研究对象，分别以效果较好的RGB法[18]和提出的ExG因子结合Otsu法进行处理。

RGB法是张志斌等[23]通过分析绿色作物的颜色恒定性提出的一种较为高效的方法。他们假设，在绿色物体表面的像素值域体内存在着如式(7)所示的关系，即对于绿色作物图像，在RGB颜色空间中作物区域的G分量始终大于其他两分量，该方法的处理步骤为采用MATLAB软件以IG>IR且IG>IB作为分割条件进行图像分割，算法如式(8)所示。

IG>IR∩IG>IB。

(7)

(8)

a， 图1-a中采样点ExG值分布图；b， 图1-b中采样点ExG值分布图；c， 图1-c中采样点ExG值分布图图3 拍摄图中秧苗和背景采样点ExG值分布图Fig.3 Distribution of ExG component

该算法的作用是将满足条件(7)的所有像素点的值设为1，即白色，而不满足条件的像素点的值设为0，即黑色。该算法处理结果见图4-a。

使用ExG因子结合Otsu法进行分割的原理是：首先采用ExG因子进行灰度化处理，然后对灰度图像使用Otsu法进行分割。灰度化算法见式(9)，大津法算法见下式(10)。

(9)

(10)

式(10)中，Tmax为使得灰度图中所有像素类间方差最大的阈值，当图像中像素点灰度值大于该阈值时，则认为该像素点属于秧苗区域，否则属于背景区域。图像分割后结果如图4-b所示。

4 分割结果与分析

试验条件：时间为2014年7月，栽植秧苗为毯状苗。采集10幅秧苗图像，包括阴天和晴天等状态，试验地点为安徽省天长市天长镇曙光村试验田，土壤质地为壤土。图像处理软件使用的是MATLAB，图像处理设备使用的是个人PC机。

硬件参数为：四核。2.7 GHz。8 G内存。为了对图像分割算法综合性能作一个较全面的评价，主要可以从算法运算时间和分割质量因子方面进行。

4.1 算法运算时间

对于上述的两种分割方法，均是使用MATLAB软件进行编程和处理，使用tic和toc命令对程序进行计时，得到的相关数据如图5-a和表2所示。由图5-a和表2可知，RGB法运行耗时均值接近于ExG+Otsu算法的3倍，而且其方差大小接近于ExG+Otsu算法的10倍，这是因为前者需要针对每个像素进行R，B分量与G分量的比较，因此实时性较差，且对不同光照条件下的秧苗图像处理效果稳定性较低。由表2可以看出后者的耗时均值为0.004 7 s，能够满足车辆自主导航的实时性需求。

表2 两种方法的耗时与分割质量因子的均值与标准偏差

Table 2 Mean value and standard deviation of time consuming and quality factor for RGB method and ExG+Otsu method

图像序号处理耗时/sRGB法ExG+Otsu法分割质量因子RGB法ExG+Otsu法均值0.01450.00470.44210.6851标准偏差0.0039540.0002310.1418480.084674

a, 采用RGB比较法分割结果图像；b, 采用ExG+Otsu法分割结果图像图4 采用RGB比较法和 ExG+Otsu法的分割结果Fig.4 Segmenting results with RGB method and ExG+Otsu method

a, RGB法和ExG+Otsu法的分割处理耗时；b, RGB法和ExG+Otsu法的分割质量因子图5 RGB法和ExG+Otsu法分割性能评价Fig.5 Performance evaluation of RGB method and ExG+Otsu method with time consuming and quality factor

4.2 分割质量因子

参考George提出的评价方法，使用质量因子(factor quality)作为评价因子，质量因子Qseg定义如下：

(11)

5 结论

对于秧苗图像来说，它的颜色模型中绿色分量为主要分量，因此可以采用偏重绿色分量的分割算法进行处理。常用的有针对绿色作物模型的RGB法和传统的ExG+Otsu法，通过对2种方法进行比较分析，发现采用RGB法无法较好地分割出秧苗目标，不能够保留作物的形态学特征，且对于不同光照条件下的秧苗图像分割效果不够稳定，ExG+Otsu法虽然也会受到光照条件的影响，而且使用Otsu法获得的阈值会使得部分作物像素被误判断为背景，但是它具有较好的分割效果和较高的稳定性，适合于水稻插秧机作业时作业垄行结构的识别。

[1] SLAUGHTER D C， CHEN P， CURLEY R G. Vision guided precision cultivation [J].PrecisionAgriculture， 1999， 1(2):199-216.

[2] TORRI T. Research in autonomous agriculture vehicles in Japan [J].ComputersandElectronicsinAgriculture，2000， 25(1/2):133-153

[3] SHASHI D， BULUSWAR， BRUCE A， et al. Color machine vision for autonomous vehicles [J].EngineeringApplicationsofArtificialIntelligence， 1998， 11(2): 245-256.

[4] KEICHER R， SEUFERT H. Automatic guidance for agricultural vehicles in the Europe [J].ComputersandElectronicsinAgriculture， 2000， 25(1/2): 169-194.

[5] DEBAIN C， CHATEAU T， BERDUCAT M， et al. A guidance-assistance system for agricultural vehicles [J].ComputersandElectronicsinAgriculture，2000，25(1/2):29-51.

[6] SHAFER S A. Using color to separate reflection components [J].ColorResearchandApplication， 1985， 10(4): 210-218.

[7] ONYANGO C， MARCHANT J. Physics-based colour image segmentation for scenes containing vegetation and soil[J].ImageandVisionComputing， 2001，19(8): 523-538.

[8] 陈晓丹， 李思明. 图像分割研究进展 [J]. 现代计算机， 2013(11): 33-36.

[9] 邵明. 基于计算机视觉的龙井茶叶嫩芽识别方法研究 [D]. 杭州: 中国计量学院， 2013.

[10] 袁媛， 李森， 陈晨， 等. 复杂背景黄瓜叶部病害图像分割方法 [J]. 农业机械学报， 2013，44(10): 233-237.

[11] 张芳， 王璐， 付立思， 等. 复杂背景下黄瓜病害叶片的分割方法研究 [J]. 浙江农业学报， 2014， 26(5): 1346-1355.

[12] 迟德霞， 张伟， 王洋. 基于EXG因子的水稻秧苗图像分割 [J]. 安徽农业科学， 2012， 40(36): 17902-17903.

[13] 张志斌， 赵帅领， 罗锡文， 等. 基于S URF算法的绿色作物特征提取与图像匹配方法 [J]. 农业工程学报， 2015， 31(14): 172-178.

[14] 何建斌， 梁威， 李晓明. 基于K均值聚类和数学形态学的小麦彩色图像分割 [J]. 浙江农业学报， 2011，23(4): 829-832.

[15] MEYER G E， NETO J C. Verification of color vegetation indices for automated crop imaging applications [J].ComputerandElectronicsinAgriculture， 2008， 63(2): 282-293.

[16] 赵博， 朱忠祥， 宋正河. 农用车辆视觉导航路径识别方法 [J]. 江苏大学学报(自然科学版)， 2007， 28(6): 482-486.

[17] 张红霞， 张铁中， 宋健. 一种快速农田目标分割方法的实现 [J]. 潍坊学院学报， 2006， 6(4): 1-4.

[18] OHTA Y I， KANADE T， SAKAI T. Color information for region segmentation [J].ComputerGraphicsandImageProcessing， 1980， 13(3): 222-241.

[19] 迟德霞， 任文涛， 刘金波， 等. 水稻插秧机视觉导航基准线识别研究 [J]. 沈阳农业大学学报， 2014， 45(5): 559-565.

[20] 迟德霞， 任文涛， 刘金波， 等. 基于模糊C均值聚类的水稻秧苗图像分割 [J]. 沈阳农业大学学报， 2013， 44(6): 787-792.

[21] LEI F T， DAVID C. Environmentally adaptive segmentation algorithm for outdoor image segmentation [J].ComputerandElectronicsinAgriculture， 1998， 21(3): 153-168.

[22] 施响军. 基于机器视觉的小型插秧机导航研究 [D]. 杭州: 浙江理工大学， 2010.

[23] 张志斌， 罗锡文. 基于颜色特征的绿色作物图像分割算法 [J]. 农业工程学报， 2011， 27(7): 183-189.

[24] SHAFER S A. Using color to separate reflection components [J].ColorResearchandApplication， 1985， 10(4): 210-218.

(责任编辑 张 韵)

Machine vision based segmentation algorithm for rice seedling

YUAN Jia-hong1， ZHU De-quan1，2，*， SUN Bing-yu3， SUN Lei1， WU Li-quan2，4， SONG Yu1， JIANG Rui1

(1.SchoolofEngineering，AnhuiAgriculturalUniversity，Hefei230036，China; 2.CenterofCollaborativeInnovationofAnhuiGrainCrops，Hefei230036，China; 3.InstituteofIntelligentMachines，ChineseAcademyofSciences，Hefei230031，China; 4.SchoolofAgriculture，AnhuiAgriculturalUniversity，Hefei230036，China)

The recognition of rice seedling is one of the significant parts of autonomous guidance for rice transplanting. Considering the segmentation of seedlings and remainder based on machine vision system， a simple dichromatic reflection model was established in RGB color space， which represented that the seedling could be recognized by using its color feature. The values of R， G， B components of seedlings and remainder were obtained in Photoshop software respectively and analyzed statistically in order to get the relation between them. In order to simplify the computing process， the weight values of a and b were set as 0.5， ExG index and Otsu method (ExG+Otsu method) which could obtain the optimal threshold were combined to distinguish the seedlings and remainder well. The RGB method and previous ExG+Otsu method were carried out to compare their performance intuitively. Their comprehensive performance was evaluated with segmentation quality factor and time consuming. The results have proved that the latter for segmenting was more efficient， highly stable and timesaving.

rice seedling; ExG index; Otsu method; image segmentation; quality factor

10.3969/j.issn.1004-1524.2016.06.26

2015-10-14

国家自然科学基金项目(51403005) ；国家农业科技成果转化项目(2014C30000162)

袁加红(1992—)，男，安徽安庆人，硕士，从事智能计算、系统仿真研究。E-mail：962881939@qq.com

*通信作者，朱德泉，E-mail：zhudequan@ahau.edu.cn

TP751.1

A

1004-1524(2016)06-1069-07

袁加红，朱德泉，孙丙宇，等. 基于机器视觉的水稻秧苗图像分割[J].浙江农业学报，2016，28(6)： 1069-1075.