基于多颜色空间分割的温室环境视觉导航路径信息提取

王红君　陈慧　岳有军

摘要：针对温室小范围复杂作业环境中的农作机器人视觉导航路径信息的提取方法进行研究。该方法首先对红、绿、蓝（red、green、blue，简称RGB）颜色空间各分量算子重新组合比较，在HSI（hue-saturation-intensity）色彩空间对不同光照条件下各分量的均值和标准差进行比较，对图像的RGB空间的各分量作差得到（G-B）、（R-B）差值图像，再对G-B、R-B差值图像和H分量图像用最大类间方差法（OTSU）分别进行最优阈值分割，然后再合并、滤波，将植物从背景中分离，最后用优化后的Hough变换进行植物行中心线的提取从而确定导航路线。结果表明，该方法能去除杂草和降低光照条件的影响，很好地适应复杂的温室环境，能准确分割和提取农作物行中心线，算法简单，实时性、鲁棒性强。

关键词：视觉导航；温室；颜色空间；图像分割；路径信息；Hough变换

中图分类号： TN91173文献标志码：

文章编号：1002-1302（2017）16-0202-04

收稿日期：2016-04-05

基金项目：天津市农业科技成果转化与推广项目（编号：201203060、201303080）。

作者简介：王红君（1963—），女，天津人，硕士，教授，硕士生导师，研究方向为流程工业先进控制技術。E-mail：hongewang@126com。

通信作者：陈慧，硕士，主要研究方向为电气工程。E-mail：403069145@qqcom。

基于机器人视觉的自主导航技术是农业机器人实现田间连续作业的重要环节和基础，是农业装备智能化的关键技术。以机器视觉为主的机器人导航路径检测已经成为该领域的研究热点，目前大部分集中在田间作业机器人导航路径检测方面。

温室设施和作物密集度大、空间占用率高的特殊性，增加了温室作业机器人路径检测的难度，使温室环境视觉导航研究更具挑战性[1-3]。针对光照不均和作物遮挡对导航路径检测的影响，Lv等提出了基于机器视觉的垄间加热管敏感区域提取方法对导航路径进行检测[4]；王新忠等提出g、Cr、Cb色彩分量组合的导航线分割方法，实现了导航信息有效快速识别[5]；袁挺等采用基于与光照无关图的方法去除阴影干扰，基于图像分割和优化的Hough变换提取作物行中心线。以上文献虽然不同程度上解决了光照对导航路径检测的影响问题，能很快提取路径信息但仍然存在不足：Lv等提出的路径检测方法中在2行农作物之间都存在路径标识物，温室环境过于理想化，适用范围比较局限[4-5]，而袁挺等提出的提取作物中心线的方法并不能清晰分离植物和背景，存在许多噪声点，影响路径提取的鲁棒性。

针对温室小范围环境无任何路径标识的情况，提出基于RGB和HSI不同颜色空间图像分割的视觉导航路径信息提取方法。首先对RGB颜色空间各分量算子重新组合比较，并在HSI色彩空间对不同光照条件下各分量的均值和标准差进行比较，用OTSU法对图像的（G-B）、（R-B）差值图像和H分量图像分别进行最优阈值分割，初步提取导航目标，然后对各颜色空间的分割图像进行分析、合并，提高识别准确率。最后，利用优化后的Hough变换对农作物的行中心线进行提取，确定导航路线。

1图像分割

11图像采集

从摄像机在温室内拍摄的录像中截取动态图，选取45°的拍摄俯视角，距地面高度为05 m，图像分辨率为400像素×300像素，土壤呈不均匀黄棕色，有大棚、灌溉管、杂草、阴影等，农作物存在生长不均匀的现象（图1）。

[FK（W10][TPWHJ1tif][FK）]

12色彩空间选取

选择RGB、HSI等2个色彩空间。RGB是最常用的彩色信息表达空间，不须要转化图片的色彩空间，避免信息丢失和对原有图片信息的歪曲[8]。HSI色彩空间中色度（H）表示不同的颜色，饱和度（S）表示颜色的深浅，亮度（I）表示颜色的明暗程度，在HSI颜色模型中，三分量H、S、I具有相对独立性，可分别对它们进行控制，将亮度 I 与反映色彩本质特征的2个参数色调H和饱和度S分开，对受光照条件影响大的采集图像可以避免I量[9]。本研究用经典方法实现从RGB色彩空间到HSI色彩空间的转换，如公式（1）所示。

13基于RGB和HSI色彩空间的彩色图像分割

本研究提出基于RGB和HSI色彩空间的彩色图像分割方法，如图2所示。

131RGB色彩空间的图像灰度化

在RGB色彩空间对R、G、B分量的灰度图像进行重新组合，选用组合算子（R-G）、（R-B）、（G-R）、（G-B）作为特征量进行代数运算。经处理发现，（R-B）灰度图像的灰度值对农作物和土地区分不明显，如图3所示。（G-R）灰度图像在很好地识别出农作物的同时，有效地滤除了杂草和大棚背景，但不能全部识别出生长不均匀处的农作物，对植物信息保留不完整，增加了农作物幼苗被滤除的可能性，如图4所示。而（R-G）、（G-B）灰度图像保留的农作物细节比较完整，也较为清晰地保留了灌溉管，且对农作物和背景的区分也很明显，如图5、图6所示。因此本研究选取（R-G）、（G-B）的灰度差值图像作为在RGB空间图像分割的输入。

132HSI色彩空间的分量提取

本研究采用的是小范围温[CM（25]室环境，必然会伴随光照不均（机器人的农作时间点不同和天气变化等情况）、阴影等问题。在同一位置、不同时间点、不同光照条件下拍摄4张图像并对其在HSI色彩空间各分量的均值和标准差进行计算，拍摄时间为08：00、10：00、12：00、14：00，如图7、图8所示。

由图7可以看出，在08：00—14：00随着光照强度的变化，H分量、S分量的均值基本不变，而I分量的均值变化明显，随着光照强度的增强而增大，波动幅度较大；由图8可以看出，在光照条件变化的情况下，H分量的标准差变化很小，而S分量、I分量的标准差随着光照强度的变化波动较为明显。

综上所述，本研究在HSI色彩空间里只考虑其中的H分量，从而降低光照条件的影响，强化了图像处理时对农业温室环境的针对性。

133图像分割方法

基于RGB和HSI色彩空间提出的图像分割方法包括在RGB空间对（R-G）、（G-B）差值图像和在HSI空间对H分量分别用OTSU最大类间方差法选取最佳阈值，将图像二值化。

OTSU法是一种使类间方差最大的自动阈值方法，是在最小二乘法原理的基础上推导得出最佳阈值的求取方法，具有简单、处理速度快的特点，是一种常用的阈值选取方法[10]。对不同类型的物体，如果灰度值或其他特征值差别很大，此方法能有效地对图像进行分割[11]。但是，在用OTSU法进行图像分割时，图像的灰色直方图必须呈现双峰的形式，在彩色图像中，须要考虑如何利用颜色信息来获得对分割有效的直方图[12]。

本研究在RGB颜色空间中对（R-G）、（G-B）差值图像取反后发现，农作物目标明亮而土地背景灰暗，能很好地区分农作物目标和土地背景，并且与在HSI色彩空间的H分量的灰度直方图都呈现双峰型，所以选用OTSU法来进行自动阈值分割。

OTSU法首先根据初始阈值把图像分为2类，然后计算这2类之间的方差，更新阈值，重新计算类间方差，满足类间方差最大时的阈值即为所求最佳阈值[11]。具体过程[11-14]如下：

（1）假定一帧农作物图像f（i，j）的灰度分为k级，灰度值i的像素数为ni，像素总数为N=∑[DD（]ki=1[DD）]ni，求出图像中的所有像素的分布概率Pi=ni/N；

（2）给定一个初值Th=Th0，将图像分为前景C1和背景C2类，前景C1={1，2，…，Th}，背景C2={Th+1，Th+2，…，k}；

（3）根据公式计算2类图像的方差δ1、δ2，灰度均值μ1、μ2，以及总体灰度均值μ。

（6）将Th从0到255循环，分别计算C1和C2的类间方差，当方差最大时对应的Th为最佳分割的阈值Th+。

134图像合并与滤波

在RGB色彩空间，先将（R-G）和（G-B）反差图像分割后的图像作数学运算，再将其与HSI色彩空间H分量上分割后的图像作数学运算，经过反复的滤波试验，最终确定用中值滤波对合并后的图像进行处理，取得最佳分割效果。

14分割结果与分析

本研究提出在RGB颜色空间对 （G-B）、（R-G）的差值图像和在HSI颜色空间对H分量用OTSU法分别进行最优阈值分割，最后再合并、滤波。图9是在RGB色彩空间直接用OTSU法直接分割的图像，没有达到植物与背景分离的效果，图像效果比较杂乱；图10是在RGB颜色空间（R-G）反差图像的分割图像，农作物可以跟背景分离且对细节保留较为完整，但存在噪声点较大等不足；图11是在RGB颜色空间（G-B）反差图像的分割图像，滤除了杂草和大棚，但对农作保留并不完整且存在噪声；图12是在HSI颜色空间H分量上的分割图像，滤除了灌溉管信息，存在少量噪声；图13是利用本研究方法得到的分割结果，比单纯在RGB色彩空间用OTSU法分割效果要明显很多，比（R-G）、（G-B）的差值图像和H分量分割的效果更好，既能有效滤除杂草和噪声影响，又能准确分离农作物和背景。

从上述分割结果可以看出，本研究提出的分割方法能很清[CM（25]晰地将农作物从土地和大棚背景中分离出来，对农作物的[CM）]

缺失处、生长不均衡处、灌溉管和一些必要的细节保留很完整，对背景和杂草滤除很干净，去除噪声、植物的阴影、光照不均等影响，分割效果较为理想，能准确识别农作物并且很好地适应农业温室的复杂环境。

2导航线检测

21Hough变换提取导航线

经过图像分割、合并和滤波，图像中农作物和灌溉管显示为黑色，土壤、大棚均为白色。农作物行基本汇集在一个不规则的长条状内，可以提取农作物行的中心线为导航线，作为农业温室机器人导航的标准线，确定机器人的姿态[4-6]。对农作物中心线的提取常用Hough变换，该算法抗干扰能力强，受噪声和作物行内断裂的影响小，可靠性高、鲁棒性强，适合于农业机器人视觉导航中的导航路径提取问题。但传统Hough变换是一种穷尽式搜索，导致算法复杂性很高，且峰值点检测常出现误检测问题，处理时间长，无法满足在温室小范围内实时性的要求，故必须对传统变换进行优化处理。

本研究所采集的图像视野范围较远，为满足机器人在行走过程中导航的实时性和准确性，只对图像的下半部分进行处理，缩短了处理时间。采用优化的Hough变换来提取农作物的行中心线。Hough变换包括将笛卡尔坐标空间中的直线变换到极坐标空间中，由于y=kx+b形式的直线方程无法表述x=c斜率无穷大形式的直线[15]，因此，对任意方向和任意位置直线的检测，往往采用极坐标（ρ，θ）作为变换空间，极坐标方程可写成：

[JZ（]ρ=xcosθ+ysinθ。[JZ）][JY]（8）

在实际计算过程中，为求出（x，y）平面所构成的直线段，对分割后的图像进行细化处理，根据图像尺寸确定Hough变换参数空间的大小，将ρ、θ參数空间离散化为许多单元，每1个单元是1个累加器，并分配内存；以2°为θ的步长，对图像中每一个目标（xi，yi）点，将θ的量化值代入ρ=xicosθ+yisinθ，计算出对应的ρ，所得结果值落在某个单元内，使该单元的累加器加1，获得参数空间累加器；对参数空间进行中值滤波，去除噪声点。峰值检测寻找10个最大值点，根据导航路径方位角比导航偏移误差重要的特点，通过导航路径方位角统计判断峰值检测的正确性，得出最能代表导航路径的最优峰值点，最后根据检测到的峰值点在图像中绘制出农作物的行中心线[15]。

22导航线提取结果分析

在预先知道区域形状的条件下，利用优化后的Hough 变换可以方便地得到植物的中心线而将不连续的像素点连接起来。其主要优点是受噪声和曲线间断的影响较小，这对农田环境中检测机器人跟踪路径非常有效。采用优化后的Hough变换对农作物行导航图像进行处理，提取出农作物的行中心，然后对行中心线去均值得出导航路线（图14）。

[FK（W14][TPWHJ14tif][FK）]

图像大小为400像素×300像素，由于植物生长不均匀而且分为左右2列，须对左右2列分别进行中心线的提取，目标点偏多，大约用了65 ms的处理时间，比传统的Hough变换所用时间大概缩短了2/5。在温室内拍摄的录像中截取20幅图像进行处理，正确的识别率可以达到95%，优化的Hough变换算法大大减少了运算量，处理时间满足了视觉导航实时性要求。

3结论

本研究针对温室小范围复杂环境中的农作机器人的视觉导航方法进行研究，提出温室环境路径信息提取的方法并进一步做试验验证。结果表明，本研究提出的分割方法效果比较好， 并且算法较为简单，可降低光照不均等影响，能将图像快速分割，并准确识别导航目标；采用优化的Hough变换能迅速准确提取植物行中心线，能有效去除噪声和农作物行缺失的影响。随机在温室内拍摄的录像中截取20幅图像进行处理，正确的识别率可以达到95%。从检测效果来说，利用优化后的Hough变换检测农作物中心线再取均值，确定导航路线是成功的，鲁棒性强。

参考文献：

赵洲，朱新华，何颖，等 机器人在温室中的应用研究[J] 农机化研究，2015（1）：238-241

王福娟 温室环境视觉导航路径的识别[J] 农机化研究，2010，32（6）：83-86

[3]Wang J，Sugisaka M Study on the effective visual navigation for an alife mobile robot[C] Beijing：International Conference on Mechatronics and Automation，2011：2211-2215

[4]Lv H M，Dong J W The designation of robot exhibition system based on visual navigation[C] Shanghai：4th International Congress on Image and Signal Processing，2011：1992-1995

[5]王新忠，韩旭，毛罕平，等 基于最小二乘法的温室番茄垄间视觉导航路径检测[J] 农业机械学报，2012，43（6）：161-166

[6]袁挺，任永新，李伟，等 基于光照色彩稳定性分析的温室机器人导航信息获取[J] 农业机械学报，2012，43（10）：161-166[HJ172mm]

[7]安秋，李志臣，姬长英，等 基于光照无关图的农业机器人视觉导航算法[J] 农业工程学报，2009，25（11）：208-212

[8]Liu Z，Chen W，Zou Y，et al Regions of interest extraction based on HSV color space[C] Beijing：10th International Conference on Industrial Informatics （INDIN），2012：481-485

[9]Smith A R Color Gamut Transform Pairs[J] ACM Siggraph Computer Graphics，1978，12（3）：12-19

[10]王婷婷 基于颜色空间的图像分割方法研究[D] 济南：山东师范大学，2014

[11]Liu Z，Chen W，Zou Y，et al Salient region detection based on binocular vision[C] 7th IEEE Conference on Industrial Electronics and Applications，2012：1862-1866

[12]尹建军，王新忠，毛罕平，等 RGB与HSI顏色空间下番茄图像分割的对比研究[J] 农机化研究，2006（11）：171-174

[13]杨璟，朱雷 基于RGB颜色空间的彩色图像分割方法[J] 计算机与现代化，2010（8）：147-149

[14]刘琼，史诺 基于Lab和YUV颜色空间的农田图像分割方法[J] 国外电子测量技术，2015（4）：39-41

[15]安秋 农业机器人视觉导航系统及其光照问题的研究[D] 南京：南京农业大学，2008