基于HSV与形状特征融合的花椒图像识别*

汪杰，陈曼龙, 2，李奎，丁敏，王琨

(1. 陕西理工大学机械工程学院，陕西汉中，723000；2. 陕西省工业自动化重点实验室，陕西汉中，723000)

0 引言

农业生产中，果蔬采摘工作由于劳动强度大，相应的果蔬采摘机器人研制得到密切关注。果蔬采摘机器人首先通过视觉系统对成熟果实现识别，将识别后的坐标信息传输给驱动装置，通过驱动装置搭载的采摘机构，实现果实的采摘和存储。因此准确的目标识别是采摘机器人视觉系统的关键技术[1-3]。

当采摘过程中环境变得复杂时[4]，花椒的识别率会降低。传统花椒识别方法在顺光条件下识别效果较好，但在遮阴条件下由于光照不足，导致部分花椒无法识别，同时识别过程中树枝，叶片等会对识别产生严重干扰。近年来农业生产现场果实识别技术得到了长足的进步，在相关的图像识别领域，学者们已经做了大量研究。赵利平等[5]针对苹果采摘机器人不能准确定位夜间苹果目标的问题,提出一种融合GA的三点定位算法，可以较精确的实现夜间苹果目标的定位。熊俊涛等[6]提出了夜间荔枝采摘机器人识别算法，对夜间荔枝颜色图像进行特征分析，确定合适的颜色模型进行荔枝图像分割，实现了在夜视环境下荔枝的准确采摘。 赵小丽设计了一套水果目标物识别处理系统,可以对苹果、梨子、水蜜桃和香蕉这4种水果进行识别与分类。刘小刚等[7]利用卷积神经网络，通过训练大量的草莓图像数据集，以此提高果实的识别率。闫建伟等[8]采用带有残差模块的神经网络进行刺梨果实识别模型的训练，提高了刺梨的识别率。赵贤国[9]利用花粉的孔、凹凸度等结构特征、灰度变化的特点，实现对不同花粉的识别。邱津怡等[10]提出一种基于卷积神经网络( CNN) 的多尺度葡萄图像识别方法，使得识别效果获得了提升。苗中华等[11]提出了一种自然环境下重叠果实的图像识别与边界分割的组合优化算法，可以从重叠物体图像背景中识别出重叠目标。Wang等[12]提出一种新颖的形状描述方法多尺度弓高(March)，可以有效捕获叶片形状的全局特征和详细特征,实现了叶片形状的快速识别。虽然以上方法的识别效果较好，但均不能用于花椒识别，会出现识别率不高或者无法识别的情况。因此必须根据花椒的光照及分布特点进行识别方法的研究。

花椒果实的特点为顶生聚伞状、分布紧密，果实之间相互遮挡，影响识别率。当果实和树枝的颜色均偏暗时，仅仅通过单一特征很难准确完成花椒的识别和定位，此外花椒容易受到树枝及树叶的遮挡，导致光照分布不均匀。

同态滤波常用于亮度调节，可以改善图像光照不均匀的情况，增强图像对比度[13]，因此首先通过同态滤波的方法解决了光照分布不均匀导致的识别率不高的问题。引入基于颜色和形状特征相结合的方法，有效减少了单独采用颜色特征识别后枝叶的干扰，将有助于提高花椒的识别率。

1 图像同态滤波与花椒光线补偿

1.1 图像同态滤波

花椒图像可以看作由光源入射分量i(x,y)和目标物体反射分量r(x,y)组成。

其数学模型[14]

f(x,y)=i(x,y)·r(x,y)

(1)

首先分离i(x,y)和r(x,y)，然后分别抑制低频照度分量i(x,y)，加强高频反射分量r(x,y)，达到光线补偿的目的，同时图像在暗区的细节得到增强，图像的边缘得到锐化。

因此将公式(1)两边取对数，将低频i(x,y)和高频r(x,y)分离，得到式(2)。

Inf(x,y)=Ini(x,y)+Inr(x,y)

(2)

分离后的部分进行快速Fourier变换得到F(u,v)，得到表达式(3)。

F(u,v)=I(x,y)+R(x,y)

(3)

在频率域范围内采用同态滤波函数H(u,v)处理，削弱低频I(x,y)分量的同时增强了R(x,y)分量，得到式(4)。

H(u,v)F(u,v)=H(u,v)I(x,y)+H(u,v)R(x,y)

(4)

最后再经过Fourier逆变换得到hf(u,v)和指数变换得到增强后的图像g(x,y)。其变化公式[15]

hf(u,v)=hi(x,y)+hr(x,y)

(5)

g(x,y)=es(x,y)=ehi(x,y)·ehr(x,y)

(6)

1.2 滤波函数参数选择

最终图像的增强效果完全取决于滤波函数H(u,v)的效果，为了达到抑制低频和增强高频的作用，本文采用动态巴特沃斯同态滤波传递函数[16]。

(7)

式中：rH——高频增益；

rL——低频增益；

c——常数，在rL和rH之间变化，用来控制滤波函数的斜率变化；

D0——截止频率，若图片的大小为M×N。

则经过Fourier变换后中心距离

(8)

其中D0的取值取决于入射分量和反射分量，通过对D(u,v)进行中值运算来快速确认。通过实验验证，遮阴状态下的花椒图像，当rH取0.4，rL取0.1，D0取0.25，图像的低频分量减少，整体亮度更高，因此采用同态滤波进行图像预处理，可以改善图像光照不均的问题。

1.3 同态滤波试验结果

如图1(a)所示由于树叶遮挡，花椒图像边缘处光照明显不足,采用同态滤波可以补充花椒边缘处的光照。如图1(b)所示为遮阴条件下同态滤波图像，经过同态滤波后，光线不足的边缘得到了加强。

(a) 原图

(b) 同态滤波图图1 遮阴条件下同态滤波Fig. 1 Homomorphic filtering analysis under shading

图2(a)，图3(a)为逆光条件下的花椒图像，花椒图像整体光照不均匀。图2(b)和图3(b)采用同态滤波对图像光照较强的部位进行减弱，图像光照较弱的部分进行加强。

从图2、图3可以看出经过同态滤波后的图像纹理更加清晰，整幅图像光照分布更加均匀。因此将同态滤波应用在花椒图像识别中，可以解决整幅图像的光照分布不均的问题，有利于后续的图像处理，特别是遮阴状态下的光照分布得到了较大改善，花椒图像的边缘得到了锐化。

(a) 原图

(b) 同态滤波图图2 逆光条件下同态滤波Fig. 2 Homomorphic filtering analysis under backlight

(a) 原图

(b) 同态滤波图图3 顺光条件下同态滤波Fig. 3 Homomorphic filtering under light conditions

2 花椒图像识别过程

经过同态滤波的花椒图像改善了图像的光照分布，再通过HSV和形状特征融合进行花椒识别，因识别后要配合机械手的采摘，当识别区域的花椒数目不足时，重新选取其它角度的花椒图像进行识别。后续的识别过程主要为HSV颜色分割和结合花椒的形状特征的识别。

整个过程流程图如图4所示。

图4 花椒识别流程图Fig. 4 Prickly ash recognition cucumber indentification

2.1 花椒图像的HSV空间特性

HSV是常用的颜色分割的方法，在该方法中,H主要决定图像颜色，S决定图像的饱和度，V主要决定图像的亮度。HSV空间的各个分量之间是相互独立的，而H和S分量受光照的影响较小，这也是选取该空间的原因之一[17]。HSV花椒图像的分割如图5所示。

(a) 原图

(b) 基于HSV的识别效果图5 HSV花椒图像的分割Fig. 5 Segmentation of HSV pepper image

如图5(b)所示为背光条件下利用H分量分割的效果，其分割的阈值参数设置为175～255时，可以实现较理想的分割。图像中的红色部分即为识别出的花椒图像。因为花椒识别后往往需要配合机械手的采摘，多个目标的存在明显会对机械手的采摘产生干扰。如图5(b)所示有少部分枝叶，花椒对整幅图像存在较大干扰，还需要借助形状特征提高花椒整幅图像的识别准确度。

2.2 基于形状特征的花椒图像识别

花椒的果实特点为顶生聚伞状，如图4红色区域面积最大的部分即为需要识别的采摘区域。如图6所示有多个花椒区域，显然几个面积较小的区域并非采摘区域。由于遮挡非采摘区域圆度特征受到了影响，而采摘区域的花椒果实外边缘都近似圆形，因此分别提取图像每个区域的面积及其外接圆面积，再利用花椒圆形度特征准确识别目标区域。花椒图像每个区域的圆形度计算公式[18]

(9)

式中：A——区域面积；

A′——区域最小外接圆面积。

(a) 基于HSV的识别效果

(b) HSV和形状特征融合的效果图6 HSV和形状特征融合的花椒识别Fig. 6 Prickly ash recognition based onHSV and shape features

该指标同样认为圆形区域最紧凑，其紧凑度为1。在计算中采用最小外接圆面积作为衡量区域形状的标准。通过大量实验表明，花椒识别过程中将圆形度值设置为0.85，可以较好的区分花椒区域。

因为机械手每次采摘只能针对一个目标，因此在图像处理过程中必须排除非采摘区域花椒的干扰。如上图6(a)所示，通过HSV特性分割的图像，图像存在部分非采摘区域的干扰。借助HSV和形状特征融合的方法tong-Y，如图6(b)所示去掉了非采摘区域花椒的影响，可以较好的识别出采摘的目标区域。

3 试验结果及分析

本文按顺光、背光、遮阴3种条件下进行试验，对比分析传统的HSV颜色空间算法与本文基于HSV颜色空间和形状特征识别结果的差异性。本实验在汉中某花椒种植基地，采集235幅花椒图进行图像处理，图像格式为JPG格式，图像处理计算机是Lenovo笔记本，WIN7操作系统，matlab2012b分析软件。表1为不同情况下的分割识别率，采用本文方法Tong-Y的分割效果如图7～图9所示。

(a) 阴天顺光原图

(b) 阴天顺光识别

(c) 晴天顺光原图

(d) 晴天顺光识别图7 顺光条件下Tong-Y花椒识别Fig. 7 Tong-Y pepper identification under light conditions

(a) 阴天逆光原图

(b) 阴天逆光识别

(c) 晴天逆光原图

如表1所示，在不同光照条件下，本论文对每幅图像上的实际花椒数目和识别出的花椒数目进行统计。通过计算得出，Tong-Y方法对各种光照条件的花椒识别率有不同程度的提高。在顺光状态下两者的识别率差异不大，而在背光状态下提高13%，在遮阴状态下提高21%。此外Tong-Y方法的平均召回率为94%，相对于HSV分割图像法提高14%。通过表2可以看出Tong-Y在顺光条件下效率仅提高了2.5%，主要是由于顺光条件下Tong-Y方法对光照的补偿作用不明显，在背光条件下识别速率提高3.7%。而在遮阴条件下识别速率提升最为明显，速率提高14.6%。

(a) 阴天遮挡原图

(b) 阴天遮挡识别

(c) 晴天遮挡原图

(d) 晴天遮挡识别图9 遮阴条件下Tong-Y花椒识别Fig. 9 Tong-Y pepper identification under shading conditions

表1 花椒识别数量统计Tab. 1 Recognition rate statistics of pepper

表2 HSV分割同Tong-Y运行时间对比Tab. 2 HSV segmentation and Tong-Y running time comparison

4 结论

为使花椒采摘机器人能达到快速准确识别花椒的目的，提出一种HSV颜色空间与形状特征融合的方法对花椒图像进行分割。在顺光、背光、遮阴3种条件下，先对原图像进行同态滤波，解决了光照分布不均匀的问题。用图像的H分量对图像进行初步分割，再使用本论文的方法进行识别。试验结果表明：Tong-Y方法平均识别率达94%，其中顺光、背光、遮阴下的识别率分别为96%，96%和91%；与传统的HSV颜色空间算法相比，识别率均有所提高，特别是在遮阴下的识别率得到了较大提高。同时在遮阴条件下该方法的运行效率提高14.6%，有了一定提升。此外对于花椒之间相互遮挡导致识别率不高的问题，还需要进一步的研究。