基于混合特征与最小二乘支持向量机的山核桃鲜果识别

章 云 ，周 竹 ，周素茵

（1. 浙江农林大学 信息工程学院，浙江 临安 311300；2. 浙江省林业智能监测与信息技术研究重点实验室，浙江 临安 311300）

基于混合特征与最小二乘支持向量机的山核桃鲜果识别

章 云1，2，周 竹1，2，周素茵1，2

（1. 浙江农林大学 信息工程学院，浙江 临安 311300；2. 浙江省林业智能监测与信息技术研究重点实验室，浙江 临安 311300）

针对颜色和背景相似的山核桃鲜果不易分离的问题，研究了自然环境下成熟山核桃鲜果的机器视觉识别方法。该算法以2×2像素的正方形区域作为分割单位，选择颜色比值B/R、R/G作为颜色特征，选择了基于灰度直方图的特征描述参数如均值、标准方差、平滑度、三阶矩、一致性和熵，以及基于灰度共生矩阵的特征描述参数角二阶矩、对比度和熵作为纹理特征，共同构成特征向量，采用LS-SVM算法建立了识别模型，并利用该模型对80幅顺光图像和50幅逆光图像进行测试。试验结果表明：该方法在顺光、逆光下的山核桃鲜果有效识别率分别为92.48%、88.15%，可为山核桃采摘机器人的研发提供技术参数。

机器视觉；山核桃鲜果；图像分割；纹理特征；支持向量机

山核桃Carya cathayensis是我国特有的树种，现主要分布于皖浙交界的天目山和湖南部分地区，以及大别山部分地区[1]。山核桃果仁是优质食用干果，具有较高的营养、保健、美容及药用价值，深受城乡居民的青睐[2]。山核桃鲜果的采摘通常是在白露之后的1～2周内完成，且以人工采摘为主，效率低、劳动量大，每年因采摘摔伤致死的情况时有发生。虽然一些厂家试制出山核桃采摘机，但多是基于高速振动树干或拍打枝条的半自动化设备，对山核桃树的损伤较大。目前，采摘机器人是农产品自动化收获领域的研究热点，国内外学者进行了大量的基础研究[3-5]。已有的研究表明，使用采摘机器人不仅可以提高采摘效率，而且可以降低果实损伤率，节省人工成本，提高果农的经济效益[6]。因此，开发与利用山核桃采摘机器人具有巨大的经济效益和广阔的市场前景，符合社会发展的需求。开发山核桃采摘机器人系统的首要任务应是研究自然环境下山核桃鲜果的识别与定位，而这其中，识别又是定位的基础[7]。研究基于机器视觉技术的山核桃鲜果识别方法，可为后期山核桃空间位置的定位以及机械手运动参数的确定乃至采摘的完成奠定基础。

目前，研究人员以多种作物为研究对象，开展了基于机器视觉技术的识别方法研究。司永胜等[8]综合使用色差（R-G）和色差比（(R-G)/(GB)），对不同光照下的红色苹果进行识别研究。张亚静等[9]以B通道灰度值和相关性、对比度等纹理参数作为特征向量，采用人工神经网络对红色苹果图像进行分割，其正确率高于87.6%。赵杰文等[10]通过统计HIS空间分量灰度分布，确定了成熟番茄与背景的差异，使用阈值分割法对成熟番茄进行了识别。熊俊涛等[11]对荔枝彩色图像的颜色和灰度特征进行分析，将 YCbCr 作为颜色分析空间，采用阈值分割去除复杂背景，再将一维随机信号直方图分析法、模糊 C 均值聚类法结合对荔枝图像进行分割，其综合识别率达95.5%。徐黎明等[12]应用同态滤波算法对HSV颜色空间下杨梅图像V分量进行亮度增强。而后应用均值聚类算法在Lab颜色空间中对彩色杨梅图像进行分割。卢军等[13]在对自然光照条件下柑橘的可见光彩色图像进行颜色特征分析的基础上，建立了利用 R-B色差图融合归一化 RGB颜色空间对树上水果目标区域进行分割的方法。但是上述研究主要针对和背景颜色差异较大的果实，对果实与背景颜色接近情况下的识别研究还不多。

以自然环境下成熟山核桃鲜果为研究对象，分析山核桃果实与背景的颜色特征，将R、G、B以及H、S空间的灰色图像分割为若干正方形区域，然后提取对应图像的纹理特征，将颜色特征和纹理特征构成特征向量，采用最小二乘-支持向量机方法（Least squares - support vector machine, LSSVM）对山核桃鲜果进行识别分割。

1 材料及方法

1.1 图像采集

山核桃图像采集地点为浙江省临安市，图像采集设备为松下DMC-FZ7GK相机，分辨率为2 816×2 112，图像格式为jpg，共采集山核桃顺光图像80幅，逆光图像50幅。图像采集完成之后，将其裁剪为800×496像素大小图像。在进行果实个数统计时，不统计受树枝、树叶遮挡超过整个山核桃面积1/2的果实，最终，130幅图像中山核桃果实数为361个。使用MATLAB R2010a以及LabVIEW IMAQ图像处理工具包对图像进行处理和分析。

1.2 颜色空间确定

RGB 模型是最常见的颜色空间模型，使用该模型具有简单直观、处理方便的优点[14]。HSV 模型则是比较接近人眼对彩色感知的颜色空间，它消除了R、G、B分量间的相关性[15]。本研究相关特征参数均在此二种颜色空间中提取。

1.3 纹理特征提取

纹理是图像的一种固有特征，是纹理单元在观察者兴趣点区域内的一种局部统计模式[16]。本研究提取了基于灰度直方图的特征以及基于灰度共生矩阵的特征进行山核桃鲜果图像的分割。

1.3.1 基于灰度直方图的特征描述

包括均值m、标准方差σ、平滑度Rs、三阶矩μ3、一致性U和熵e。其中，均值m是纹理平均亮度的度量；标准方差σ是纹理平均对比度的度量；平滑度Rs是区域中亮度的相对平滑度度量；三阶矩μ3是直方图偏斜性的度量；一致性U是一致性的度量；熵e则是随机性的度量。其表达式如式（1）～（6）所示。

式中：L表示灰度级的总数；zi代表第i个灰度级；p(zi)是灰度级分布归一化直方图中灰度为i的概率。

1.3.2 基于灰度共生矩阵的特征描述

灰度共生矩阵法是一种有效的纹理分析统计方法[17]。主要包括角二阶距W1、对比度W2、熵W3和相关W4等。其中，角二阶距反映了图像灰度分布的均匀程度和纹理的粗细程度；对比度代表了纹理的清晰程度，主要反映灰度的局部变化情况；熵是图像信息量的度量，反映纹理的复杂程度或非均匀程度；相关则表示灰度共生矩阵中元素在行或列上的相似程度，它反映了某一颜色沿固定方向的延伸长度。其表达式如式（7）～（10）所示。

式中：p(i,j,d,θ)是空间上具有某种位置关系的一对像元灰度对f(x,y)出现的频度，其数学表达式为：

式中：l表示灰度级；Dx，Dy表示像素位置的偏移量；d表示共生矩阵的生成步长；θ表示共生矩阵的生成方向（包括0°、45°、90°、135° 4个方向）。

1.4 建模方法

采用LS-SVM建立山核桃鲜果的识别模型。LS-SVM是对传统支持向量机（SVM）的一种改进方法，该方法以最小二乘线性系统作为损失函数，采用求解一组线性方程的方式来代替SVM中复杂的二次规划问题，从而降低了计算的复杂性，具有泛化性好、学习速度快等优点[18]。该方法将输入参数以非线性映射的形式映射到高维特征空间，根据结构风险最小化原则确定决策函数参数，从而构造出最优决策函数[19]。在LS-SVM中，核函数是高维特征空间的内积，只要满足Mercer条件均可作为核函数。该研究以径向基核函数（RBF）作为山核桃鲜果识别的LS-SVM分类器核函数[20]。

2 结果与分析

2.1 山核桃鲜果颜色特征分析

图1（a）是随机抽取的一幅自然场景下拍摄的山核桃图像。从图中可以看出，图像主要由树叶、果实、树枝和天空等组成，其中，果实与树枝、天空的颜色差别较大，但与树叶的颜色差异较小。采用线剖面技术对图像进行分析，如图1（b）所示。图中横坐标是黑色线的像素序号（0-495），纵坐标是这些像素的R、G、B值以及B/R、R/G值。图1（b）中 M和N之间的像素点对应于（a）图中线段MN。M和N点之间的像素点属于山核桃鲜果，其它则属于背景（包括树叶、树枝和天空）。通过对图像R、G、B值的统计分析，山核桃鲜果的R值一般大于G值，树叶的R值一般小于G值，R/G值可以作为区分果实与树叶的敏感值；山核桃鲜果的R值一般大于B值，树枝的R值一般小于B值， B/R值可以作为区分果实与树枝的敏感值。天空的R、G、B值一般超过200。综合利用上述颜色特征可以完成图像中果实与背景的分离。然而，单独采用颜色特征对试验图像进行分割时，正确识别的山核桃数目为199个，识别准确率仅为55.12%。主要原因是，在采摘过程中，光线变化较大，导致不同图像间的R/G值出现的波动较大，较难区分果实与树叶。因此，单独采用颜色特征则不能得到理想的识别效果，需要进一步结合图像的其他特征来提高识别准确率。

2.2 山核桃鲜果纹理特征分析

纹理特征分析包括结构法和统计法，其中统计法适合针对纹理细且不规则的物体[7]。考虑到自然环境下光照的变化以及枝叶遮挡等情况会引起山核桃果实及背景图像的不规则，本研究采用统计法进行山核桃鲜果及背景纹理计算。经过前期预试验研究，基于灰度直方图的特征描述（均值、标准方差、一致性和熵、三阶矩、平滑度）以及基于灰度共生矩阵的特征描述（对比度和熵、角二阶矩）能表征果实与不同背景的差异。从图1（b）-（d）可知，山核桃图像在R、G、B通道的灰度分布存在差异，H、V通道的图像也可以反映山核桃鲜果和部分背景的差异，因此，最终确定在R、G、B、H、S五个通道图像上计算上述纹理参数。

将图像分割成若干个正方形的小区域，经过纹理特征提取，共获得由60个特征参数构成的特征向量（灰度共生矩阵纹理参数中，提取0°、45°、90°、135°共4个方向上角二阶矩、对比度和熵的均值和偏差）。在试验图像中，随机抽取400个树叶区域、360个树枝区域、340个天空区域以及590个山核桃鲜果区域用于建立LS-SVM识别模型。试验前期发现:正方形区域的大小会影响分类结果，为了确定大小合适的正方形区域，比较了2×2像素、4×4像素、8×8像素3种不同的分割区域。

对不同大小正方形区域的纹理参数和颜色参数构成的特征向量，采用LS-SVM建立山核桃鲜果识别模型，识别结果和对一幅800×496图像进行纹理参数提取所用时间（硬件环境：Inter（R） Core（TM） i5-3210 CPU@ 2.5GHz ，RAM 4.00GB， Windows 7旗舰版64Bit））如表1所示。

图1 在不同颜色空间中的图像分析Fig. 1 Image analysis of different color spaces

表1 分割区域大小对识别率和纹理参数计算时间的影响Table 1 Success rate and calculation time of texture parameter for different size area

由表1可知，不同大小的正方形区域会影响分类结果和纹理参数计算时间。其中2×2像素区域提取的纹理参数所建模型对130幅图像中山核桃鲜果的识别效果最优，为91.47%，8×8像素区域提取的纹理参数所建模型的识别准确率仅为78.39%。这主要是因为在不同大小的图像区域，纹理特征的明显程度不同。图像区域越大，所得纹理参数弱化了同类物质的特征，降低了分割精度。反之，图像区域越小，所得纹理参数能体现不同物质的特征差异，保证了分类精度。通过表1还可以看出，虽然正方形区域越小，识别正确率越高，但提取一幅完整图像纹理参数耗时变长。研究认为，一幅图像纹理参数提取时间可以通过高性能硬件予以解决，因此，该研究仅从分割准确率来考虑，确定2×2像素尺寸作为图像纹理参数提取区域。

2.3 LS-SVM建模及预测

将由山核桃鲜果、树叶、树枝以及天空构成的数据集（1 690个×62维），按照2∶1比例分成校正集（1 127×62）和测试集（563×62）。将树叶、树枝和天空归为1类即背景，而将果实单独归为1类，采用LS-SVM分类器建立识别模型。

本研究采用二步格点搜索法结合留一交叉验证法对参数γ和σ2进行了优选。首先根据前期的预试验，确定γ和σ2的选择范围分别是2-1～210、 2-2～216。在参数的寻优过程中，以校正集十折交叉验证错误率作为评价指标，在由两参数组成的平面内进行搜索。寻优过程包括粗选、精选2个环节，粗选时格点数为10×10，如图2中“·”所示，该过程搜索步长较大，通过误差等高线确立此环节中最优参数的范围；精选时格点数同样为10×10，如图2中“ ×”所示，以较小步长在粗选的基础上做精细地搜索，最终将十折交叉验证错误率最小所对应的γ、σ2确定为最优模型参数。对γ和σ2作对数处理进行显示，寻优的过程如图2所示。最优的γ和σ2分别为5.634 9和2.584 9×103，此时，交叉验证错误率为1.06%，校正集中，山核桃鲜果的识别正确率为99.49%，背景的识别正确率为98.78%，测试集中，山核桃鲜果的识别正确率为97.46%，背景的识别正确率为96.99%。从以上测试结果可以看出，所建模型的性能较优，可用于下一阶段山核桃鲜果的分割。

2.4 山核桃鲜果识别及图像后处理

将所建LS-SVM模型应用于所有试验图片，得到果实与背景分离的二值图像。分离出来的二值图像往往由多个离散部分组成，需对二值图像进行后处理。采用LabVIEW IMAQ图像处理工具包进行处理，其过程如下：首先采用中值滤波（5×5模板）的方法对二值图像进行滤波操作，初步去除一些无关噪点；随后采用3×3的正方形模板作为结构元素进行一次闭运算，从而使果实的边缘部分变得光滑；然后应用填充功能消除果实因光照不均造成的识别孔洞；最后使用高级形态学处理中的去除细小微粒运算及去除边界运算以去除颗粒和边界干扰[21]，通过与原始图像进行掩膜运算获得果实部分图像。实验过程中，以面积范围2 000～20 000像素作为判别果实的阈值，小于2 000像素或大于20 000像素的区域均将识别为背景。如3、图4分别给出了顺光和逆光情况下山核桃鲜果图像后处理的过程及结果。

图2 γ和σ2的优选过程Fig.2 Grid search on γ and σ2

图3 顺光情况下山核桃鲜果的识别过程Fig. 3 The identi fi cation process of fresh hickory nut in front light condition

80幅顺光图像和50幅逆光图像的识别结果如表2所示。由表可知，在顺光情况下80幅图像的226个鲜果有211个被正确识别，识别正确率为92.48%。对15个未被识别的果实进行分析，其原因主要是有两点：一是部分果实受光照的影响局部灰度值较高，接近天空的灰度值，在识别的时候将该部分判别为背景，使果实的有效像素大大减少，低于判定为果实阈值的下限；二是受靠近果实的树叶背面的影响，光照射到树叶背面时，导致鲜果与这部分树叶的颜色特征和纹理特征差异较小，从而使识别果实的有效像素大大增加，高于判定为果实阈值的上限。在逆光情况下50幅图像的135个鲜果有119个被正确识别，识别正确率为88.15%，低于顺光拍照下的结果。对16个未被识别的果实进行分析，其原因主要是逆光条件下图像整体偏暗，导致鲜果与树叶的颜色特征和纹理特征几乎一致，从而使识别果实的有效像素高于判定为果实的阈值上限。综上所述，综合利用颜色特征和纹理特征并结合LS-SVM方法能有效识别顺光和逆光情况下图像中的山核桃鲜果，其有效识别率为91.47%。

图4 逆光情况下山核桃鲜果的识别过程Fig. 4 The identi fi cation process of fresh hickory nut in back light condition

表2 不同光照条件下的识别结果Table 2 Comparison of recognition effects on different illumination condition

3 结论与讨论

研究了自然环境下成熟山核桃果实的图像识别方法。针对颜色和背景相近的绿色山核桃鲜果，本文提出了一种基于最小二乘支持向量机（LSSVM）的山核桃图像分割方法。该方法以2×2像素的正方形区域作为分割单位，选择颜色比值R/G、B/R作为颜色特征，选择基于灰度直方图的特征描述参数如均值、标准方差、一致性和熵、三阶矩、平滑度以及基于灰度共生矩阵的特征描述参数对比度和熵、角二阶矩作为纹理特征，共同构成特征向量作为LS-SVM的输入，对130幅图像进行识别和分割。结果表明，该方法在顺光、逆光下的山核桃鲜果有效识别率分别为92.48%、88.15%，有效地消除了树枝、树叶、天空等背景的影响，可以满足现场采摘作业的需要，为山核桃智能采摘机器人机器视觉系统的研发提供了基础。

对树上绿色果实进行识别是国内外农业机械领域的一个研究热点，现有的研究多采用高光谱成像技术[22]或近红外热成像与视觉成像融合的技术[23]，但检测效果仍有待提高。司永胜[7]等人选择颜色差R-B作为颜色特征，选择灰度均值、标准偏差和熵作为纹理特征，采用均值聚类法对树上绿色苹果图像进行分割与识别，识别正确率仅为81%。本文综合使用颜色特征和纹理特征并采用LS-SVM建立识别模型，对山核桃鲜果的识别率较高。论文提出的研究方法可为树上绿色果实的识别提供一种新的思路。然而，文中共用到了2个颜色参数和60个纹理参数，计算这些参数所耗时间较长，且参数之间会存在一定冗余，下一阶段可进一步对山核桃纹理特征参数进行优化，从而提高山核桃有效识别的准确性和快速性。

[1] 肖 斌.安徽山核桃生产现状与发展对策[J].经济林研究,2003, 21(2):74-76.

[2] 吴伟文,麻耀强, 吴伟志.论杭州市山核桃产业的发展与对策[J].浙江林业科技,2003,23(3):57-60.

[3] Gongal A, Amatya S, Karkee M, et al. Sensors and systems for fruit detection and localization: A review[J]. Computers and Electronics in Agriculture, 2015, 116: 8-19.

[4] Liu X, Zhao D, Jia W, et al. A method of segmenting apples at night based on color and position information[J]. Computers and Electronics in Agriculture, 2016, 122: 118-123.

[5] Lu J, Sang N. Detecting citrus fruits and occlusion recovery under natural illumination conditions[J]. Computers and Electronics in Agriculture, 2015, 110: 121-130.

[6] 卢 军,王贤锋,后德家.水果采摘机器人视觉系统研究进展[J].湖北农业科学,2012,51(21):4705-4708.

[7] 司永胜,刘 刚,高 瑞.基于 K-均值聚类的绿色苹果识别技术[J].农业机械学报,2009,(S1):100-104.

[8] 司永胜,乔 军,刘 刚,等. 基于机器视觉的苹果识别和形状特征提取[J].农业机械学报,2009,40(8):161-165.

[9] 张亚静,李民赞,乔 军,等.一种基于图像特征和神经网络的苹果图像分割算法[J].光学学报,2008,28(11):2104-2108.

[10] 赵杰文,刘木华,杨国彬.基于 HIS 颜色特征的田间成熟番茄识别技术[J].农业机械学报,2004,35(5):122-124.

[11] 熊俊涛,邹湘军,陈丽娟,等.基于机器视觉的自然环境中成熟荔枝识别[J].农业机械学报,2011,42(9):162-166.

[12] 徐黎明,吕继东.基于同态滤波和均值聚类算法的杨梅图像分割[J].农业工程学报,2015,31(14):202-208

[13] 卢 军,桑 农.变化光照下树上柑橘目标检测与遮挡轮廓恢复技术[J].农业机械学报,2014,45(4):76-81.

[14] 张若宇,坎 杂,马 蓉,等.基于 RGB 模型的脱绒棉种颜色特征与发芽状况的关系[J].农业工程学报,2010,26(10):172-177.

[15] 蔡式东,杨 芳.一种基于HSV空间和粗糙集的彩色图像分割方法[J].光电子技术,2011,31(1):5-9.

[16] 宁亮亮,张晓丽.基于纹理信息的Landsat-8影像植被分类初[J].中南林业科技大学学报,2014,34(9):60-64.

[17] 胡 佳,林 辉,孙 华,等.基于 WorldView-2的薇甘菊信息精细提取[J]. 中南林业科技大学学报,2015,35(1): 42-49.

[18] Suykens J A K, De Brabanter J, Lukas L, et al. Weighted least squares support vector machines: robustness and sparse approximation[J]. Neurocomputing, 2002, 48(1): 85-105.

[19] 郑 剑,周 竹,仲山民,等.基于近红外光谱与随机青蛙算法的褐变板栗识别[J].浙江农林大学学报,2016,33(2):322-329.

[20] 易 斌,姜 飞.支持向量机在人岗匹配度测算中的应用[J].中南林业科技大学学报:社会科学版,2011,5(6):92-94.

[21] 周 竹,黄 懿,李小昱,等.基于机器视觉的马铃薯自动分级方法[J].农业工程学报,2012,28(7):178-183.

[22] Okamoto H, Lee W S. Green citrus detection using hyperspectral imaging[J].Computers and Electronics in Agriculture, 2009,66(2): 201-208.

[23] Wachs J P, Stern H I, Burks T, et al. Low and high-level visual feature-based apple detection from multi-modal images[J].Precision Agriculture, 2010, 11(6): 717-735.

Segmentation method for fresh hickory nut recognition based on mixed features and LS-SVM classi fi er

ZHANG Yun1,2, ZHOU Zhu1,2, ZHOU Su-yin1,2
(1.School of Information Engineering, Zhejiang A&F University, Lin’an 311300, Zhejiang, China; 2.Zhejiang Provincial Key Laboratory of Forestry Intelligent Monitoring and Information Technology, Lin’an 311300, Zhejiang, China)

A fresh hickory nut (Carya cathayensis) recognition method based on mixed features composed of color features and texture features and least squares - support vector machine (LS-SVM) classi fi er is proposed for the fresh hickory nut that have similar color with leaves. The image is divided into 2×2 pixel blocks and the blocks is taken as the segmentation unit by the algorithm. Color feature (B/R ratio、R/G ratio) is calculated based on RGB color model, and the texture features such as mean, standard variance, smoothness, three order moments, consistency and entropy based on gray histogram, and angular second moment, contrast ratio, and entropy based on gray level co-occurrence matrix (GLCM) are calculated in color channels of R, G, B, H and V. These sixty-two parameters are used as the input to the LS-SVM classi fi er. The model is applied to test 130 samples images taken in different illumination conditions. The results show that the recognition rate reaches 92.48% in front light conditions and 88.15% in back light conditions, respectively. It is feasible to use the algorithm in practical recognition of fresh hickory nut.

machine vision; fresh hickory nut; image segmentation; texture feature; least squares - support vector machine

S776.02

A

1673-923X(2016)11-0137-07

10.14067/j.cnki.1673-923x.2016.11.024

2016-05-07

浙江省教育厅项目“基于机器视觉的山核桃智能识别研究”（Y201328071）；浙江省自然科学基金项目“基于高光谱成像技术的锯材表面缺陷检测方法研究”（LQ13F050006）

章 云，讲师，硕士；E-mail：94098916@qq.com

章 云，周 竹，周素茵.基于混合特征与最小二乘支持向量机的山核桃鲜果识别[J].中南林业科技大学学报，2016,36(11): 137-143.

[本文编校：吴 毅]