基于SVM的蔗种坏芽检测识别
2022-12-05刘栩廷刘姣娣王明明许洪振马静雯
刘栩廷,刘姣娣,王明明,许洪振,马静雯
(桂林理工大学机械与控制工程学院,广西 桂林 541006)
甘蔗是我国糖料生产的重要原材料,生产出来的蔗糖作为多功能的食品添加剂[1]。蔗糖产业作为广西壮族自治区实现农民增收的主导产业,甘蔗种植质量直接影响农户收入和政府财政收入[2]。目前,国内推广并投入使用的甘蔗种植机主要有整杆式种植机、实时切种式种植机及预切种式种植机[3],整杆式种植机与实时切种式种植机在作业时不考虑蔗种蔗芽的活性,无法保证蔗种出苗率,蔗种出苗率仅为50%~60%,另外,预切种式种植机作业前需人工剔除带病虫害或因机械损伤的坏芽蔗种,工作效率低且误判率高。
检测识别坏芽蔗种并进行剔除是降低甘蔗种植成本,提高蔗种出苗率的重要途径。目前国内外学者针对甘蔗切种防伤芽这一要求,通过比较甘蔗茎节部位与茎秆区域的颜色、直径最大值等特征差异,利用机器视觉技术识别茎节,其中,MOSHASHAI K等[4]对甘蔗茎节的识别做了初步研究;陆尚平等[5]通过定义茎节特征指标,用支持向量机识别茎节;张卫正等[6]通过建立偏最小二乘法(PLS)分类模型,用高光谱成像和图像处理技术识别定位茎节;李尚平等[7]采用改进的YOLOv3网络,建立智能识别卷积神经网络模型,对整根甘蔗的茎节图像特征进行实时定位与识别。上述研究主要是通过茎节识别以降低切种伤芽率,但均未对蔗种坏芽进行检测识别。黄亦其等[8]将蔗芽区域图像的明暗特征作为完好与破损蔗芽的区分特征,计算蔗芽区域图像特征的分布区间占整个分布区间的百分比,利用贝叶斯决策模型检测蔗种蔗芽完好性。
上述蔗芽完好性的研究主要是基于所搭建的检测机构在静态环境下进行检测,且被测蔗种样品需要良好的光照环境,实验条件较为严苛,难以适应田间作业环境采集蔗种图像光照不均匀、图像模糊失真的蔗芽检测识别。LBP算法[9-11]在描绘图像局部纹理特征时具有很强鲁棒性,对光照环境的要求较低,且由于蔗种坏芽具有特殊的颜色特征,而SVM算法[12-15]训练建模具有小样本统计的最佳预测能力,为此,本文提出一种基于LBP与颜色特征融合的SVM蔗种坏芽识别算法,以适应蔗种种植作业田间复杂光照环境,通过提取蔗种图像的LBP特征和颜色特征,基于单特征和融合特征模型,设计SVM分类器,构建蔗种坏芽识别模型,比较不同分类器对蔗种坏芽识别效果,优选蔗种坏芽识别分类器,旨在为预切种式甘蔗种植机智能识别并剔除坏种提供研究基础。
1 材料和方法
1.1 蔗芽识别及剔除系统工作原理
针对预切种式甘蔗种植机,以剔除坏芽蔗种为研究目标,进行蔗种坏芽识别。由于种箱堆放的蔗种蔗芽初始方位不同,所以在图像读取时不能保证采集到的每张蔗种图像上都带有蔗芽信息。为确保实验的可靠性,设计蔗芽调向识别及剔除系统,如图1所示。
图1 蔗芽识别及剔除原理
蔗芽调向识别及剔除系统由工业相机、图像采集系统、计算机、PLC控制器、步进电机、夹持取种机构和剔除推手组成。其工作流程如下:夹持取种机构抓取蔗种,并将蔗种置于工业相机图像采集位,以蔗种的轴线为基准,顺时针匀速旋转蔗种,以一定的速度采集各个方位的蔗种图像;当相机采集到蔗芽图像,蔗种停止旋转,计算机对蔗芽进行识别,若识别为坏芽,将此信号通过计算机反馈给PLC控制器,由步进电机2控制剔除推手将带有坏芽的劣质蔗种推离工作台。
1.2 试验材料与设备
甘蔗样本来源于广西桂林市农科院甘蔗种植基地,以最具有代表性的“桂糖44号”蔗种为研究对象。利用MV-HS510GC工业相机对蔗种图像进行采集,镜头型号为BT-23C0814 MP5,C接口。计算机操作系统Windows 10,搭载Intel @ Core(TM)i5-8400 CPU @CPU 2.80 GHz处理器,内存16 GB。拍摄环境为自然光照环境,图像处理算法和分类器搭建在Matlab2018b环境下完成。
拍摄前先将甘蔗叶剥净,人工切成含单个蔗芽的单芽段蔗种,选取带坏芽的蔗种270个,蔗芽外部轮廓形态完整的蔗种430个,共700个蔗种样本进行图像采集。
1.3 蔗种坏芽检测识别方法
蔗种坏芽主要是由两类组成:机械破损蔗芽(剥叶、装运等过程造成的机械损伤)和遭受病虫害的烂芽,分别拍摄这两类坏芽,在烂芽图像与机械破损蔗芽图像中各选出4张典型的样本,并截取图像样本的蔗芽区域,与好芽区域进行对比,如图2所示。
图2 两类坏芽与好芽特征对比
由图2可见:遭受病虫害的烂芽区域结构特征呈凹陷状态,蔗芽中心区域为近似圆形的黑色凹槽且边缘区域纹理特征较为粗糙;机械破损蔗芽区域受空气氧化影响,表面颜色普遍较深,表面纹理特征也表现粗糙;好芽的结构特征呈凸起状态,其纹理特征相对均匀,颜色较浅。表明烂芽与机械破损蔗芽有相似的特征,与好芽的区分特征明显。因此,选定蔗芽图像的LBP纹理特征与颜色特征作为好芽与坏芽的区分特征,并与SVM算法相结合进行蔗种坏芽识别,检测识别流程见图3,主要流程如下:
(1)图像预处理。为避免图像上冗余信息干扰识别,将图像分割提取感兴趣区域。
(2)提取LBP特征与颜色特征。坏芽的芽尖、芽尾区域的特征值具有显著差异,为满足坏芽识别精度要求,尽可能保留坏芽特征的细节信息。将图像划分网格成一定量块区域,提取每个量块区域内的LBP特征并建立其子直方图,将所有量块区域的直方图合并成能描述完整图像的LBP特征直方图。将图像的RGB模型转换为HSV模型,对比H、S、V三个分量,发现S分量的蔗种坏芽特征最为明显,因此利用HSV色彩空间中的色饱和度S分量模型提取坏芽病斑的颜色特征。
(3)训练SVM分类器。基于SVM算法对图像的LBP特征与颜色特征进行分析训练,SVM分类器的核函数采用线性核函数。
(4)坏芽检测识别。将测试集图像输入SVM分类器处理,识别蔗种的坏芽区域。
图3 蔗种坏芽检测识别流程
2 结果与分析
2.1 图像预处理
图像预处理是图像处理过程中必不可少的一个环节,经过预处理后图像质量会得到提高,感兴趣区域特征会更加明显。对蔗种图像进行预处理,提取蔗种图像并删除其他无关区域,将蔗种图像由RGB颜色空间转到HSV颜色空间可以直观表现颜色的色调、饱和度和亮度,减少光照影响。H分量图(图4a)可以明显区分蔗种轮廓与背景,其灰度直方图(图4b)呈双峰特征,波谷段对应的灰度级在0.3~0.4之间,实验发现选择合适的阈值可以实现对蔗种边界轮廓与背景的分离,确定H分量的图像分割阈值为0.35。
图4 蔗种H分量图和直方图
对蔗种原图像(图5a、b)进行图像分割处理,实验发现经H分量阈值分割结果存在噪声现象。为更好保护图像边缘,根据中值滤波在降噪的同时引起模糊效应较低这一特性,实验选取9×9的中值滤波模板对蔗种图像进行去噪,并通过形态学闭运算填平小孔,弥合小裂缝以消除噪声,得到蔗种分割图像(图5c、d)。
图5 H分量分割蔗种图像
2.2 蔗芽特征参数提取
2.2.1 LBP特征提取原理
LBP是纹理描述算子,用于描述图像的局部特征。基本的LBP算子是以3*3的模板逐行扫描图像,以3*3窗口中心像素定为阈值,像素若小于阈值,则记为0,否则记1。如图6所示,将二值化结果进行加权求和获得窗口纹理特征均值为124。由于LBP是取决于特定区域的中心像素和相邻像素值之间的相对差,光照增强或减弱,图像局部区域的像素值也会随之单调变化,改变光照强度对LBP值几乎没有影响,LBP算法具有良好的鲁棒性。
图6 LBP算法求解过程
LBP计算公式为:
(1)
(2)
上式中Ip表示窗口中除中心像素之外第p个像素的灰度值,Ic表示中心像素点的灰度值,sx为门限函数。
2.2.2 LBP频谱结果分析
结果(图7)显示:坏芽频谱幅值明显高于好芽和茎秆频谱幅值,坏芽区域频谱分布密集。这满足分类器的设计前提。
图7 蔗种样本表面的LBP特征
2.2.3 颜色特征提取
颜色特征是颜色分类的重要指标,颜色特征提取的质量好坏决定了蔗种坏芽识别的准确性。对各色彩空间不同分量进行对比分析,结果(图8)显示:本研究HSV颜色空间的色饱和度S分量的能准确表达坏芽的独有特征。在色饱和度三维图中,坏芽区域呈凸状,其S分量值最高。因此,本文提取HSV颜色空间下的S分量特征作为坏芽颜色特征。
图8 RGB原始图像与S分量三维图
2.3 SVM分类器设计
支持向量机SVM在小样本统计上具有明显优势,具有规避结构化风险的能力,在追求大致正确分类的同时,一定程度上可以避免过拟合,同时具有最佳预测能力[16-17]。支持向量机分为线性可分和非线性可分,其基本原理是将低维空间的样本训练数据映射到高维空间中,使得样本训练数据线性可分,进而对边界进行线性划分。在线性可分情况下(图9),实验根据给定蔗种样本数据{(x1,y1),(x2,y2),…(xN,yN)},x是D维实数空间中的向量,x∈y∈{-1,+1},当y=+1时表示样本x是坏芽,当y=-1时表示样本x是好芽与茎秆。在样本数据(xi,yi)中,若ai=0,此样本点不是支持向量,对于训练模型没有贡献;若ai>0,此样本点属于支持向量。
图9 SVM分类器设计
对两类样本分类,寻找区分两类标签的最优分割超平面。超平面方程为
(3)
(4)
根据约束条件
(5)
在式(5)中引入拉格朗日算子ai构建函数:
(6)
(7)
(8)
确定SVM分类的决策函数为:
(9)
3 实验结果与分析
对采集的700幅蔗种图像(其中含有坏芽图像270幅,好芽图像430幅)进行预处理,利用Photoshop将样本人工裁剪为270幅坏芽图像、580幅好芽和茎秆图像,再选取150幅坏芽图像与400幅好芽与茎秆图像作为训练集,其余120幅坏芽图像和180幅好芽与茎秆图像作为测试集。
3.1 特征模型测试与比较
提取坏芽区域、好芽与茎秆区域的LBP特征和颜色特征,建立LBP、颜色和LBP+颜色3个特征模型,并进行特征模型比较。为更清晰地体现基于SVM分类器的不同特征模型分类性能,引入混淆矩阵[18]进行性能评估。混淆矩阵的列标签表示预测的类别,其对应的行数值总和为该类别的样本总数;混淆矩阵的行标签表示预测图像的真实类别。行列交叉处的数值表示该类别被预测为对应列标签的数量,对角线处的数值表示正确预测的标签数量。
结果(图10)显示:基于SVM单一的LBP特征或颜色模型,其识别效果都较差,将其融合为LBP+颜色特征模型,识别效果有所提高,为此本实验选用LBP+颜色特征融合的方式进行蔗种特征提取。
图10 各特征模型对数据集分类的混淆矩阵
3.2 分类器测试结果对比
为了进一步证明SVM分类器对坏芽识别的优越性,选取卷积神经网络进行对比实验。卷积神经网络由输入层、卷积层、归一化层、池化层、全连接层各1层构成,其中,归一化层选用批量归一化层,池化层选用最大池化层,激活函数选用Sigmoid函数。输入层的输入为经预处理的LBP+颜色特征数据集,好芽和茎秆区特征数据集类别为1,坏芽特征数据集类别为2。使用准确率、查准率、召回率作为分类器的评价指标,准确率表示两类预测正确的样本数占总样本数的比例,查准率表示坏芽正确分类的样本数占预测分类为坏芽样本数的比例,召回率表示坏芽正确分类的样本数占实际为坏芽样本数的比例。
不同分类器的训练所耗费的时间及效果见表1。由表1可知:SVM分类器的准确率、查准率、召回率均达90%以上,高于卷积神经网络。基于LBP+颜色融合特征的SVM平均耗时(0.714 s)小于卷积神经网络(1.63 s)。坏种剔除不仅要满足较高的准确率,还需具有较高的识别效率。实验结果表明,基于LBP+颜色融合特征的SVM分类模型较理想,其识别准确率94.33%、识别平均耗时为0.714 s。
表1 基于LBP+颜色特征的两种分类器测试对比
4 结论
(1)本研究基于H分量直方图波谷设置阈值、分割目标图像,该方法可以有效克服背景噪声影响,满足自动分割蔗种图像要求。
(2)蔗种坏芽LBP频谱幅值明显高于好芽和茎秆的,且坏芽区域频谱分布密集;坏芽的色饱和度S分量值高,能准确表达坏芽的独有特征。表明LBP+颜色特征融合模型提取蔗种图像特征的效果较好。
(3)基于LBP与颜色特征融合的SVM模型坏芽识别准确率达94.33%,平均耗时0.714 s,均优于卷积神经网络识别模型。