基于LBP的特征融合猴魁茶叶叶尖和叶柄识别研究

米 福，陆佳平，孙 旋，方继凡

（1.江南大学 机械工程学院，江苏无锡 214122；2.黄山市猴坑茶业有限公司，安徽黄山 245700）

0 引言

将茶叶进行自动化生产，是当前茶叶行业的趋势。猴魁茶叶的传统制作过程分为采摘、杀青、理条、捏尖、压扁和烘干定形6个阶段，茶叶成品的外形与捏尖息息相关［1-3］。捏尖是抓住茶叶的叶柄，然后将茶叶的叶尖旋转两圈半。为更好地完成捏尖工艺，需要识别自动化生产线上每一根猴魁茶叶的叶尖和叶柄，然后统一叶尖和叶柄的排列方向，提高捏尖加工做形的效率。

目前有许多研究应用图像处理技术来识别茶叶的老叶和嫩叶，徐张群等［4］利用图像处理中的形态学运算和二值图像标记算法获取茶叶鲜叶的数量和位置；吴雪梅等［5］利用基于图像的颜色信息来区分茶叶的嫩叶与老叶；韦佳佳［6］利用形态学处理茶叶图像识别茶叶嫩芽，然后采用质心法确定嫩芽的中心位置。在茶叶分类方面，TANG等［7］利用LBP-GLCM结合的方法识别茶叶类别为一芽两叶、一芽一叶和一芽多叶；BORAH等基于茶叶纹理特征对茶叶进行分类［8-9］。目前的研究主要集中于识别茶叶的嫩芽位置以及茶叶的等级分类。

为识别猴魁茶叶经过杀青预搓条后的叶尖和叶柄，使用摄像头采集茶叶图像，在图像预处理完成后，利用图像处理技术完成对茶叶纹理信息和形状信息的提取，对2种特征融合后得到的新特征运用支持向量机（SVM）分类实现对叶尖和叶柄的区分。

1 图像采集和预处理

1.1 图像样本选择

选取清明节后杀青预搓条后的猴魁茶叶作为样本，如图1所示。猴魁茶叶叶尖部分呈椭圆形，叶柄部分比较细长；叶尖部分纹理丰富，叶柄部分纹理较少；叶尖端和叶柄端颜色区分不明显。因此基于颜色进行叶尖和叶柄的区分效果不佳。

图1 猴魁茶叶杀青搓条后的样本Fig.1 Samples of Houkui tea after rubbing

1.2 图像采集处理

采用海康威视MV-CA060-10GM/GC型相机，参数如表1所示。摄像头为CMOS型传感器，最大分辨率为3027×2048 DPI。用于采集猴魁茶叶的训练和测试样本。

表1 相机参数Tab.1 Camera parameters

1.3 图像的预处理

在VS2019中运用OpenCV图像处理技术，将相机采集到的猴魁杀青茶叶由彩色图像转化为灰色图像，然后对图像进行滤波处理，以降低采集到图片的噪声。通过对滤波处理后的茶叶图像进行反二值化操作，进行茶叶图片形态学操作处理；然后进行开运算处理，将茶叶从叶尖和叶柄的正中间分开，提取茶叶的叶尖、叶柄ROI；最后分别提取茶叶整体轮廓、叶尖和叶柄的形状参数。操作步骤如图2所示。

图2 茶叶预处理流程图Fig.2 Flow chart of tea pretreatmen

1.3.1 图片灰度化

将相机捕获后的茶叶彩色图片转换成灰度图片，利用灰度变换函数实现图片从RGB颜色空间到灰度图像的转变，以减少后续图像处理的计算量，提高运行速度。RGB颜色空间转换的计算如下式：

1.3.2 图像反二值化

图像反二值化操作是在灰度图中设置1个阈值，将灰度图中小于该阈值的灰度值设置为白色（255），将大于该阈值的灰度值设置为黑色（0），以便于后续对茶叶的形态学参数的提取。对茶叶进行反二值化操作的结果如图3所示。

图3 茶叶的反二值化Fig.3 De-binarization of tea

1.3.3 提取图像的ROI

使用ROI可以指定图像中想要的目标，减少处理时间，提升处理精度。提取茶叶叶尖和叶柄部分的ROI，获取叶尖和叶柄的中间列数。分别用矩形区域提取叶尖和叶柄的ROI，如图4、图5所示。

图4 茶叶左半边ROIFig.4 ROI on the left half of the tea leaves

图5 茶叶右半边ROIFig.5 ROI on the right half of the tea leaves

1.3.4 形态学处理

对于二值化后的茶叶，图片存在细小的毛刺。为消除这些小毛刺，并平滑茶叶的边界，使用形态学上的开运算对二值化后的茶叶进行处理。开运算是先腐蚀后膨胀的过程，膨胀是将目标像素的值替换为卷积核覆盖区域的局部最大值，腐蚀则相反［10］。

2 图像的特征分析和分类方法

2.1 图像的纹理特征分析

LBP（local binary pattern）特征最早由OJALA等［11］提出，用于描述图像的纹理特征，具有旋转不变性和灰度不变性等显著优点。LBP算子以一种巧妙的方式编码局部图案。局部二值图案描绘像素点和像素点周围的关系，原始的LBP定义在单个像素点的3×3邻域内，以这个邻域的中心点像素作为比较值，从邻域左上角的每个像素值开始按照顺时针方向依次与邻域中心点的像素相减，如果结果大于0，那么这个像素点的位置赋值为1；如果小于等于0，那么这个像素点的位置赋值为0。3×3的邻域经过与中心点的像素值比较后一共有8个绕邻域的值，将这8个值按照顺时针排列得到1个在0与255之间的数，一共有256种可能。计算过程如图6所示。

图6 经典LBP模式计算过程Fig.6 The calculation process of the classical LBP mode

经典的LBP在3×3的邻域内经过计算变成8位的二进制数，如式（2）、式（3）所示，再转化为十进制有256种，但是计算量过大。于是OJALA等［12］在此基础上提出圆形LBP模式，将3×3推广到任意邻域，面积更大，适用范围更广。旋转不变的LBP模式，将圆形LBP计算得到的二进制进行循环旋转，找出其中的二进制最小值，将此刻的最小LBP值作为该邻域的LBP值。对于8个采样点的LBP旋转不变模式，LBP值一共有36种可能。

其中，（xc，yc）为像素的坐标；p为领域内的第p个像素；C为邻域中心的像素；ip为第p个像素值；ic为邻域中心的像素值。

等价LBP是OJALA对LBP降维的一种方法，当某个LBP所对应的二进制数从0到1或从1到0最多有2次跳变时，该LBP所对应的二进制就称为1个等价模式。对于3×3邻域内原来的8个采样点，一共有256种可能，而等价模式的LBP减至58种，大幅降低LBP的种类，提高计算的效率。在猴魁茶叶的叶尖和叶柄识别中，运用等价LBP分别计算茶叶左半部分和右半部分，结果如图7所示。

图7 猴魁茶叶的等价LBPFig.7 Uniform LBP of Houkui Tea

计算等价LBP特征向量，首先将计算好的等价LBP图用小滑窗统计滑窗内的等价LBP值；然后建立小滑窗内直方图。当统计完成后，小滑窗滑向下一个图片中的区域，建立下一个区域内的LBP直方图。当整张图片内所有的区域直方图建立完成后，将所有直方图连起来得到整张图片的等价LBP特征向量直方图。

2.2 图像的形状特征分析

对于区分猴魁茶叶的叶尖和叶柄，仅用等价LBP值来提取纹理信息作为区分的依据并不完善。等价LBP只能够完整表示叶尖和叶柄纹理的信息，茶叶的形状信息也是作为区分的重要依据。茶叶叶尖和叶柄的形状信息指标有面积A、周长C、直径D、圆形度F和hu不变矩等［13］。

面积描述茶叶图像轮廓线内包含的所有像素个数；周长表示茶叶图像轮廓线上的像素总和；直径是指与茶叶面积等价的最小圆直径，计算如式（4）所示；圆形度在茶叶轮廓中用于描述叶片接近圆形的程度，计算如式（5）所示；hu矩是归一化中心矩的线性组合。

hu矩有7个，随着hu矩定义式中阶数的增加，hu矩变得很小，故取h1和h2矩替代整个hu矩。h1的计算如式（6），h2的计算如式（7）所示。

其中，v20，v02和v11为归一化中心矩。

定义细长度T为茶叶的区域最小外接矩形的长（L）和宽（S）之比，计算如下式所示：

定义矩形度R为茶叶的面积与茶叶区域外接最小矩形的面积之比。

将采集到的60张茶叶图片进行图像处理，计算得到8个有关茶叶形状特征平均值参数，如表2所示。

表2 茶叶叶尖和叶柄形状特征参数Tab.2 Shape characteristic parameters of tea leaf tip and petiole

由表2可知，叶尖端面积比值大于叶柄端面积比值，叶尖端周长比值接近于叶柄端比值，直径比值也是叶尖端大于叶柄端。对于圆形度，叶尖端的比值比叶柄端更接近于1，表明茶叶的叶尖端更加圆整。h1矩和h2矩都是叶尖端小于叶柄端，对于矩形度比值则是叶柄端高于叶尖端，叶柄端的外形更接近于矩形，叶柄端的细长度比值大于叶尖端。根据以上分析对比，利用形状特征参数的不同，可以将茶叶的叶尖端和叶柄端进行有效的区分。

2.3 支持向量机分类方法

支持向量机是一种在传统机器学习上非常重要的分类算法，其基本形式是基于一系列的样本对2类物体进行区分。SVM的效果取决于选择合适的核函数，将某个特定维度空间的数据映射到更高维的空间中去，这个空间也叫核空间［14-16］。在新的核空间中，线性分类器常常可以找到2类的分界函数。在OpenCV的SVM可用的核有线性核、多项式核、径向基函数核、Sigmoid核、指数卡方分布核和直方图交运算核。对于处理数据中的离群点，SVM的优点是当数据有限时，可以获得非常好的性能和准确率。

3 试验设计与结果分析

3.1 试验设计

对于猴魁茶叶的叶尖和叶柄识别，首先采用Uniform LBP特征值和6个形状特征进行参数融合，得到1个新的包含茶叶纹理和形状参数的融合特征向量；然后将新的融合特征利用SVM进行大量数据训练；最后将训练好的SVM用于预测识别茶叶的叶柄和叶尖，得到叶尖和叶柄信息。识别的基本过程如图8所示。

图8 茶叶叶尖和叶柄的识别基本流程Fig.8 The basic process of identifying tea leaf tips and petioles

挑选200片清明节后的猴魁茶叶作为样本，经过图像采集后，对茶叶图片进行图像预处理，在OpenCV中分别获取猴魁茶叶的叶尖端和叶柄端的形状特征参数如面积A、直径D、圆形度F、h1矩和h2矩，将这些形状参数进行归一化处理后生成8维特征向量。另一方面对图像采集后的茶叶提取ROI后，分别计算茶叶的叶尖端和叶柄端的等价LBP值。

首先运用PCA降维方法把等价LBP特征向量降至28维；然后将形状特征向量和降维后的等价LBP特征向量直接串联起来作为新的融合特征向量，80%的样本作为训练数据集，20%的样本作为测试集，叶尖端对应的特征向量赋值为+1，叶柄端对应的特征向量赋值为0。利用训练好的SVM模型去预测测试集中的叶尖端和叶柄端的分类结果，实现对猴魁茶叶的叶尖端和叶柄端的区分。

为具有优秀的实时性能和准确率，便于将来在生产上应用的实现，选择SVM的核为径向基函数核。SVM参数经过以识别准确率为目标进行优化，经过网格参数调优法选择后，核参数C=10，核参数gramma=0.6，核的类型为C-SVC。

3.2 试验结果分析

单独利用等价LBP模式提取茶叶两端的特征，用于SVM训练，叶尖和叶柄识别的准确率为80.9%；而经过融合之后得到的特征，利用SVM训练，最后得到的准确率为98.5%。经过纹理和形态特征的融合，使得新的特征具有不同维度的特点，能有效地提升训练准确率。

将LBP特征和形状特征融合后的新特征利用随机森林来进行茶叶叶尖和叶柄的区分，识别的精确率、召回率、准确率和综合评价指标如表3所示。融合的新特征有效提高了茶叶叶尖和叶柄分类的准确率，从不同的维度进行分类更全面。对于分类方法，支持向量机比随机森林分类的效果更好。融合的新特征加上SVM的方法根据综合评价指标得分也是最高，为0.987。基于LBP纹理特征和形态特征参数的方法识别猴魁茶叶的叶尖和叶柄也可以适用于其地茶叶，可以作为其他茶叶定制加工的参考。

表3 不同方法进行识别效果对比Tab.3 Comparison of recognition effects of different methods

4 结语

本文针对猴魁茶叶做形的精细化加工要求，识别出猴魁茶叶叶尖和叶柄位置，为后续调换猴魁茶叶的位置提供基础。首先利用摄像机采集茶叶的图像；然后对图像进行预处理后提取形状信息和纹理信息，将形状特征和纹理特征融合；最后运用SVM训练以新特征识别茶叶叶尖和叶柄，准确率达到98.5%。结果表明新方法比单一纹理特征方法的准确率提升了17.6%，可以有效地识别出猴魁茶叶的叶尖端和叶柄端。后续将进一步计算猴魁茶叶的形心，研究调换猴魁茶叶的叶尖和叶柄位置，完成叶尖和叶柄方向的统一排列。