基于LSP与GLCM方法的碎米识别特性研究

徐子龙, 杨 柳, 肖 轩,范雨超, 罗 洋, 李 瑜, 裴后昌, 张永林

(武汉轻工大学机械工程学院,武汉 430023)

大米是人类的主要食物来源,其富含多种的碳水化合物,能给人们的日常生活提供能量。在碾米的工程中会产生碎米这一副产品,由于碾米等加工技术的缺陷,在加工过程中会产生15%～20%的碎米[1]。碎米是大米品质的重要指标之一,是大米分级的重要依据。碎米检测可以反向调整稻谷的加工方式,适当碾米,减少米粒营养物质的流失和碎米量。碎米的检测具有重要意义[2],检测筛选出碎米,用于制备淀粉,糖醇,米蛋白,米制品等,有效提高其利用率和经济价值。因此,快速以及准确的碎米检测对于碾米企业的生产加工环节非常重要[3]。

机器视觉在农产品检测领域发展迅速,可以对目标作物的缺陷、成熟度、大小进行检测识别,同时能有效地排除主观因素干扰,提高检测的准确率。而大米品质鉴定由检验员人为进行,在一定程度上保证了准确性,但需要大量的人力、时间和主观判断。因此,利用计算机视觉技术可以对大米的加工品质及外观品质进行快速、无损检测,对于提高大米的品质至关重要[4]。梁诗华等[5]基于C-SVM 的大米品种识别研究,识别分类准确率约为99%,其特征参数选取过于单一。王正[6]利用Matlab中的图像处理模块对大米的外观图像进行了颜色矩和纹理特性分析,为后续研究大米表面质量和透明度提供了支撑。刘金平等[7]提出了一种基于多尺度全方向高斯导数滤波的图像空间结构视觉特征提取方法,采用LS-SVM 方法构造了大米加工品质自动分类模型。马超等[8]从图像的颜色、像素面积和纹理特征实现对大米的品质检测。万鹏等[9]研究了利用灰度-梯度共生矩阵对采集到的不同加工精度大米的图像进行分析,该方法检测的平均准确率为92.17%。

近年来,利用计算机视觉技术的大米检测研究已有不少,然而采用多种特征组合的米粒特征提取的内容较少,缺少分析与研究。本研究根据GB/T 1354—2018《大米》检测标准,碎米利用以及经济价值,将识别对象定义为小碎米、大碎米和整米。并提出了一种利用图像处理的技术,提取多种类型的特征参数,根据米粒样本图像的纹理和形状等物理性质对其进行分类的方法。采用LSP融合GLCM的算法对米粒图像提取纹理特征,以及米粒的形状特征参数,构建碎米识别模型,结果表明模型能够较快并准确的实现整米,碎米的分类识别。如图1所示,所述方法包括:搭建了一个米粒的图像采集平台,目前进行单颗米粒采集,获得单颗米粒图像;图像预处理,预处理可以过滤掉图像采集时出现的光斑等噪声,减少运算时间,提高效率;根据米粒特点,进行纹理特征和形状特征提取,建立米粒的特征库;将米粒特征集输入至优化后的机器学习模型中训练得到碎米检测模型,整个识别流程如图2所示。为提高碎米识别提供了可靠的理论基础和技术支持,建立可调控的大米适度[10]加工产线,明确大米分级加工[11],促进大米加工产业链的技术革新。

图1 碎米识别平台

图2 碎米识别流程图

1 材料与方法

1.1 材料

实验采用执行标准为GB/T 19266的粳米。米粒样本产自黑龙江省五常市稻花香产区,选取稻花香2号种子,有机加工标准。

1.2 数据集采集

米粒样本图像在相同距离和相同光照条件下进行拍摄。拍摄设备固定在三脚架上,米粒放置在黑色背景板上,镜头距离米粒15 cm,进行图像采集。拍摄设备为CCD工业相机,光源为自然光,每个品种采集50张图片,准备150张图像的数据集用于分类实验。采集样本的图像初始分辨率为3 024×3 024,为了减少处理时间,将原图像剪裁至分辨率为512×512,采用PNG文件格式存储。

1.3 图像预处理

图3为米粒图像的预处理步骤。预处理的目的是将数据转换成更容易、更有效的处理格式,以获得更准确的数值,有利于后续图像特征提取与识别。

图3 图像预处理

在进行图像采集的过程中,成像传感器在图像采集过程中可能会受到环境条件的影响,摄像头拍摄的图像中会夹杂着光斑、粉尘颗粒等冗余信息,在图像中引入噪声[12]。将原图像进行中值滤波处理,可用消除图像采集时产生的杂散的噪声点,抑制噪声且又能保持图像的细节。

彩色RGB格式图像转化为灰度图像是将三维图像降维到单维,提供了单维的操作。这一步的目的是使图像更简单,并减少代码的复杂性,并保留了大部分的图像信息,灰度图像适用于灰度共生矩阵(GLCM)进行特征提取。

灰度图像的灰度级数通常为256级,灰度共生矩阵计算量大,计算时间长[13],灰度共生矩阵的计算是针对于每一个像素,运算量较大。同时高分辨率图像计算量大,低分辨率图像计算量小[14]。为了减少运算量,使用np.digitize函数对灰度图像进行压缩处理,灰度级数由之前的256级压缩至64级,小、大、整米图片大小分别由89.23、124.75、127.07 kb降低至26.6、49.89、59.4 kB分别减少了70%、60%、53%。以整米为例,整米的灰度图像的GLCM计算时间历时3.40 s,压缩后计算历时2.24 s,运行时间减少了34%。

2 特征提取方法

特征选择是识别计算机视觉图像的最重要步骤,因为它影响了整体过程的准确性。 所选功能应具有最小类间相似性和最大类内相似性。如何提取出目标物体表征性能较好的特征信息,是提高目标物体分类准确率的关键[15],构成了决定算法准确性的基础。 此步骤的输入是米粒图像,输出是代表区分特征的特征向量。通过提出一种产生更多判别特征和更少数据维度的全局和局部方法,这些问题得到了解决。研究了2种特征提取方法,即灰度共生矩阵特征提取和形状特征特征提取,并提出了两种特征提取方法的组合。这种合作旨在利用各自的主要优势,同时相互补充,以提升各自的弱点[16]。

2.1 纹理特征提取

纹理是图像中最重要的特征之一,可以从任何类型的图像中提取,如RGB、单色、航空、卫星图像,已被越来越多地用于评估和检查食品属性[17,18]。图像的纹理反映了像素的强度值的变化,它可能包含物体几何结构信息,因为通常强度值的变化巨大可能表明几何结构的变化。整米、大碎米、小碎米在整体的结构上具有一定的差异,因此不同米粒的纹理特征可以在一定程度上反映出米粒的破碎程度。

2.1.1 LSP特征提取

局部相似模式(LSP)是由Pourreza等[19]提出的一种旋转不变的特征算子。LSP局部相似模式是LBP局部二值模式的改进算法,是一种用于确定具有旋转不变性的区域纹理变化的算法。其主要区别是在LBP中,阈值是中心像素的灰度等级,而在LSP中可以定义一个阈值,即相似范围半径(SRR)。通过指定的相似范围半径(SRR)对中心像素值进行阈值处理。在纹理嵌入噪声的情况下,LSP算子能够有效提高纹理的分类效果。

2.1.2 GLCM特征提取

灰度共生矩阵(GLCM)是Harklick[20]在1979年提出的一种考虑像素空间关系的纹理统计方法。通过计算具有特定值和特定空间关系的像素对在图像中出现的频率来表征图像的纹理,创建灰度共生矩阵,再从这个矩阵中提取统计度量值。每种米粒都有自己的特点,完整米粒的形态更规则,整体成椭圆状,边缘均为圆弧。碎米粒一般为3种断裂形式,头部断裂,尾部断裂,头尾都发生断裂。碎米其断裂处类似一条直线,与整米原有的圆弧状有较大的区别。即米粒在大小、整体形状、局部轮廓上存在差异,这些差异可以用米粒的纹理特征描述。

纹理分析更善于用可测量的参数呈现图像纹理,如角二阶矩(ASM)、熵(Ent)、对比度(Con)和相关性(Cor)。

Angular second moment(ASM)表示灰度分布的均匀程度和纹理的厚度,即像素对中的重复性,可以检测出图像纹理的紊乱。

ASM=∑k∑lP2(k,l)

(1)

Entropy(Ent)熵是图像所具有信息量的度量,它表示了图像中纹理的非均匀程度或复杂程度。

ET=-∑k∑lP(k,l)log[P(k,l)]

(2)

Contrast(Con)是相邻像素组的最高值和最低值之间的差异,显示图像中存在的局部变化量。

Con=-∑Dn=0n2{∑k∑lP(k,l)}

(3)

Correlation(Cor)是对图像灰度等级之间的线性依赖关系的衡量,用于测量像素的线性依赖性。

Cor=∑k∑l(kl)P(k,l)-μ2σ2

(4)

2.1.3 LSP与CLCM融合的特征提取算法

图像的特征提取方法主要有2类方法,即整体方法和局部方法。本研究使用局部相似模式对图像的局部空间纹理特征进行编码[21],编码后采用GLCM统计出纹理特征量,将米粒整体与局部的信息进行融合。融合特征提取方法是基于LSP算法和CLCM算法的结合。对于该操作,首先对原图像应用LSP算子,利用LSP算子对图像进行分析,生成纹理图像。随后对生成的LSP图像进行提取GLCM纹理特征,计算出角二阶矩(ASM)、熵(Ent)、对比度(Con)和相关性(Cor)4个方向上的均值。传统的GLCM算法在提取特征时是基于一个像素及其下一个相邻像素进行运算的,不涉及图像上的其他局部模式,而融合算法在提取特征时考虑了所有的纹理结构和空间信息。在本研究中,使用融合算法从米粒图像中获得的特征使用的公式与GLCM算法相同。LSP显性的构建了每个点和邻居点的关系,用这一关系来描述中心点,在有明显光线变化时,区域的表观会发生变化,但点和点的关系可能是鲁棒的[22],则LSP可以在外部环境有变化时,有效增强米粒的信息,该方法将米粒图像的局部信息与整体信息相结合,提取米粒具有差异性的纹理特征。

2.2 形状特征提取

形状特征时描述图像内容的一个重要特征,能直观地表述物体的特征,是计算机视觉和模式识别中的一个基本问题[23]。图像处理和模式识别中一般要获取的目标参数是面积、周长、目标图像的长轴长度、短轴长度、外接凸多边形面积、离心率等[24,25]。经观察分析,整米、大碎米、小碎米的面积、周长、最小外接矩形面积和周长差异较大,可作为形状特征参数。

3 结果与讨论

3.1 数据处理与分析

本次研究样本数据共150个,每个类别分别有50个图像。将提取的所有特征角二阶矩、对比度、相关性、熵、面积、周长、最小外接矩形面积,最小外接矩形周长作为特征参数进行训练和测试。

将图像划分为3个类别,小碎米、大碎米和整米。通过Matlab对图像的处理,经灰度共生矩阵提取计算,得到纹理特征数据。通过4个方向的灰度共生矩阵计算得出0°、45°、90°、135°的角二阶矩、熵、对比度、相关性,在计算出不同样本的4个方向的纹理特征的平均值。表1是从GLCM中提取出来的特征均值。

表1 纹理特征提取参数均值

由表1可知,这些参数表示了不同米粒的ASM、Ent、Con,Cor等图像纹理特征的数值大小,整米粒表面光洁圆滑,小碎米和大碎米,在其断裂处会有明显的灰度变化,小碎米灰度变化更加突出。这一破碎特性使不同米粒纹理特征参数具有明显的差异,可以通过比较这些特征参数反映出不同图像纹理特征的差异,在不同特征参数的差异的对比中,米粒纹理进行分类识别应当是可行的,从而达到实现对碎米特性的分类的目的。

如图4a所示,碎米的ASM值分布在0.861 026～0.589 545,整体大于整米的ASM值分布范围0.566 731～0.448 286,表明整米图像纹理相似性更大,纹理特征值波动较小,碎米因破碎程度不同,其纹理值相较于整米波动显著。小碎米的ASM值大,纹理更加均匀。通过角二阶距对应的碎米纹理数值,能实现的不同尺寸碎米的区分。图4b中整米和大碎米的熵值偏高,整米Ent值最大为1.515 161,说明其图像中的灰度差异较大,小碎米的熵值比较小,小碎米Ent值最小为0.403 75,说明其图像灰度均匀,共生矩阵中元素大小差异大。图4c中整米图像的清晰度最好,反差越大,Con值整体较高,最大为0.183 26,反之碎米,Con值较小,最小为0.035 557,对比度小,则沟纹浅,效果模糊。图4d中小碎米的Cor值平均为0.104 865 2,高于整米和大碎米,说明其图像中的局部灰度相关性大于大碎米和整米。

注:曲线代表不同米粒的纹理特征值。

通过Matlab对图像的处理,分别得到米粒轮廓面积、周长、米粒最小外接矩形面积,周长4个形状特征向量,如表2所示。

表2 形状特征参数

通过表3数据得出,米粒的形状特征参数差异明显,大碎米的面积均值约为整米的2/3,小碎米的面积均值约为整米的1/2,表明对比米粒形状特征参数上的差距可以有效的区分整米和碎米。4个形状特征特征向量可以作为有效的特征参数放入分类器,并且可获得较好的分类效果。

表3 形状特征参数均值

3.2 识别模型建立与分析

米粒的选定特征形成输入特征向量,再送入分类器进行训练识别,识别过程的最后阶段是分类阶段。分类器的目的是通过根据特征向量将图像放置在预定义的类别中来识别图像。利用划分好的数据集分别训练4种分类模型:支持向量机(SVM)、线性判别分类器(LDA)、K近邻(KNN)、随机森林(RF)。引入准确率(Accuracy)、精确率(accuracy)、召回率(accuracy)和F1-score来验证模型性能。结果如表4所示,对比分类模型性能,GLCM纹理特征与形状特征同时作为特征向量时,4种分类器的分类准确率都在95%以上,其中基于Linear核函数的支持向量机分类模型性能最优,准确率达到97.56%,精确率、召回率和F1-score均高于其他分类模型,预测的正确样本个数最多。对于形状特征,KNN分类模型最优,准确率可达96.67%,但预测精确率为94.33%,低于其他3种分类模型,预测的正确的正样本数量最少。对于纹理特征,RF分类器效果最好,准确率为95.00%,仅预测正确的正样本数量低于SVM分类模型,其他评价指标高于另外分类器。组合特征相比于形状特征,GLCM纹理特征,SVM分别提升了2.56%,4.23%;LDA分别提升了0.52%,2.75%,KNN分别提升了0.33%,3.67%,RF分别提升了0.50%,1.50%。数据表明,单特征的分类结果都低于组合特征分类结果,说明使用LSP与GLCM融合算法所提取的纹理特征,基于GB/T 1354—2018大米检测标准,提取的3类大米的形状特征,2类特征相互组合,可以提高分类结果。

表4 不同分类器识别精度

此外,与梁诗华,基于米粒形状特征作为特征集,使用SVM模型对碎米分类,准确率为95.60%[26],本研究基于特征组合,采用优化后的SVM分类模型进行分类处理,得到准确率为97.56%,提升了1.96个百分点。证明GLCM提取的四维特征加上四维形状特征作为特征参数放入分类器中的准确率要高于单独的形状特征得到的准确率,说明,GLCM纹理特征加形状特征作为特征参数可以实现快速并准确的碎米分类效果。

4 结论

针对于碎米识别,本研究采用LSP与GLCM融合算法提取米粒的4维纹理特征,并提取米粒自身的4维形状特征,利用SVM、LDA、KNN和RF 4种分类器,将两个特征合共8维特征,分别放入4个分类器,对整米与两类碎米进行了识别分类。并比较单独的形状特征在不同分类器上的碎米识别性能,相比于单独使用纹理特征或形状特征,纹理特征加形状特征结合起来能够有效的提高识别准确率。分析结果表明,提取纹理特征与形状特征,使用SVM的Linear核函数对整米和两种碎米的分类准确率达到97.56%,方法既考虑了图像的整体特性,也考虑了纹理变化带来的局部特征,特别使用了LSP算法对图像进行了预先处理,再进行GLCM纹理特征的提取,最后获得了理想的碎米识别分类准确率。