基于图像处理与SVM的核桃仁多特征融合分级方法

颜旭 王应彪 张兆顺 李帅奇 张超宇

(西南林业大学机械与交通学院，云南 昆明 650224)

云南省是深纹核桃[1]的起源地和分布中心，也是全球最大的核桃生产基地。市场上不同等级的核桃仁，对应的销售价格与用途存在差异，因此对核桃仁分级方法的研究有重要意义。已知核桃仁是油脂很多的坚果，长时间高温潮湿环境就会发生霉变，发生霉变的核桃仁主要在颜色上呈现深绿色斑点或者白色粉状，在形状上与正常核桃仁无异。目前，相关国家的标准与生产研究主要针对北方普通核桃，云南主栽深纹核桃与北方普通核桃相比，内在品质、加工利用等方面均有显著差异[2]，所以本文针对云南核桃仁分级进行研究。

刘星星等[3]在HSV空间下提取各通道均值，确定色调通道H值23，亮度通道80为阈值进行葡萄干色泽识别，红、黄、褐色葡萄干的正确识别率分别为89.33%、92.00%和96.67%。李秀昊等[4]提取稻谷图像的颜色特征和形状特征，基于特征融合和SVM的稻谷识别获得较高的准确率99.50%。林海波等[5]提取苹果的大小、颜色、纹理、缺陷、形状5个特征，利用交叉验证法优化SVM中的惩罚系数，该分级方法准确率达96.72%。马佳佳等[6]以花生种子和外观颜色为主要特征，采用支持向量机模型完成分类任务，准确率达86%。蔡建等[7]提取色调色调、饱和度、核桃仁轮廓面积与最小外接圆面积之比等特征，建立决策树模型对核桃仁样本进行预测，正确率达92%。韩巧玲等[8]采用HSV阈值法实现核桃种核图像的精准分割，对形态、纹理、颜色3类表型定量描述，对核桃种核的自动分割达到99.7%。张保华等[9]计算马铃薯图像的偏心度、矩形度、圆形度等共计13个形状特征输入到I-RELIEF模块中，用支持向量机训练，对畸形马铃薯的识别率达98.1%。雪合拉提·木塔力甫等[10]分析色调灰度直方图和颜色矩均值直方图，建立BP神经网络色泽识别模型，分辨准确率达96.42%。

1 材料与方法

1.1 试验材料与分级标准

试验核桃购于昆明市白龙菜市场，选择市面上常见的云南三台核桃为试验对象，核桃仁样本总量232个。

硬件上，图像采集系统由相机、计算机、光源及暗箱等组成。大恒MER-051-120GC工业相机，白平衡自动曝光，图像拍摄分辨率为808(H)×608(V),镜头为8MM-2/3-5m-C-MOUNT,焦距为8mm。考虑到核桃仁表面沟壑的存在，采用分体式LED环形灯源，进行光线补偿，色温指数为6000～6500K，选用固定位置拍摄，以控制变量减少后期图像处理的难度。

软件上，Anaconda是一个安装、管理Python相关包的平台。在图像处理方面，OpenCV是一个开源的计算机视觉和机器学习软件库。本研究采用Python 3.9，OpenCV 4.5.4，完成图像处理、特征提取、分级等工作。

云南核桃仁颜色以黄白色为主，有少数品种的种仁颜色为黄色和白色，还出现少数淡紫色和黄褐色[11]。核桃坚果种仁有饱满、较饱满和干瘪，为适应多数核桃仁实际状况，并结合云南省林学会[12]发布的核桃仁质量标准，从颜色和完整度上确定本次研究对核桃仁等级的划分，见表1。

表1 核桃仁等级划分情况

1.2 图像预处理

1.2.1 原始RGB核桃仁图像灰度化

将原始图像调整为统一大小(330，330)，灰度图像指八位灰度图，其具有256个灰度级，像素值的范围是[0,255]。灰度化方法一般有3种，分别是最大值法、平均值法、加权平均法。最大平均法是直接取R、G、B 3个分量中数值最大的分量的数值(0视为最小，255视为最大)；平均法是取R、G、B通道的平均值作为灰度值；加权平均法是对3个通道赋予不同的权重实现灰度化，当图像由RGB色彩空间转换成GRAY色彩空间时，其映射关系为：

Gray=00.299×R+0.587×G+0.114×B

(1)

此公式为标准的转换形式，也是在OpenCV中使用的转换形式。霉变核桃仁灰度直方图与正常核桃仁灰度直方图如图1所示。

图1 核桃仁灰度直方图

1.2.2 阈值分割

为了有效实现前景和背景分离，常用的阈值函数有普通阈值函数和自适应阈值函数，经多次试验发现，用固定阈值函数分割图像，如图2a所示，核桃仁内部出现较大的孔洞，所以，根据1.2.1采集到的单峰灰度图判断，本文采用自适应阈值函数，采用三角法对核桃仁图像进行阈值分割，如图2b所示，孔洞明显减小。

图2 二值化阈值分割图

1.2.3 形态学处理

获得二值图像后，图像中核桃仁内部有比较多的小孔，本文采用形态学闭运算处理方法，对图像先进行膨胀操作，再进行腐蚀操作的过程。经试验可知，闭运算时采用矩形、内核尺寸为3×3的卷积核，再进行2次迭代，可以填充二值图像中核桃仁内部部分孔洞，观察轮廓也更加平滑。

1.2.4 提取绘制图像轮廓

通过对图像轮廓的提取绘制，可以获得图像的大小、位置、方向等信息。输入经过形态学处理后的图像，提取轮廓的方式为建立一个等级树结构的轮廓，这样获得所有轮廓并建立层级关系。为解决核桃仁内部出现小的轮廓问题，采用设置最小面积的方式来剔除中间孔洞轮廓，经多次试验，阈值1000可以很好地筛选完成得到最外图像轮廓，如图3所示。

图3 提取轮廓图

1.3 特征的提取与识别

1.3.1 核桃仁颜色特征识别

颜色特征是基于像素点的全局特征，可以描述试验图像的表面性质，是区分霉变、异色核桃仁和正常核桃仁重要参数。颜色特征可分为颜色直方图、颜色矩、颜色聚合向量和颜色相关图。本文所采用的方法是颜色直方图，提取B、G、R 3个通道的颜色特征，将256个像素区间设置成128个像素区间，减少了数据量，提升了运算速度。

1.3.2 核桃仁形状特征识别

形状特征主要包含轮廓特征和区域特征2类，图像的轮廓特征主要描述外边界的复杂情况，图像的区域特征着重描述整个形状区域，是区分特等、一等、二等核桃仁的重要参数。本文主要以提取外轮廓和最小外接矩形的方式计算核桃仁面积、核桃仁周长、核桃仁宽长比、核桃仁矩形度、核桃仁圆形度5个特征参数。这里相较于其他核桃仁质量等级研究(引用)，加入圆形度的概念，通过多次试验测量，特等、一等、二等核桃仁的圆形度有较大差别。圆形度用来刻画物体边缘的复杂程度，圆形度公式：

(2)

式中，L代表核桃仁二值图像的周长；A0表示核桃仁的像素面积。核桃仁作为不规则物体，本身边缘较为弯曲特等核桃仁外形比较复杂，圆形度较小；二等核桃仁外形比较简单，圆形度较大。

1.4 SVM

支持向量机就的中心思想是找到距分类样本点间隔最大的分类超平面，判别函数：

(3)

式中，αi为Lagrange乘子；yi为类别标签；k(xi,x)为核函数；b为阈值。

2 试验结果与分析

2.1 识别流程

试验有特等核桃仁样本80个，一等核桃仁样本40个，二等核桃仁样本72个，等外核桃仁样本40个。具体流程如下。

设置测试集、训练集比例7∶3；提取样本图像的B、G、R 3个通道颜色特征和面积、周长、矩形度、圆形度、长宽比形状特征；判断5个形状特征在不同等级核桃仁数值上的差异，挑选特征参数，再结合3个通道颜色特征组合；训练SVM模型，选用径向基核函数，惩罚系数c=1000；记录各个组合的正确率，根据结果分析试验。

2.2 结果与分析

2.2.1 基于多重比较的形状特征参数选择

本文提取了核桃仁样本的面积、周长、矩形度、圆形度、长宽比5个形状特征参数，运用多重比较的方法，选择作用分类效果比较大的特征参数。由于等外核桃仁在形状上包含了二分仁、四分仁、米仁、碎仁，所以这里针对特等、一等、二等核桃仁进行比较，结果见表2。

表2 基于多重比较的形状特征差异性检验

通过表2可知，3个等级的核桃仁在形状特征的具体数值上有所区别，说明形状特征对不同等级核桃仁的判断可以提供帮助。由多重比较可知，3个等级核桃仁分类中，面积、周长、圆形度3个形状特征参数相互之间差异比较明显。面积方面，从特等到一等像素点数递减；周长方面，从特等到二等数值递减；圆形度方面，特等0.38，一等0.51，二等0.63，数值大小上递增。而矩形度特征各等级之间十分接近，不存在显著差异，长宽比两两之间虽然存在较大差异，但没有明显的规律。因此，本文采取3个特征为一个组合的方式进行核桃仁等级识别的建模分析。

2.2.2 基于不同特征的SVM核桃仁分级

根据核桃仁等级划分要求，通过提取核桃仁特征参数，建立7个不同组合的颜色特征加形状特征模型，对特等、一等、二等、等核桃仁区分，并进行了模型比较，结果见表3。

表3 基于不同特征的SVM核桃仁分级结果

由表3可知，颜色特征加形状特征整体分类效果比较好，特别是R通道颜色特征与圆形度、周长、面积的结合，分类正确率达到94%，比G通道颜色特征与圆形度、周长、面积的组合高7%。形状特征与R通道的组合相较于与B、G、R 3通道分类正确率更高，而且在试验中发现，提取3通道的时间更长，而表现出来的效果并不是最好。因此，本文基于R通道颜色特征与圆形度、面积周长3个形状特征建立SVM模型。

3 结论

本试验的研究对象是云南三台核桃仁，提取了5个形状特征参数，通过观察不同等级核桃仁在该特征具体数值的差异，判断该特征对区分等级的影响力。试验结果表明，面积、周长、圆形度，可以作为有效区分核桃仁等级的形状特征参数。

根据核桃仁图像特点，建立7个颜色加形状特征组合，分别构建SVM核桃仁分级模型。结果表明，圆形度、面积、周长3个形状特征与R通道颜色特征的组合模型表现最好，分类正确率达94%。