人工视觉网络在小麦籽粒分类中的应用

左卫刚，高 洋

(1.山西管理职业学院, 山西 临汾 041000； 2.山西省农业科学院农业资源与经济研究所，太原 030000)

随着人口的增长，小麦种植量和消费量日益增加。面包、通心粉和蛋糕等食品所用面粉的质量取决于小麦的加工品质，影响小麦加工品质最重要的因素是蛋白质含量。硬粒小麦(四倍体小麦)比面包小麦(六倍体)的蛋白质含量高，面包小麦籽粒与硬粒小麦混合常会导致面粉蛋白质含量降低。在实际生产中，面包小麦和硬粒小麦田间常出现混生的现象，造成收获的籽粒中常有一定的杂粒。因此如何准确、快速地分离面包小麦和硬粒小麦的混合粒具有重要意义。

高精度的快速无人计算机辅助系统对颗粒进行分类已用于评估农产品的质量。该系统基于计算机视觉，采用从图像处理技术(IPT)[1]中获得的谷物或产品视觉属性，与人工智能 (AI) 相结合，从而提供自动质量评估。人工智能在分类器建模中应用最广泛的技术有人工神经网络 (ANN)、自适应神经模糊推理系统 (ANFIS)、支持向量机 (SVM)、决策树 (DT)、K最近邻分类算法 (KNN)、朴素贝叶斯 (NB) 和判别分析 (DA)等。目前，国内外已有学者对各种农产品的分类器进行了研究。Jamuna等[2]根据DT和多层感知器(MLP)对棉籽的分类效率对分类器进行了评价，Berman等[3]利用近红外高光谱图像分析对谷物籽粒进行分类；这些结果证明了自动分析系统在杂粒选择上的应用潜力。通过分类器所采用的不同技术，根据小麦特性和分类精度研发新的识别体系，开发高分类精度和准确性的小麦杂粒识别体系具有重要的应用价值。本研究设计了一种根据小麦籽粒的视觉特征，由计算机视觉支持的高精度简化分类器的12个主要视觉特征, 并从这12个主要特征中复制出21个视觉特征, 利用CfsSubsetEval算法简化分类器可准确分辨面包或硬粒小麦。

1 图像和数据采集

对图像进行采集，IPT获取与小麦籽粒视觉特征相关的数据建立FFBP-ANN模型，流程如图1所示。

图1 获取图像和特征数据采集流程图

1.1 获取图像

为了获得图像，使用的计算机拥有Intel i 7处理器和16 G系统内存；相机采用佳能EOS 5 D，具备1 280万有效像素全画幅CMOS图像感应器。将相机固定在距离盒子底部40 cm高度，内部覆盖黑色背景，并用LED照明。防止画面抖动，使用单反无线遥控器控制快门拍摄。

1.2 图像处理技术(IPT)

获取图像以后，使用Matlab软件获取特征数据[4,5]。将RGB图像(图2)转换为灰度格式(图3)，最后利用最大类间方差法(OTSU)将灰度图像转换为只包含黑色或白色的二值图像(图4)。OTSU将灰度图像按照阈值转换为二值图像[6]。每个像素的灰度级别从0～255，标准化为0～1，当灰度值高于阈值，每个像素设置为白色(1)，否则设置为黑色(0)。利用形态学方法消除每个图像的噪声后对每个颗粒的位置进行定位，并根据位置进行分割标记。

图4 籽粒的二值图像(黑色或白色)

注：(a)面包小麦；(b)硬粒小麦。图2 籽粒的RGB图像

注：(a)面包小麦;(b)硬粒小麦(最初如图2所示)。下同。图3 籽粒的灰度图

1.3 采集特征数据

通过图像处理技术，获取每个颗粒的尺寸、颜色、纹理等视觉特征[7-11]，形成如表1所示的数据集。

表1 从主要特征复制的主要特征和数据集

从二值图像中提取每个颗粒的长度(L)、宽度(W)、周长(P)和面积(A)。为了保证分类器的鲁棒性，我们从这些参数中提取了一些与尺寸相关的特征，通过公式(1)计算丰满度(F)。

然后从RGB图像中提取每个颗粒的R、G、B值，并且计算每个颗粒的R、G、B均值。同样，关于颜色的几个特征如公式(2)所示：

R/TRGB G/TRGB B/TRGB R-G G-B R-B

(2 A) (2 B) (2 C) (2 D) (2 E) (2 F)

……(2)

以上系列公式中，TRGB为R+G+B级的总和。利用灰度共生矩阵(GLCM)从图3图像中提取出对比度(C)、相关性(COR)、能量(E)、同源性(H)、熵(ENT)等纹理特征。

2 实验结果

2.1 人工神经网络模型设计

人工神经网络由不同层次的神经元组成，这些具有非线性功能的神经元通过突触权重相互连接。在训练过程中，通过权重的变化，使输出更接近神经网络的目标。根据视觉特征，基于MLP的FFBP-ANN模型将小麦籽粒分为面包小麦或硬粒小麦(图5)。

图5 将小麦籽粒分类为面包小麦或硬粒小麦的ANN模型

ANN模型由3层构成：输入层、4个神经元的隐藏层和1个神经元的输出层。输入层的神经元数量与输入参数的数量相同，输入层和隐藏层使用“Sigmoid”函数，而输出层使用“Purelin”函数。利用Levenberg Marquardt(LM)算法训练神经网络模型作为学习算法。LM是高斯牛顿算法和最速下降法(反向传播)的组合，在保证高斯牛顿法精度的前提下，采用最速下降法进行收敛。因此，对于高非线性问题，LM模型通常能获得较成功的结果。与其他学习算法相比，该算法具有更快的学习速度和更好的收敛性，MATLAB编码参数设置见表2。

表2 ANN模型参数设置

表3为包含100粒面包籽粒和100粒硬质小麦籽粒视觉特征的数据集和数据子集。根据表1中的数据对子集进行重组，重新生成新的子集来研究相关性，从而检测特征对分类结果的影响。200粒小麦籽粒中180粒用于训练，其余20粒用于模型测试，将数据集作为训练和测试ANN模型的输入参数。

2.2 训练和测试ANN模型

人工神经网络模型建立后，需要对其进行训练和测试，具体流程如图6所示。

图6 人工神经网络模型的训练和测试流程图

这一过程主要由6个步骤组成：算法启动后，首先分别加载表3中的训练和测试数据集。神经网络的训练从一个随机的种子值开始，通过250个周期的加载数据进行训练，这一步中返回循环次数。种子值是一个固定网络权重的因素，用于在每次运行中获得相同的结果。训练后的神经网络用加载的数据计算测试结果。在训练和测试ANN模型后，如果根据如下公式(3)对训练和测试进行评价的MAE分别小于0.001和0.005的目标值，则种子值将被保存，以供随后运行的ANN获得相同的结果。否则，训练和测试步骤将以新的随机种子值重复，最后一步得到训练和测试结果。

表3 100个面包小麦籽粒和100个硬质小麦籽粒的视觉特征

2.3 测试结果及分析

将表3给出的与小麦籽粒视觉特征的相关输入数据，根据训练后的ANN模型进行分类。MAE和准确率的结果如表4所示：

表4 神经网络测试数据的MAE和准确性

结果表明，数据子集1中仅含7个维度特征的人工神经网络模型对小麦籽粒的分类精度最高。另一方面，使用与纹理特征相关的数据子集3获得的准确率最差。值得注意的是，虽然数据子集1的7个特征数量远远低于所有特征数据集的21个特征数量，但数据子集1对小麦籽粒分类的结果更为有效。为了简化ANN模型，分析了卡方法、增益比法、信息增益法、对称不确定性法、CfsSubsetEval等算法，这些算法中，只有CfsSubsetEval给出了最相关的特征，其他算法是根据分类结果的相关性对所有属性进行排序，在分类上获得了理想的结果。因此，选择CfsSubsetEval进行特征选择，具有7个特征的选定数据的ANN结果获得了最准确的结果(表4)。

用于测试的20粒(10粒面包小麦和10粒硬粒小麦)籽粒的7个视觉特征及其测试结果如表5所示，当“2”被指定为面包粒时，“1”被指定为硬粒小麦。由表5可知，10粒面包小麦籽粒的L、L/W、G、B、G/TRGB、均质性和熵参数的平均值分别为67.113 43、1.861 56、0.545 78、0.473 82、0.349 66、0.797 37和6.903 95。10粒硬粒小麦的平均值分别为81.872 9、2.601 01、0.454 82、0.360 39、0.353 68、0.822 67和6.666 36。

表5 神经网络模型对所选数据分类试验结果

面包小麦和硬粒小麦之间的区别证明了根据视觉特征可用于对谷物进行分类。通过神经网络模型对19个籽粒进行了精确的零误差分类，1个籽粒的绝对误差为1.95×10-4。因此，20粒小麦的分类误差为MAE9.8×10-6，可忽略不计。基于计算机视觉的人工神经网络分类器可以准确的实现小麦品种的自动分类。

3 结 论

本研究提出了一种基于计算机视觉的人工神经网络技术，用于将小麦籽粒精确分类为面包小麦或硬粒小麦。为此，设计了基于3层MLP的FFBP-ANN模型。利用IPT获得了100个面包小麦和100个硬粒小麦的12个主要视觉特征。采用人工神经网络对180粒小麦进行训练，并通过20粒小麦数据进行精度测试。从12个主要特征中复制21个视觉特征，使种群数据多样化。此外，为了简化模型的输入，还研究了对结果更有效的视觉特征。利用特征选择算法CfsSubsetEval，建立了具有7个输入的神经网络模型。神经网络模型对所选数据分类试验结果的MAE为9.8×10-6。该方法易于集成到工业中，可以实现对农业生产中不同小麦籽粒的自动分类。