基于微调型VGG16的登海605玉米品种鉴别方法研究

王 佳, 马 睿, 赵 威, 郭宏杰, 马德新

(青岛农业大学,青岛 266109)

我国是玉米生产大国,总产量居世界第二,玉米是畜牧养殖的重要饲料来源,也是各行各业的不可或缺的原料之一,假冒伪劣玉米种子会扰乱市场,造成产量损失与品质下降,所以玉米种子的真伪鉴别在玉米生产、加工和销售过程中起着至关重要的作用。传统的种子鉴别方法主要有人工检测法、化学鉴定法等,但是存在主观性强、制备过程复杂、专业性强、不能在线实时检测等问题,在生产生活中难以推广[1-3]。因此设计一种客观准确、省时省力、高效无损的玉米种子真伪鉴别方法是十分必要的。

深度学习方法是一种特征表示方法,它能将原数据通过简单的多种非线性模型组合转变为更高层次的抽象形式,其核心是各层特征,通过通用的学习过程自主获得[4-7]。深度学习最早由Hinton等[8]在2006年提出,解决了大规模多层神经网络在训练速度慢的难题,奠定了深度学习的基础;Krizhevsky等[9]提出的学习模型AlexNet成功夺冠,并将错误率降低到16%。2015年,Lecun等[10]明确了深度学习的定义,指出深度学习是一种复杂的特征表示学习,具有多个级别的表示。

相对于传统机器学习,深度学习能更好地提取农业领域所采集图像和结构化数据的各种特征,逐渐受到越来越多国内外专家学者的青睐,相应研究成果不断涌现,因此深度学习在农业中被广泛应用,主要方向有果实识别、杂草识别等,是施肥控制、目标检测、路线规划、机械作业避障等农业生产活动的基础[11-14]。籽粒的品种识别是籽粒品质自动化检测中的一个重要方面,国外的学者们开展基于深度学习的玉米籽粒品种识别研究较早,Altunta[15]采用卷积神经网络和迁移学习的方法识别单倍体和二倍体玉米种子,根据实验结果,VGG-19明显优于其他方法;Tu等[16]利用VGG16网络进行迁移学习,然后对玉米品种“京科968”鉴定,结果表明,识别准确率高达98%;徐岩等[17]为了解决传统算法中人工提取特征的缺陷,以 3个玉米品种为研究对象,使用Keras学习框架搭建网络模型,包括1个输入层、5个连续的卷积池化结构、3个全连接层和1个输出层,结果表明:平均识别率达到95.49%;汪勇[18]选取5个品种的玉米种子为研究对象,通过对玉米种子图像的采集、灰度化、中值滤波、阈值分割和形态学处理,提取了玉米种子的轮廓点数、面积、周长、圆形度、长短轴、直径、紧凑度和偏心率8个特征参数,结果表明,5个品种玉米种子的识别正确率分别为92%、90%、92%、94%、94%,具有较高的识别正确率;冯晓等[19]基于MobileNetV2和迁移学习构建玉米籽粒图像品种识别模型,针对已有研究中多以玉米籽粒单面识别为主,分析对比玉米籽粒单、双面特征建模及识别性能。结果表明,玉米籽粒双面特征建模的双面识别准确率达99.83%,优于单面特征建模识别以及胚面和非胚面图像分别建模后双面识别;王佳等[20]选用不同产地登海605玉米种子440粒,其他品种480粒,采集玉米种子胚面和胚乳面制作数据集,通过图像处理技术对图像进行预处理,并按照7∶2∶1的比例将数据集分为训练集、验证集和测试集,分别使用共5种网络模型利用迁移学习对3类数据集进行分类测试,结果表明,5种网络模型在双面数据集的平均识别准确率最高,测试识别准确率为99.05%,ResNet网络在3类数据集中的分类效果最佳,在双面测试集上为99.91%。相关研究表明基于深度学习的种子真伪鉴别方法具有方便快捷、客观无损、应用范围广等优点。

研究利用卷积神经网络和深度学习相结合的方法,建立胚面、胚乳、双面混合3类数据集,构建登海605玉米品种真伪鉴别模型,对迁移学习的VGG16模型进行微调,从ImageNet获得不同比例的权重范围,选择出准确率高且训练成本低的学习策略,节省网络训练时间,提升网络性能。

1 材料与方法

1.1 图像采集及预处理

玉米种子样本分为“登海605”和“非登海605”两类,其中“登海605”种子440粒,“非登海605”种子6个品种共640粒,详细品种名称、数量及产地见表1。

表1 实验材料

使用黑色植绒布为拍摄背景并随机摆放玉米种子,在自然光照条件下采用佳能80D型数码相机在室内拍摄,拍摄距离固定,采集到的原始图像如图1所示。

图1 原始采集图像

为提高玉米种子识别的准确率,采用单粒鉴别对玉米种子图像进行分类识别,使用数字图像处理技术,将单粒玉米种子分割出来。利用Python及Opencv对多目标图像进行区域分割,分割方法为首先对彩色图像阈值分割和二值化,利用图像中要提取的目标区域与其背景在灰度特性上的差异,从数字图像中提取出目标玉米种子;再采用双边滤波加填充进行保边去噪,利用数学形态学处理方法及腐蚀膨胀对玉米图像边缘进行修正,通过轮廓检测算法提取出每个玉米种子的外部形态轮廓;最后通过标志出的玉米种子轮廓,确定种子最小外接矩形,将单粒玉米种子从多粒玉米种子图像中分割出来。图像处理过程如图2所示。

图2 单粒玉米种子提取过程

1.2 建模数据集方案设计

建立胚面、胚乳及双面混合3类数据集。随机选取每类玉米种子图像中的70%作为训练集、20%作为验证集、10%作为测试集,详细情况如表2所示。

表2 数据集建模方案

针对小样本泛化能力不足的问题,在训练前增加图像数量可以提高训练结果的准确率,所以对训练集图像进行随机旋转、水平移动、垂直移动、错切、放大、水平翻转6种变换,提高模型的准确性和鲁棒性,增加模型的可靠性。

1.3 模型网络结构

VGG16网络模型由13个卷积层和3个全连接层组成共16层,与其他网络结构不同,VGG16网络模型通过采用连续的3×3的卷积核代替较大的5×5,7×7,11×11的卷积核,2个 3×3 的卷积核叠加形成的感受野,效果与1个5×5的卷积核的感受野相同,利用3个叠加就等同于1个7×7的效果,在保持感受野相同的条件下,使用3个3×3的卷积就使用了3个非线性激活函数,这可以增加非线性表达能力,从而提供更复杂的模式学习。同时3个3×3的卷积核堆叠参数量比1个7×7的卷积核参数链还要少,既增加了网络层数又减少了参数量,这说明使用更小的卷积核,并增加网络模型的深度,可增加模型的复杂度,获得更多不同类型的特征,改善网络模型的识别精确度

1.4 迁移学习方式

迁移学习是通过将一个训练好的神经网络初始化另一个训练任务的方法,能够降低直接对目标域从头开始学习的高成本,从而提高模型的训练速度、节省硬件资源,解决数据集样本过小等问题。迁移学习需要保持模型中卷积层的结构不变,将训练好的权重载入卷积层;设计适合新任务的全连接层,用新任务的全连接层取代原来的全连接层,与卷积层构成新任务的训练模型。利用迁移学习与微调(Fine-Tuning FT,见图3)相结合的方法,从ImageNet获得不同权重范围、全程参与训练并调整参数,实现更好的网络性能。

图3 微调迁移学习算法流程

1.5 实验环境及模型参数配置

实验基于TensorFlow平台,采用Keras深度学习框架,使用Jupyter搭建模型,实验超参数见表3。

表3 参数配置表

2 结果与分析

2.1 不同策略下VGG16模型的分类识别性能分析

为了分析不同学习策略下VGG16在登海605品种鉴别中的效果,采用微调定义了4种不同的训练策略并在不同数据集上进行训练,从ImageNet获得的权重范围,即不同学习策略需要微调的层所占百分比,分别为25%、50%、75%、100%。采用直接迁移学习(Transfer Learning,TL)训练整个网络。

胚面、胚乳面、双面混合数据集在不同训练策略下获得的训练时间、测试集准确率、训练集平均准确率、验证集平均准确率和模型量大小如表4所示。在胚面数据集和双面混合数据集上,FT75%策略下的VGG16模型每轮平均训练时间最短,分别为20.01 s和41.91 s,在胚乳数据集上训练时间最短的为FT50%策略;FT75%策略在3类数据集上的测试结果均为100%,FT50%策略在胚面数据集和双面混合数据的测试结果为100%,FT25%策略和TL只在胚面数据集上测试准确率达到100%,FT100%策略在3类数据集上的训练结果均低于其他FT策略。

表4 不同FT策略的VGG16分类性能

2.2 不同策略下VGG16模型的准确性分析

准确率箱线图可以描述不同训练策略下数据中位数和数据的离散程度,如图4所示,在胚面、胚乳面、双面混合数据集的训练过程中,FT100%策略下中位数低于其他策略,数据的离散程度高于其他策略;TL策略下中位数和离散程度与FT75%策略下的VGG16模型接近。机器学习中,学习成本是影响作物品种鉴别的重要因素,相比较于其他学习策略,考虑到VGG16模型在FT75%策略下学习成本(训练时间)更低,且FT75%策略下分类结果的准确率较高,在对登海605玉米品种进行鉴别时优选FT75%策略。

图4 验证集准确率箱线图

2.3 全连接层神经元连接个数对FT75%-VGG16模型的性能影响分析

全连接层在整个卷积神经网络中起到“分类器”的作用,起到将学到的“分布式特征表示”映射到样本标记空间的作用[21]。在训练过程中,随机减少一部分神经元的训练,能够使网络整体参数量减少,从而节省计算量选定最优FT75%学习策略下的VGG16模型作为基准模型,保持其他参数不变,选择种不同神经元数量,分别为4 096、2 048、1 024、512、256,在双面混合数据集上进行训练测试,迭代次数为40,分析学习率对VGG16网络的稳定性和精确性的影响。

神经元数量为4 096、2 048、1 024、512、256在验证集上的平均准确率分别为97.57%、97.70%、97.59%、97.45%、97.70%,对比数据发现,降低全连接层神经元连接个对基准网络准确率不会产生较大影响,但是减少神经元连接个数能够降低基准模型的参数量,降低模型的复杂度。同时发现,当神经元连接数量为2 048时,基准网络的准确率曲线和损失值曲线最为平滑,稳定性最强,因此我们在对登海605玉米品种鉴别是可以选择全连接层神经元数量为2 048。

3 结论

采用机器学习与深度学习相结合的方法,建立了基于迁移学习的微调型VGG16登海605真伪鉴别模型,并用多个指标来评价模型的性能。基于迁移学习的VGG16模型在FT75%策略下取得了最优效果,在3类数据集上的测试结果均为100%,同时发现全连接层神经元数量为2 048时,网络模型最为稳定,若利用迁移学习对登海605玉米品种进行鉴别可优选FT75%-2048策略。

利用深度学习与卷积神经网络相结合的方法,可以对玉米种子进行无损、高效的鉴别,为构建基于卷积神经网络的作物种子真伪鉴别模型提供参考,以期加速种质资源保护、作物表型采集以及科学育种进程,促进农业领域智能化发展。相比于传统方法,这种方法可以后期可以对模型进行不断优化,形成能够鉴别多种作物种子的在线识别系统,对提高作物种业的质量具有重要意义。