基于电磁振动与卷积神经网络的玉米品质精选装置

权龙哲，王建宇，王 旗，肖云瀚，冯槐区

(东北农业大学 工程学院，黑龙江 哈尔滨 150030)

玉米是我国主要的农作物之一，玉米种子作为最基本的农业生产资料，提高其品质是保证玉米种植业产量的关键[1].因此，控制玉米育种质量、自动检测玉米种子品质对提高玉米生产过程中的自动化水平、玉米单产量以及确保玉米在我国粮食生产中的战略地位具有重要意义[2].利用机器视觉技术[3]可对玉米籽粒特征指标进行定量描述，为实现玉米籽粒的快速有效检测提供有效的解决途径[4].目前，国内外相关领域的学者利用机器视觉技术提取玉米籽粒图像的颜色、几何、纹理等特征参数，结合线性分类器、非线性分类器、神经网络等理论对玉米籽粒的品质鉴定[2,5-7]、品种分类[8-9]、精选与分级装置[6,10-11]进行相对较多研究.虽然上述研究已经取得不错效果，但传统方法特征建模过程繁琐，并且基于电磁振动的玉米籽粒在线自动精选分级装置的研究较为少见.虽然作为机器视觉重要分支的深度学习[12-13]技术在人脸对齐[14]、车牌字符识别[12]、农业领域[15-16]的应用让研究者看到了新的方向，但经典深度学习网络模型对硬件苛刻的要求使其在农业领域的应用难以推广.因此针对上述问题，文中基于电磁振动理论、自动控制原理与深度学习技术提出一种适用于玉米籽粒品质自动精选分级装置，并在试验中取得了良好的识别效果.

1 玉米籽粒精选机械系统搭建

为实现玉米籽粒的精确检测与分选，本研究自制了基于电磁振动的玉米籽粒精选试验平台，如图 1所示.平台基于电磁振动理论、自动控制原理及深度学习技术进行机械传送、分选控制和图像识别系统的设计.传输系统包括玉米粒群落料单元、电磁给料单元；控制系统包括控制单元和分选收集单元；视觉系统包括恒定光强视觉单元.

图1 基于电磁振动的玉米籽粒精选平台

1.1 工作原理

基于电磁振动的玉米籽粒精选平台的工作原理，如图 2所示.辅助喂料箱内的玉米籽粒经过排种器后多数以玉米粒群或少数单个玉米籽粒的形式进入速度差异式电磁振动给料机的传送轨道前端，经由运动速度前慢后快的传送轨道整列与分离后形成单个玉米籽粒流，进入恒定光强视觉系统的图像采集区域.通过恒定光强视觉系统中的CMOS工业相机对玉米籽粒进行图像采集后，将该玉米籽粒图像通过USB数据线传输至计算机进行识别，通过RS232串口把识别结果返回下位机89C52进行分选处理，下位机控制单元根据返回的处理结果，控制电磁铁动作完成玉米籽粒的自动分选.

图2 基于电磁振动的玉米籽粒精选平台的工作原理

1.2 下位机控制单元设计

本研究中整个基于电磁振动的玉米籽粒批量精选平台属于下位机，下位机电源采用24 V开关电源供电.下位机的控制中心由上位计算机USB串口供电和控制.控制器选用STC89系列单片机，其主要配置是11.0592 MHz晶振，芯片型号89C52.步进电机驱动器(TB6600)由开关电源供电、受单片机控制.步进电机(57BYG250D)由驱动器供电和控制，用于控制排种器实现玉米粒群落料.电磁激振器由调压式电磁调节器(SDVC10-S)供电和控制，用于实现玉米粒群分离与籽粒给料.分选收

集单元的分选拨片由电磁铁控制，电磁铁由受单片机控制的继电器控制，继电器由开关电源供电，用于实现玉米籽粒品质的分选.

1.3 恒定光强视觉单元设计

视觉单元选用LCD光源(白光6 000 K，LED灯带2835，欧普照明，中国)；选用CMOS相机(M30B，长沙大影电子科技有限公司，中国)和固定光圈(f 1.6)的变焦(6～60 mm)镜头(0660 MV，长沙大影电子科技有限公司，中国).暗箱由黑色亚光亚克力板组成，如图 1所示.在恒定光强视觉系统的暗箱内以顺光、固定角度对玉米籽粒进行图像采集，拍摄距离为40 mm，镜头视场约为55×41 mm2，获取图像的像素尺寸为640×480，如图 3a所示.使用Matlab软件开发图像预处理、检测算法和在线分选软件.提取图3a中位于两红色矩形框内籽粒的裁剪图见图3b.为去除背景和图像噪点，使用半径为4个像素的圆盘算子对玉米籽粒图像的R，G通道灰度图进行腐蚀膨胀；然后对灰度图进行OTSU分割处理；再使用半径为7个像素的圆盘算子对二值图进行腐蚀膨胀；最后将二值图像合并得到背景去除掩模见图3c.将掩模与裁剪图做差得到预处理结果见图3d.

图3 基于形态学处理的玉米籽粒背景去除

2 玉米籽粒精选检测模型设计

卷积神经网络[14,17](CNN)作为深度学习中应用最广泛的网络模型之一，是一种由多个卷积层、探测层、池化层以及全连接层等网络结构交替组成的人工神经网络.通过对AlexNet，ZFNet，VGG，GoogLeNet，ResNet等图像分类模型和R-CNN，Fast R-CNN，Faster R-CNN等目标检测模型分析[18]，发现虽然这些网络模型可通过相互融合组成新模型的方式，使图像分类和目标检测任务的检测精度在公共数据集或者自制的数据中逐步提高，但是这些网络模型结构复杂、参数量巨大，需高性能工作站支持才可进行训练和测试.因此，现阶段这些网络模型不适合在实际农业领域中进行玉米籽粒品质检测的应用.考虑到玉米籽粒品质精选检测对检测精度和实时性的要求，为实现玉米籽粒品质的有效检测，本研究设计了一种精简、分层次的网络模型，如图 4所示.玉米籽粒精选检测模型基于Faster R-CNN[19]搭建，由2个特征共享的网络结构组成.当整张玉米籽粒图像输入到网络入口后，共享卷积网络部分会对该图像进行卷积、池化处理，得到该玉米籽粒图像的卷积特征图；然后将玉米籽粒特征图传给RPN生成候选区域；最后在ROI池化层后面加上Fast R-CNN对玉米籽粒进行检测与定位.经试验确定本研究玉米品质检测网络模型具体参数配置，如表1所示.

图4 玉米品质检测网络模型

表1 玉米品质检测网络模型具体配置

2.1 RPN网络优化

RPN网络仅仅对区域建议进行目标和背景的概率分类.因为被标记为目标和背景的样本数量和比例，会对检测网络的分类准确性造成影响，所以在网络训练时需要对正负样本的这2个参数进行调整.本研究数据集中的玉米籽粒在整个图像中所占的比例大，因此，为平衡正、负样本的比例设置RPN负样本范围为0到0.3，正样本范围为0.7到1.0.试验结果表明模型检测效果良好.

2.2 训练与测试

通过反向传播和随机梯度下降法(动量值设置为0.9)对整个卷积神经网络进行端到端的训练.整个卷积神经网络在Faster R-CNN网络的基础上进行训练，并且对于不重要的新增的卷积神经网络中的网络层参数使用函数的默认值进行初始化，其余网络自带参数使用网络框架的默认参数进行初始化.本研究采用一种分步训练策略：前两步采用1×10-5的学习率对RPN网络进行迭代训练；然后在接下来的两步网络训练中将学习率缩小至1×10-6，继续进行迭代训练.结果表明该训练策略有利于快速有效地进行卷积神经网络的训练.

3 结果与讨论

3.1 试验环境与评价标准

本研究在Windows系统环境下Matlab版代码进行测试，具体的配置为Windows10 64位，Matlab R2017b，Intel 酷睿i7-6700HQ，NVIDIA GeForce GTX 960M(显存2 GB)、系统内存8 GB.由于本研究属于目标检测范畴，因此，采用AP，mAP[19]来评估模型整体性能，采用准确率P，召回率R，误报率FPR，加权调和平均值F1来评估模型的分类性能[15,20].参考文献[6]研究，结合文中试验样机的特殊性，采用检测准确率(判断正确的籽粒数/总籽粒数×100%)、有效分选率(分选正确的优良籽粒数/执行分选动作的籽粒数×100%)作为系统样机的评价标准.

3.2 玉米籽粒精选检测的样本采集和数据集

本研究以郑单958玉米籽粒为研究对象并设计了玉米籽粒样本采集试验，包括玉米穗分选和玉米籽粒分选.穗选：在农场上晾晒玉米果穗时，将作为正样本的玉米果穗与混杂、成熟不好、病虫、霉烂等作为负样本玉米果穗分开后晒干脱粒.结合前人的研究[5-6]对本研究的玉米籽粒进行粒选和分类：在上述玉米果穗中选出颜色饱满、大小适中、粒形均匀的玉米籽粒作为优良玉米籽粒样本；剩余大小不均、虫蚀、病斑、破碎、生霉、热损伤等玉米籽粒作为剔除籽粒样本，如图 5所示.在暗箱内进行样本采集，时间为2017年11月，经1.3节预处理后可得4种形态的单颗玉米籽粒：种尖指朝下(图5a)和种尖指朝上(图5b)的籽粒胚面、种尖指朝下(图5c)和种尖指朝上(图5d)的籽粒胚乳面.通过以重心为核心的简洁算法对它进行姿态调整后，统一裁剪为图5b，d两种像素为352×352的图像.随后标记图像中玉米籽粒的类别以及位置：优良玉米籽粒胚面与胚乳面、剔除籽粒胚面与胚乳面4大类(剔除籽粒胚面简称剔胚，剔除籽粒胚乳面简称剔胚乳，优良玉米籽粒胚面简称优胚，优良玉米籽粒胚乳面简称优胚乳，共2 212幅图像，其中优良玉米籽粒各626幅，剔除籽粒各480幅).位置标记示例如图 5所示，优良玉米籽粒集中的优良玉米籽粒(图5e)；剔除籽粒集中的大小不均籽粒(图5f)、虫蚀籽粒(图5g)、破损籽粒(图5h)、发霉籽粒(图5i)、热损伤籽粒(图5j).

图5 玉米籽粒数据集及部分样本示例

3.3 模型整体训练效果评估

为验证本研究网络模型的性能，随机选取玉米籽粒数据集80%的数据用于训练，剩余20%数据用于验证.使用AP，mAP对4种网络模型整体性能进行参数评估，剔胚、剔胚乳、优胚和优胚乳的AP分别为76.03%，86.43%,92.05%和97.60%，模型的mAP为88.03%，对优良籽粒的mAP为94.83%，模型大小仅为5.83 MB.对比分析模型检测4类玉米籽粒的P-R曲线，如图 6所示.结果表明：玉米品质检测网络模型稳定，对优良玉米籽粒有更好的识别效果.

图6 检测模型的P-R曲线

3.4 分类检测试验

使用P，R，FPR以及F1值对模型多分类检测性能进行的定量分析和评价，结果如表2所示，由表2可知，模型总体分类检测性能良好.对优良玉米籽粒的识别能力更强，P，R，FPR以及F1值分别为98.75%，94.84%，3.78%和96.85%.对剔除籽粒识别效果较差的原因是模型在检测时出现较多剔除籽粒类内错误，可能原因是：① 由于在剔除籽粒数据集的建立时，考虑到模型不需要识别出不同剔除籽粒确切类型(如大小不均、虫蚀、破损等)，因此将它们归为一类.这些不同籽粒所具有的特征导致剔除籽粒的特征变得复杂、互有交叉，使模型对剔除籽粒识别效果呈现出不稳定或较差的原因.② 有些属于被剔除的玉米籽粒处于类间的特殊位置，胚乳面和胚面特征之间相似度极大，即使按分类标准来进行判断也不容易确定其类别.但是这种错误不会影响模型对优良玉米籽粒的检测精度.

表2 模型分类性能试验结果 %

3.5 检测速度分析

检测速度对玉米品质检测网络模型的部署有极大的影响.在有限的计算机硬件条件下，文中又训练了4种不同网络入口的模型，并对9种不同像素图像(32×32至352×352像素)进行了速度测试，如表3所示.随着模型网络入口与图像尺寸差距减小，模型检测速度逐渐提升，最快可达42.74 幅· s-1.

表3 检测速度试验结果 幅· s-1

注：模型-32是指32×32像素的模型，以此类推；空白表示程序错误，模型无法运行.

3.6 样机试验

试制的玉米籽粒品质精选试验样机，如图 7所示.当配重质量为0.3 kg、安装倾角为0°、系统振幅为0.36 mm时，机械系统的整列分离性能最好，试验样机视觉检测和电磁分选的精度最高.启动样机对优良玉米籽粒和剔除籽粒(各500粒)进行样机检测试验.结果显示：玉米籽粒品质精选试样样机对优良玉米籽粒的实际检测准确率为96.50%，与传统方法[6]相比有0.5%的提升；实际有效分选率为97.51%.

图7 基于电磁振动的玉米籽粒精选样机试验

4 结 论

1) 设计了基于电磁振动、自动控制的玉米籽粒精选平台，可实现玉米籽群的自动分离与籽粒品质的分选.

2) 设计了基于卷积神经网络的玉米品质精选检测模型，可实现玉米籽粒品质的自动检测，模型大小为5.83 MB，对计算机硬件要求低；模型的mAP为88.03%，总体分类检测性能良好；对优良玉米籽粒的识别能力强，P，R，FPR，F1值分别为98.75%，94.84%，3.78%和96.85%.

3) 设计并试制了玉米品质精选样机，样机对玉米籽粒的实际检测准确率为96.50%，与传统方法相比有0.5%的提升，实际有效分选率为97.51%.