基于CNN算法的缺秧与漂秧图像识别技术研究

赵德安 赵璜晔

摘 要：插秧机是现代农业向自动化方向发展过程中使用的重要工具之一，由于受到地理环境和设备等因素影响，插秧机在工作中难免会出现缺秧及漂秧等情况。传统对缺秧和漂秧的识别主要依靠经验与人工作业，效率低下、准确度不高，因此提出基于深度卷积神经网络（CNN）算法的缺秧与漂秧图像识别技术。首先计算缺秧与漂秧数据图像样本的质心位置，根据质心间距离是否在合理范围内识别缺秧，然后提取秧苗样本特征建立样本库，对采集的秧苗图像数据进行分析处理，再与样本库进行对比，以此判断插秧机在工作过程中是否存在缺秧和漂秧情况。通过对仿真算例进行测试，验证了算法的有效性，其准确率达到90%以上。该方法对于农业自动化的发展具有重要意义，对于相关实践能起到一定的推动作用。

关键词：深度学习;卷积神经网络;图像识别;插秧机

DOI：10. 11907/rjdk. 192500 开放科学（资源服务）标识码（OSID）：

中图分类号：TP317.4 文献标识码：A 文章编号：1672-7800（2020）008-0230-04

Abstract： Transplanter is an important means in modern agricultural automation development. Due to the influence of geographical environment and equipment，  the rice transplanter will inevitably suffer from lack of seedlings and floating seedlings. Traditional recognition of missing and floating seedlings mainly relies on experience and manual work， which is inefficient and inaccurate. Therefore， this paper proposes a recognition technology of missing and floating seedlings image based on deep convolution neural network （CNN） algorithm. Firstly， the centroid position of missing and floating seedlings data image samples are calculated to identify missing seedlings according to whether the distance between centroids is within a reasonable range， and then the characteristics of seedling samples are extracted to establish a sample database， and the collected image data are analyzed and processed. The sample databases are compared to determine whether the transplanter is lack of seedlings and floating seedlings in the process of work. This paper tests the simulation examples to verify the effectiveness of the algorithm， and its accuracy reaches more than 90%， which proves that this method is of great significance to the development of agricultural automation， and can play a certain role in promoting the relevant practice.

Key Words： deep learning; convolution neural network; image recognition; transplanter

0 引言

近年来，随着科技的快速发展，农业生产技术作为保障人类生存最基本的环节，受到世界各国的高度重视，大力发展农业一直是我国的重要课题。如今，各种智能化农业设备被广泛应用在生产活动中，自动化播种、插秧、收割等技术日益成熟，农业现代化、智能化与精准化已成为当前农业技术研究的热点问题[1]。

在过去较长的一段历史时间，我国农业种植主要依赖于人工操作，但该模式需要耗费大量人力资源，同时效率低下。插秧机的出现极大地提高了种植效率，减少了劳动人员数量，提高了生产效益。但由于我国地理地形因素以及机器运行过程中出现的各种不可控因素，导致插秧机在工作过程中，使本该插入秧苗的土地上出现秧苗缺失的现象，称为缺秧。另外由于耕地地形深浅不一，导致秧苗没有插入的现象称为漂秧。这两种情况都会导致资源浪费以及土地利用不充分，解决以上问题对于插秧机的大规模推广与应用具有重要意义。

值得指出的是，缺秧和漂秧现象是因不可控因素导致的，因此很难从根本上抑制其发生，但如何在插秧机工作过程中有效识别出漂秧和缺秧现象是可以实现的，这也是本文研究的主要目的。

截至目前，我國针对缺秧和漂秧问题还未能提出系统的智能化解决方案，大多还是依靠人工识别或借助经验进行操作，因此效率很低。相比之下，采用基于智能化识别及图像处理等技术的收集与分析方法，效率将会大大提高[2-3]。目前随着计算机技术的快速发展，图像识别技术在交通、侦查及安全等领域取得了极大进展[4-7]，但在农业方面应用的还较少。因此，本文以插秧机采集的图像为对象，提出一种基于深度卷积神经网络算法的缺秧与漂秧图像识别技术，利用深度学习技术对采集到的秧苗图像数据进行分析与特征提取，并建立缺秧、漂秧数据库。通过将采集的数据图像特征与数据库进行对比，从而进行识别，为缺秧与漂秧图像识别研究提供了理论依据和实践参考。

1 CNN原理

1.1 深度学习定义

深度学习（Deep Learning，DL）是机器学习（Machine Learning，ML）领域一个新的研究方向，其被引入机器学习，使其更接近最初的目标——人工智能（Artificial Intelligence，AI）。深度学习是一类模式分析方法的统称，就具体研究内容而言，主要涉及3类方法[8]：

（1）基于卷积运算的神经网络系统，即卷积神经网络（Convolutional Neural Network，CNN） [8]。

（2）基于多层神经元的自编码神经网络，包括自编码（ Auto encoder）与近年来受到广泛关注的稀疏编码两类（Sparse Coding） [9]。

（3）以多层自编码神经网络方式进行预训练，进而结合鉴别信息，进一步优化神经网络权值的深度置信网络（DBN）[10]。

经过多层分析与处理，逐渐将初始 “低层”特征进一步转化为“高层”特征表示后，采用“简单模型”就能实现复杂的分类等。因而可以把深度学习理解为进行“特征学习”（Feature Learning）或“表示学习”（Representation Learning）[11]。

1.2 深度卷积神经网络模型

深度学习模型主要分为卷积神经网络（CNN）、深度置信网络（DBN）和堆栈自编码网络（Stacked Auto-encoder Network）模型3种。

卷积神经网络（CNN）模型是受到视觉系统结构启发而产生的。基于神经元之间的局部连接和分层组织图像转换，将有相同参数的神经元应用于前一层神经网络的不同位置，得到一种平移不变神经网络结构形式。随着研究的发展，采用误差梯度设计并训练卷积神经网络，在一些模式识别任务上取得了更好性能[12]。

深度置信网络（DBN）模型可以解释为贝叶斯概率生成模型，由多层随机隐变量组成，上面的两层进行无向对称连接，下面的层得到来自上一层自顶向下的有向连接，最底层单元状态为可见输入数据向量。在无监督预训练过程中，DBN编码输入到顶层RBM后，解码顶层状态到最底层单元，实现输入的重构。RBM作为DBN的结构单元，与每一层DBN共享参数[13-14]。

堆栈自编码网络模型结构与DBN类似，由若干结构单元堆栈组成，不同之处在于其结构单元为自编码模型（ Autoencoder）而不是RBM。自编码模型是一个两层神经网络，第一层称为编码层，第二层称为解码层。

1.3 CNN训练过程

Hinton提出在非监督数据上建立多层神经网络的一个有效方法，分为两步：首先逐层构建单层神经元;当训练完所有层后，使用wake-sleep算法进行调优[15-17]。

自下上升的非监督学习就是从底层开始，一层一层地往顶层训练。采用无标定数据（有标定数据也可）分层训练各层参数，这一步可看作是一个无监督训练过程，也是与传统神经网络区别最大的部分，可以看作特征学习过程。自顶向下的监督学习就是通过带标签的数据训练，误差自顶向下传输，对网络进行微调。基于第一步得到的各层参数进一步优调整个多层模型参数，这一步是一个有监督训练过程。

在CNN算法中一般采用正则化防止过度拟合，本文采用[Lp]正则化，定义损失函数如下：

其中，[u]表示特征图转换系数，当[Zl]与[Zl-1]不同时，转换系数对尺寸更小的特征图进行转换，确保矩阵元素运算成立。

CNN可以使用与其它深度学习算法类似的加速技术提升运行效率，包括量化（quantization）、迁移学习（transfer learning）等[18-20]。

2 基于CNN的缺秧与漂秧识别算法

基于CNN算法的原理和特性，再结合本文需要自动识别缺秧和漂秧的项目任务，提出一种基于CNN算法的缺秧与漂秧图像识别技术。该技术主要由3部分构成，每一部分都密不可分，其中最主要的内容是深度学习研究方法，也是本文研究的核心内容。卷积神经网络是深度学习的代表算法之一，基于卷积神经网络的缺秧与漂秧识别算法过程如图1所示。

2.1 秧苗缺秧识别

（1）首先对采集到的图片进行像素过滤，将除绿色外的像素都设为黑，构建掩膜。

（2）寻找每株秧苗的轮廓像素位置，按从大到小进行排序。

（3）计算每株秧苗质心坐标，并按列计算相近两株秧苗间的距离，设定阈值判断其中间是否缺秧。

2.2 秧苗漂秧识别

（1）基于上述步骤（2），以覆盖最大秧苗的正方形裁剪图形中所有秧苗并进行存储，对每株秧苗贴标签，漂秧贴为0，正常秧苗贴为1，以此构建秧苗漂秧样本库。

（2）将存储的样本划分为训练样本集与测试样本集，比例为0.8：0.2。

（3）构建CNN网络对秧苗训练样本库进行训练，采用一层卷积层、一层池化层、一层过滤层。

（4）采用上述训练好的网络模型对秧苗测试样本进行模型验证，并给出相应准确率。

3 仿真測试

3.1 仿真环境

本文首先采集图像样本，之后对图像样本作初步加工，总共获取1000张秧苗样本图，并在工作站的Python平台上进行程序编译与加工，然后对图像进行识别与检测处理，构建特征样本库进行分析验证。经过多次比照与加工，得出最精确的实验数据。

3.2 结果分析

本文研究主要针对缺秧和漂秧两种情况，缺秧识别分析仿真结果如图2-图5所示。

其中图2是采样图像中的一张，图3-图5表示识别出来的缺秧情况，通过CNN算法可以准确识别出缺秧情况。同样对漂秧图像进行识别处理，得到结果如表1所示。

多分类问题类似于二分类问题，能够通过混淆矩阵对模型进行性能评估。采用准确率（Precision）指标测试分类精确度：

准确率是预测为正的样本数与所有实际为正的样本数之比。

4 结语

本文提出一种基于CNN算法的缺秧与漂秧图像识别技术，旨在弥补计算机技术在农业领域的研究空白，同时利用计算机图像识别技术替代人工作业，通过CNN算法对采集到的秧苗图像数据进行分析与特征提取，并建立缺秧、漂秧数据库。在识别过程中，通过将采集的数据图像特征与数据库进行对比以进行判定。仿真实验结果表明，该算法判断结果较为准确，为缺秧与漂秧图像识别研究提供了理论依据和实践参考。

本文研究主要实现了对缺秧、漂秧的判定，而如何对缺秧、漂秧事件的发生进行预测将是未来的研究方向。

参考文献：

[1] 马菁泽，甘诗润，魏霖静. 人工智能在农业领域的应用现状与未来趋势[J]. 软件导刊，2019，18（10）： 8-11.

[2] 徐建國，肖海峰. 基于大数据的智慧农业物联网系统实现[J]. 软件导刊，2018，17（8）：129-132.

[3] 王琴，米丹，周丽. 基于CNN的人脸识别课堂考勤系统[J]. 现代计算机，2019（25）：88-91.

[4] 张琦，张荣，梅陈彬. 基于深度学习的图像识别技术研究综述[J]. 河北省科学院学报，2019，36（3）：28-36.

[5] 杨斌，钟金英. 卷积神经网络的研究进展综述[J]. 南华大学学报（自然科学版），2016，30（3）：66-72.

[6] 张旭，王斌. CNN在农田杂草图像识别的可行性探讨[J]. 电脑知识与技术 2018，14（22）：187-189.

[7] 杨晋，丹杨，涛苗腾. 基于卷积神经网络的草莓叶部白粉病病害识别[J]. 江苏农业学报，2018，34（3）： 527-532.

[8] 刘方园，王水花，张煜东. 卷积神经网络架构及其应用的研究[J]. 新型工业化，2017，7（11）：40-51.

[9] 付鹏飞，许斌. 全卷积神经网络仿真与迁移学习[J]. 软件，2019，40（5）： 216-221.

[10] 陈瑞森. 基于数字CNN及数学形态学的二值图像处理系统[J]. 智能计算机与应用，2015，5（4）：19-21，25.

[11] 周壮，李盛阳，张康. 基于CNN和农作物光谱纹理特征进行作物分布制图[J]. 遥感技术与应用 2019，34（4）：694-703.

[12] 曾向阳. 智能水中目标识别[M]. 北京：国防工业出版社，2016.

[13] 周志华. 机器学习[M]. 北京：清华大学出版社，2015.

[14] 马慧彬. 基于机器学习的乳腺图像辅助诊断算法研究[M]. 长沙：湖南师范大学出版社，2016.

[15] 董海鹰. 智能控制理论及应用[M]. 北京：中国铁道出版社，2016.

[16] GUEAIEB W，MIAH M S. An intelligent mobile robot navigation technique using RFID technology[J]. IEEE Transactions on Instrumentation and Measurement，2008， 57（9）：1908-1917.

[17] 矫德余. 基于嵌入式系统的智能巡检机器人研制[D]. 北京： 中国石油大学，2010.

[18] 何挺，杨向东，陈恳. 机器人双目视觉目标跟踪研究[J]. 机械设计与制造，2008（3）：161-163.

[19] 龙慧，胡利，周宴宇. 迭代卡尔曼滤波在机器人定位中的应用[J]. 现代电子技术，2010，33（22）：123-125.

[20] 杨长辉，王卓，熊龙烨. 基于Mask R-CNN的复杂背景下柑橘树枝干识别与重建[J]. 农业机械学报 2019，50（8）：22-30，69.

（责任编辑：黄 健）