大田经济作物性状研究中的图像分割技术应用

陈 浩，任奕林，欧阳家乐，陈佃贞，王浩杰，徐 洋

（华中农业大学工学院/农业农村部长江中下游农业装备重点实验室，湖北 武汉 430070）

不同图像分割方法在各类大田经济作物性状研究中有所应用，传统分割方法中，基于区域的分割方法在大田经济作物中应用较少，大多采用基于阈值和边缘检测的方法。结合特定理论工具的图像分割算法中，基于主动轮廓模型的分割方法较少用于大田经济作物研究。大田经济作物在我国占有重要地位。目前，我国已形成大豆、棉花、油菜、花生等大田经济作物优质高效生产技术体系。以优质良种和农业机械为载体，形成油菜免耕栽培、大豆机械化“深、窄、密”栽培和春花生机播覆膜高产栽培等多种技术模式。随着机械化程度和数字化农业的不断加强，从播种、生长、收获到加工各个环节，大田经济作物的性状至关重要，直接影响其生产效率和产品质量。大田经济作物的性状研究内容复杂多样，传统研究主要依靠人工手段，以感官检验为主，检验结果易受人为因素影响，准确度不高，而且效率低下，一定程度上限制了大田经济作物的生产。计算机、图像处理和模式识别等技术和理论的飞速发展，为实现大田经济作物性状研究提供了基础。数字图像处理技术作为一种新的数据采集和测量技术，在作物病虫害叶片检测［1-8］、根系形态［9-10］、农作物苗期生长监测［10-11］、油菜大豆花生的籽粒形态参数识别［12］等方面展现出高效、客观、可重复和成本低等优势，是较为重要的研究手段和技术工具，显示出广阔的应用前景。本文综合分析了近年来不断改进的图像分割方法，按照传统分割方法和结合特定工具的图像分割算法两大类，分析列举了各类算法在油菜、棉花、大豆和花生等经济作物性状研究中的应用；最后对图像分割技术在大田经济作物中的应用存在问题进行分析并提出展望，旨在为作物生产和加工提供指导。

1 大田经济作物图像处理技术

基于图像处理技术的大田经济作物性状研究属于多学科交叉研究，涉及植物学、图像处理技术、模式识别和人工智能等。国内外学者利用这些技术和理论对大田经济作物性状作了一些研究，研究对象包括各类经济作物的根、茎、叶、花及整体，研究目的也从单纯的作物种类分类发展到病虫害识别等实际应用。虽然研究对象和研究目的的不同，导致具体采用的方法有所不同，但基于图像处理技术的作物性状研究步骤均包括作物图像采集、图像预处理、作物特征提取与优化、模式识别与解释以及结果输出等模块（图1）。

图1 图像分析系统的构成Fig.1 Structure of image analysis system

数字图像分割是数字图像分析中的一项关键技术，将图像空间按照一定要求分割成“有意义”的区域，根据图像本身的特征（如灰度值、空间纹理、几何形状、RGB 值等）将图像划分成若干个互不相交的区域，在同一块区域内使得这些特征呈现出一致性或相似性，而在不同区域间呈现出特别明显的不同，在一幅图像中将目标从背景中分离出来。通常为进一步对图像进行表达与描述，识别与解释等处理的图像中级处理环节，其分割的精确度与准确度直接影响之后处理的有效性，因此在图像分析系统中具有十分重要的意义［13］。

从20 世纪70 年代起，图像分割问题开始引起许多学者关注。截至目前，对图像分割的一般性规律已达成基本共识，逐渐形成各种图像分割的方法，已提出上千种图像分割的方法，并且随着各种算法研究的进行，图像分割的精度也越来越高。但是图像分割技术至今仍然没有通用理论，人们大多根据实际需要采用不同分割方法。

图像分割技术可以分为传统分割方法和结合特定理论工具的图像分割算法。传统的图像分割技术多为基于图像局部特征的分割方法，是根据图像局部区域中像元的特征来实现图像分割，主要有基于阈值、基于区域和基于边缘检测等分割方法。结合特定理论工具的图像分割算法，这些特定的理论工具通常包括小波分析变换、遗传算法、主动轮廓模型、聚类、深度学习等。

2 传统图像分割方法

2.1 基于阈值的分割方法

阈值分割方法常在目标和背景灰度有明显对比的图像时应用且分割效果明显、计算简单、效率较高。俞浩等［14］采用二值图像阈值分割算法首先识别油菜角果轮廓进而来定位油菜角果蚜虫的侵染部位；吴兰兰等［15］采用基于植被组合指数COM 的阈值分割算法与其他5 种植被指数算法相比较，选择出合适的植被指数来分割大田油菜图像；翟瑞芳等［16］选取45 幅不同天气状况、不同发育阶段的油菜图像作为样本，确定了基于高斯HI 颜色算法的阈值，并将该算法与CIVE、EXG-EXR、EXG 和VEG 算法相比较，结果表明该算法具有更优的误割率和相对面积误差，能够稳定地分割出大田油菜图像；刘金亚等［9］提出基于色彩与高斯模型确定阈值来分割大田油菜图像的根系部位；彭碧野等［17］采用OSTU 分割方法得到去除髓腔区域的灰度图，从而得到最终的表皮的二值图像，分析油菜茎秆微观结构；赵芸等［1］采用先对图像作中值滤波再用阈值分割的方法监测油菜早期病虫害；周康韵等［18］采用基于RGB2 色彩模式的特征提取算法将油菜叶片准确分离；王昌等［19］采用OSTU 分割方法获得仅包含油菜和杂草区域的二值化图像；李锦卫等［12］采用OSTU 阈值法和双峰阈值法作为研究油菜种子信息的主要图像分割方法；秦淑芬等［20］采用基于彩色空间模型的阈值分割算法研究甘蓝型油菜叶片图像虫害程度的检测方法。石玉秋等［21］采用OSTU 算法确定阈值将花生从图像背景中分离出来；陈煜等［2］提出一种基于改进的超绿算法的阈值分割方法，即先用自适应中值滤波去除花生图像中的噪声，然后再用超绿算法，该方法能够有效地还原花生病斑的原始数。为适应不同的分割环境和分割精度，需要对传统阈值法进行改进，自适应阈值法和最佳熵法是其中改进比较成功的算法，其在大田经济作物的图像分割中应用也比较广泛。刘双喜等［22］采用自适应阈值法得到棉花的二值化图像进而提取出棉花中的异性纤维；姚庆昌等［23］采用自适应阈值法完成棉花图像，中异性纤维的分割；张豪等［24］采用最佳熵法确定分割阈值，再进行去噪、填充等处理，将棉花从复杂背景中提取出来。杨洋等［11］采用基于K-均值聚类的图像自适应颜色阈值法，实现将花生苗图像从土壤背景中准确提取出来。在实际应用中，阈值分割一般都会将两种或两种以上的方法结合起来确定阈值，这也成为今后阈值分割的趋势之一［25］。李方一等［26］采用双峰法和基于超绿变换的全阈值法分割油菜叶片，从而进行油菜叶片氮素营养检测；习智华等［3］采用基于改进型超红特征和面积阈值的分割算法，实现棉花害螨病斑图像的分割；熊馨等［27］采用全局阈值法和边缘阈值法相结合的方法提取出棉花中的异性纤维，从而提高棉花中异性纤维的识别精度。

综上可以看出，阈值分割方法的关键在于阈值选择。若将智能遗传算法应用在阀值筛选上，选取能最优分割图像的阀值，这可能是基于阀值分割的图像分割法的发展趋势。

2.2 基于边缘检测的分割方法

边缘检测是图像处理与识别中最基础、最重要的内容之一，也是实现图像分割、特征提取和图像理解的基础，常用的微分算子有Sobel 算子、Roberts 算子、拉普拉斯算子、Prewitt 算子、Kirsch 算子和Robinson 算子等［28］。在各种边缘检测算子中，Sobel 算子可对边缘方向进行准确定位；Roberts 算子的水平、垂直两个方向的边缘检测效果优于斜边缘检测，对边缘定位的准确率较高，对复杂背景噪声更敏感；拉普拉斯算子对阶跃突变边缘具有较好的定位精度，但是由于没有考虑方向因素，因此不能很好地获得边缘方向，而且对噪声较敏感；Canny 算子会使图像平滑，而且边缘轮廓定位较准确［29］。

基于边缘检测的分割方法在大田经济作物研究中应用十分广泛。张闪闪等［30］比较了阈值法和基于Log 算法的边缘检测方法，发现基于Canny 算法的边缘检测方法能更有效检测棉花中的异性纤维。李锦卫等［12］研究发现采用Canny算子分割出的油菜种子区域最大。金守峰等［31］和鲍义东等［32］采用Canny 边缘检测算法来检测棉花中的异性纤维。Revathi 等［4］采用Canny 和Sobel 算子来识别棉花叶片边缘，将提取出的边缘特征加以分类从而识别病斑，最后向农户提供害虫种类以帮助提高产量。ZHANG 等［5］通过Canny 边缘检测算法来识别棉花叶片，从而提取出病变的棉花叶片进行棉虫的防治。于红彬等［33］采用基于Canny 的杂质图像处理算法有效抑制了杂质图像虚边缘的产生，实现了棉花表面杂质的精准检测与识别，不同的边缘检测方法对同一幅图像所产生的边缘提取效果不尽相同，都有各自的优缺点和使用范围。近年来也提出了许多新的边缘检测算法。张馨等［34］通过改进的数学形态学的边缘检测方法得到棉花异性纤维灰度梯度图从而实现灰度梯度图的分割。

3 结合特定理论工具的图像分割算法

3.1 基于小波分析变换的图像分割方法

小波变换是一种多尺度信号分析方法，它克服了傅里叶变换固定分辨率的弱点，图像经过小波变换后，每次分解产生4 个子图像，分别表示低通滤波图像、水平的高频子图像、垂直方向的高频子图像以及对角方向的高频子图像［35］。由于小波变换能够在不同尺度上对信号进行分析，可以在图像分割上应用。二维小波变换可以检测二元函数的局部突变，因此可作为图像边缘检测工具。

近年来，基于小波分析变换的图像分割方法在大田经济作物研究中应用也越来越广泛。刘坤等［36］为了采棉机器人能够快速进行棉桃的边缘检测，提出一种快速多尺度边缘检测算法来提取棉桃边缘，经过3 级小波变换，能够快速检测出棉桃边缘。该法克服了直接从灰度图像中提取所带来的算法复杂、耗时长的缺点，而且对噪声的敏感度比一般的边缘检测算法低，提高了采棉机器人的识别精度和速度。小波变换在做逆变换之前，可根据需要改变分量的大小，从而增强图像，为图像进一步分割提供方便。李寒等［37］在棉花叶片边缘的检测过程中，对用mean-shift 算法平滑后的图像进行提升小波变换，使图像灰度增强，最后用边缘检测算子进行分割，该算法能有效减少非边缘噪声，并且能够有效提取相互重叠叶片的边缘。师红宇等［38］对棉花中的异性纤维检测中，先利用小波的多分辨率特性差分，提高异性纤维低频、高频信息与棉花低频、高频信息的对比度，然后利用Otsu 算法对各差分图像分割出局部异性纤维，然后再对各分割子图进行融合检测出棉花中的异性纤维，该方法有准确率较高。

3.2 基于遗传算法的图像分割方法

遗传算法是一种随机搜索和优化的方法，通过模拟大自然的生物进化过程，在种群不断进化过程中逐步淘汰不适应个体，而迭代中的种群进行不断交叉、重组、变异又能产生新的个体［39］。其算法框架如图2 所示，该算法简单、通用，鲁棒性强，适于并行处理。

图2 遗传算法框架Fig.2 Genetic algorithm framework

当前遗传算法在大田经济作物图像分割中的一个研究热点，是结合一些启发算法进行改进或者结合其他的算法充分发挥遗传算法并行机制的潜力。当前大部分研究都将遗传算法与神经网络算法结合来进行图像分割。祁广云等［6］利用改进后的遗传算法训练 BP 神经网络实现了大豆叶斑病病斑区域的提取，试验结果表明，应用该方法识别病斑区域的准确率可达 90%。金宝石［40］和沈维政等［7］都在大豆病叶的病斑问题上，通过引入遗传算法去优化神经网络的权值和阈值，提高了网络训练速度。通过对大豆灰斑病病斑图像分割的实验表明，该方法速度快且稳定性好,精度高且鲁棒性好。王星等［41］在YCbCr 颜色空间中利用遗传算法（GA）优化BP 算法，可以实现全局优化，对强光、阴影等复杂环境下的棉花图像进行有效分割，分割准确率达到91.9%。

3.3 基于主动轮廓模型的图像分割方法

主动轮廓模型是当前图像分割算法研究领域的热点，在分割边缘模糊、强度抑制、含有噪声等复杂图像时，展示出一定优越性［42］，其算法流程如图3 所示。按照能量函数构造方式的不同，可以将主动轮廓模型分为基于边缘和基于区域两类，同时也有人提出基于边缘和区域相结合的主动轮廓模型。经典的边缘主动轮廓模型有Snake 模型，基于图像的梯度信息来判断目标的边缘，当图像背景复杂或目标边缘模糊时，无法准确定位目标边缘，造成检测结果不准确。而基于区域的主动轮廓模型有CV 模型、LBF 模型、Mumford-shah 模型和LIF 模型等。刘晨等［43］提出一种新的活动轮廓模型图像分割方法，对椒盐噪声和高斯噪声图像进行试验，结果表明该方法比CV 模型、LBF 模型和LIF 模型更具有优势，具有更好的抗噪性能。基于主动轮廓模型的分割方法主要应用于医学图像处理，在大田经济作物研究中应用较少。

图3 主动轮廓算法流程Fig.3 Active contour algorithm process

3.4 基于聚类的图像分割方法

基于聚类的图像分割算法应用十分广泛，其核心聚类思想与其他分割方法相融合。聚类法从灰度等像素基本特征出发，按照一定规则对图像进行区域划分，判断像素所属的区域，加以标记、分割［44］。最常用的聚类方法有Mean-shift 聚类、模糊C 均值聚类（FCM）和K 均值聚类（K-means）。K-means 算法分类流程如图4 所示。

图4 K-means 算法分类流程Fig.4 K-means algorithm classification process

聚类算法在大田经济作物研究中应用甚广。胡维炜等［8］在使用K-均值聚类算法分割大豆叶片时，发现能实现背景与叶片的分类时聚类数为2，当聚类数为3 时能有效分割健康叶片与病斑区域。杨洋等［11］采用 K-均值聚类算法对花生苗提取算子进行聚类，有效解决了气候环境对图像识别精度的影响，能够有效地把花生苗从土壤中提取出来。吴文华［10］用K-means 聚类的图像分割算法将油菜植株较为完整准确地分割出来。

随着算法的进一步研究与更复杂的分割情况，传统的聚类算法已经不能满足分割要求，改进的聚类算法和将聚类算法与其他算法结合起来的研究得到进一步发展。任磊［45］将K-means 聚类算法与HSV 模型结合起来对棉花图像进行分割，该算法原理简单，能够将棉花主体较好地分割出来，但是对边缘的分割效果还有待加强。时颢等［46］在YcbCr 颜色空间下对棉花图片进行粒子群与K 均值混合聚类分割，能够有效克服光照、阴影带来的影响，实现了全局解搜索能力与收敛速度的平衡，其分割稳定性、分割精度优于传统PSO 聚类的分割方法，可以将各种复杂环境下的棉花图像准确有效地分割。李凯等［47］提出将K均值聚类算法与PSO 优化算法混合的分割方法来对棉花叶片图像进行分割。结果表明此方法在RGB 颜色空间模式下比传统的K-means 算法分割精度更高，能够对在复杂背景与天气条件下的棉花叶片图像实现准确分割。张新良等［48］将K 均值聚类算法与标记分水岭算法结合起来对棉花图像进行分割，能够有效解决棉花目标的过分割问题，显著提高了识别率。

3.5 基于深度学习的图像分割方法

深度学习的本质是通过构建多隐层的模型和海量训练数据（可为无标签数据），学习更有用的特征，从而提升分类或预测的准确性，“深度模型”是手段，“特征学习”是目的。近年来，基于深度学习的图像分割方法也是许多学者研究的热门。

3.5.1 基于特征编码分割方法 在特征提取领域中VGGnet 和ResNet 有各自的优缺点。VGG Net 是一种深度卷积神经网络，该模型是2014 年ILSVRC 竞赛的第二名。到目前为止，VGG Net 还是经常被用来提取图像特征。VGGNet 的结构非常简洁，但是VGGNet 的参数量达140 M 左右，需要更多的储存空间。随着深度学习的应用，各种深度学习模型随之出现，ResNet 成为深度学习发展历程中一个重要的转折点。ResNet 由微软研究院的Kaiming He 等4 名华人提出［49］，ResNet在语义分割领域是最受欢迎且运用最广泛的神经网络。

在对不同形态的棉花识别过程中，王见等［50］提出了基于迁移模型（AlexNet、GoogleNet 和ResNet）的特征提取与极限学习机相结合的方法对棉花进行识别，具有较高准确率。陶震宇等［51］通过比较VGG-16 模型和ResNet-50 模型在花生主要害虫图像样本集识别率上的表现，对表现更好的ResNet-50 网络模型进行改进。结果表明改进后的ResNet-50 模型在花生害虫图像识别领域具有较高的识别水平。

3.5.2 基于上采样/反卷积的分割方法 比较著名的卷积神经网络分割模型有FCN、SegNet、R-CNN 等。卷积神经网络在进行采样的时候会丢失部分细节信息，其目的是得到更具特征的价值，但是这个过程是不可逆的，有的时候会导致后面进行操作的时候图像的分辨率太低、出现细节丢失等问题。

刘立波等［52］用一种改进的全卷积网络（FCN）算法对棉田冠层图像进行分割，在背景复杂、光照条件复杂等环境下可以准确分割出冠层目标区域，鲁棒性较好。黄云等［53］提出基于SegNet 网络来实现花生种植区域的分类。经测试，检测准确率为89.20%，检测召回率为79.22%。吴文华［10］提出了一种基于FCN 模型的油菜苗期主根分割算法，并将其与 K-means 聚类算法、Otsu 算法作比较，发现其分割的像素精度（PA）与交互比（IoU）均优于其他两种算法。樊湘鹏等［54］通过选取预训练的VGG16 结构作为Faster R-CNN 模型的特征提取网络，并采用Dropout 算法避免过拟合，以实现对杂草目标的检测。与较流行的YOLO 和SSD 算法相比，优化后的Faster R-CNN 算法有一定优势，对棉花苗期杂草识别率达到88.67%且满足实时性要求。熊俊涛等［55］利用Mask R-CNN基础特征网络提取大豆叶片图像的特征图，然后使用区域候选网络生成建议框，通过ROI Align层使每个ROI 生成固定尺寸特征图，然后对每个ROI 预测类别、位置和对应叶片的掩码，并利用VGG16 模型进行缺素分类。该方法对复杂背景下大豆叶片缺素分类有较好的检测效果。张小青等［56］在传统 Faster R-CNN 的基础上构建残差单元，使用 ResNet50 作为新的特征提取网络来对Faster R-CNN 进行优化，以实现对复杂田间环境下玉米出苗识别和计数。

虽然FCN 对图像进行了像素级的分类，从而解决了一定级别的图像分割问题，可以接受任意尺寸的输入图像，可以保留下原始输入图像中的空间信息，但是得到的结果由于上采样的原因比较模糊和平滑，对图像中的细节不敏感，而且对各个像素分别进行分类，没有充分考虑像素与像素的关系，缺乏空间一致性。而Faster R-CNN 的原始ROI pooling 两次取整会带来精度的丢失，因此改变这个定位池化或者特征尺度输出的问题需要改进。同时在RPN 产生Proposal 时为了避免重叠的候选框，以分类得分为标准，使用了NMS 进行后处理。事实上，该方法对于遮挡的目标很不友好，即有可能是两个目标的Proposal 很可能会被过滤掉一个造成漏检，Faster R-CNN 检测流程如图5 所示。

图5 Faster R-CNN 检测流程Fig.5 Faster R-CNN detection process

3.5.3 基于MRF 的分割方法 Markov Random Field（Markov Random Field，MRF）模型［57］是基于无向概率图模型的图像分割方法，以图像特征的统计学和先验知识为理论基础，将空间关系和随机变量进行关联，在图像分割中利用后验极大化准则获取图像标号场的最佳后验分布以实现图像分割。MRF 模型的独特之处在于它能够表达图像像素间的空间信息，因此成为人们的研究热点。将MRF 应用于多种场景，也产生出多种改进的算法。陈康等［58］提出一种结合马尔可夫随机场（MRF）的自适应加权FCM 改进算法，用于分割DTI 图像，可以得到边缘清晰且细节信息保留良好的分割结果。韩子硕等［59］提出了基于改进模糊C 均值聚类（fuzzy C-means clustering，FCM）与马尔可夫随机场（Markov random field，MRF）的分割算法，能够快速有效地分割多类SAR 图像。

MRF 在大田经济作物的图像分割的研究中应用较多。李凯等［60］提出一种基于马尔可夫随机场最优化模型的联合分割算法，来实现自然光条件下棉花叶片的自动、普适和精确分割。龙金辉等［61］提出融合马尔可夫随机场与量子粒子群聚类的图像分割算法来对棉花图像进行分割，并将其与Otsu 算法、模糊聚类图像分割算法、量子粒子群图像分割算法和马尔可夫随机场图像分割算法进行效果比较，结果发现该算法处理的棉花图像具有更高的峰值信噪比和分割精度。龙金辉［62］提出融合同态滤波与马尔可夫随机场的图像分割算法，对棉花图像进行分割，通过与OTSU 算法、FCM 算法和MRF 算法比较，发现在分割精度、峰值信噪比和运行时间上均具有明显优势。

4 展望

图像分割算法的研究已有几十年历史，借助各种理论至今已提出了上千种各种类型的分割算法，在大田经济作物的研究中也发挥着重要的作用。尽管人们在图像分割方面做了许多研究工作，但由于尚无通用分割理论，因此现已提出的分割算法大都针对具体问题，并没有一种适合于所有图像的通用分割算法。而大田经济作物的研究由于多方面的原因，在进行图像分割处理时更为复杂，影响了图像分割的稳定性、精确性和鲁棒性：一是周围环境的复杂性和多样性。在大田环境下，一方面需要把把大田经济作物从杂草背景中分割出来；另一方面，作物叶片和茎秆之间相互交叉覆盖，也给图像分割带来了一定的难度。二是复杂多变的天气情况。大田经济作物在田间图像的获取受到自然天气情况的影响，尤其是在需要有颜色特征的算法中影响更为严重，增加了图像分割的难度。三是作物生长变化的实时性。大田经济作物生长期间，图像数据一直处于变化过程中，影响了图像分割试验的可重复性和精度。四是农作物固有的生物多样性。“世界上没有两片完全相同的树叶”，生物的复杂多样性影响了图像分割的稳定性和精确性。以上种种因素，限制了图像分割技术在大田经济作物性状研究中的应用。

目前，深度学习、神经网络等技术手段发展迅速且日益成熟，结合一些经典的图像分割思想，如阈值分割、样本聚类、区域生长等，有利于提高图像分割的稳定性、精确性和鲁棒性，减少时间的消耗。同时，无人平台、目标识别、自动驾驶等研究领域的关注度仍在不断升高，对图像分割等基本处理技术的要求也随之提高，在未来很长一段时间内，如何快速、自主、准确地按照要求分割图像，减少人工消耗仍是图像处理研究的热点之一。可以预见，图像分割方法正朝着更快速、更精确的方向发展，通过各种新理论和新技术结合将不断取得突破和进展。