基于无人机数字图像的棉花出苗信息提取
2022-01-25朱松松陈至坤
朱松松,陈至坤,张 怡
(华北理工大学 电气工程学院,河北 唐山 063210)
0 引 言
棉田缺苗断垄常常影响棉花的产量和品质,因此准确、快速地获取棉花出苗信息对于早期决策起着至关重要的作用。目前关于棉田出苗情况的识别以人的主观判断为主,耗时费力,而且受限于观察范围与个人经验,生产者对田间出苗情况判别的准确性和精确性较低,这将不利于及时采取有效的补救措施。
随着遥感技术的发展,无人机遥感平台作为一种新的信息获取手段也已经应用于作物的覆盖度监测、种植信息和产量信息获取等精准农业中。无人机平台具有效率高、成本低、操作灵活、更适合复杂农田环境等特点,不仅克服了人工获取影像数据的困难,还可减少人体接触对农作物的损害,为大范围农情信息获取提供了新的技术手段。文献[5]通过HIS(Hue⁃Intensity⁃Saturation)阈值法识别出棉苗数量、壮苗数量以及出苗率,但计算出苗率时棉田的棉花播种数为棉田折算平均密度,不是图像中识别的应出苗数目。文献[6]利用腐蚀膨胀等深度优化处理技术计算出玉米的出苗数量,同时获得了玉米的出苗率,但播种出苗数目是通过人工调查获得,不能满足通过图像直接获得出苗率信息的要求。文献[7]在棉花出苗期自动检测时,通过霍夫变换算法检测幼苗位置是否排列成若干直线来判断出苗期是否到达,因此不能准确获取图像中的出苗信息。文献[9]结合颜色特征分析和Otsu自适应阈值法实现棉花目标的识别和分割,构建基于SVM的棉株计数模型,实现了棉苗数量和出苗率的检测,但棉花播种数为在研究区中设置样方点并进行地面数据调查获得,不能满足对实时性的要求。
针对棉田的无人机图像出苗信息提取的研究较少,本文通过无人机获取棉花出苗期图像,使用图像处理技术对无人机低空数字图像进行分割与分析,提取棉田苗行、棉花播种数和实际出苗数,为精准农业作物生产管理及时准确地获取信息提供数据支撑。
1 系统设计及出苗信息提取方法
1.1 无人机视觉系统搭建
机器视觉是用机器代替人眼做测量和判断,机器视觉系统一般包括图像采集系统、图像处理系统、执行装置三部分。图像采集系统应用成像装置(CMOS和CCD两种)捕捉目标的形状、颜色等信息,并将目标图像回传至计算机。图像处理系统对图像进行特征提取、目标识别等。将图像采集设备搭载到无人机上,地面控制系统通过数传模块发送命令到无人机中控系统,中控系统将命令分发到飞控系统和机载相机。飞控系统控制无人机的平稳飞行和定点悬停并返回无人机飞行状态,机载相机进行定点拍摄并将图像通过图传模块发送给地面控制系统。地面控制系统对无人机进行航点规划并完成图像处理等任务。该系统采集图像大小均为4 000 pixel×3 000 pixel。无人机视觉系统结构如图1所示。
图1 无人机视觉系统结构
1.2 数据采集区介绍
棉田铺设地膜为黑色,膜宽为80 cm,棉田为1膜2行种植方式,株距约为33 cm,膜距大约40 cm,相邻地膜左侧边界距离大约100 cm,采用先铺地膜后在膜上开孔播种的方式,2020年4月24日播种。图像拍摄于2020年5月1日上午,天气晴朗,地面控制系统规划出5个采样点进行拍摄,设定飞行高度为5 m。
1.3 出苗信息提取方法研究
图像的分割方法大致分为四类,即阈值分割法、边缘提取分割算法、分水岭分割算法和一些其他的分割算法。阈值分割法是一种简单、易于理解、容易操作的方法,特别是图像中目标和背景存在很大差异时,能够达到较好的分割效果。
棉花幼苗呈现嫩绿色,与周围环境中的土壤以及地膜颜色差距较大,超绿指数ExG(超绿算法)一般用来增强图像中绿色部分,抑制其他颜色成分。应用超绿算法对图像进行灰度化处理,图像中棉苗区域的亮度值明显大于周围区域,手动选择固定阈值为0.2,实现图像的二值化分割。根据分割出区域的形状,计算棉苗所在二值区域质心,质心数即为分割出棉苗数。棉田的背景复杂,二值图中存在一些细小干扰。形态学操作一般作用于二值化图像,连接相邻的元素或分离成独立的元素。采用长度为3的方形结构元素对图像进行开运算,消除细小干扰,弥合相近分割区域间的缝隙。
棉苗种植在地膜上,因此通过检测不同垄的地膜区域实现棉苗区域的划分,进而进行苗行检测。对原图像进行去相关拉伸(Decorrelation Stretch),然后删除各干扰点实现图像的预处理。通过K均值(K⁃means)算法实现对图像中地膜的分割,如图2a)所示,白色部分为地膜。地膜二值图像在垂直方向上进行投影,地膜所在区域在灰度投影图中形成具有一定宽度的凸峰,地膜的垄数与灰度投影统计图中波峰数目一致,如图2b)所示。对灰度投影统计曲线进行滤波,检测波峰数即地膜垄数。
将图像平均分为上下两部分,分别进行灰度投影统计并计算边界点,然后通过上下边界点求得地膜左右边界直线。图2c)为地膜区域对棉苗质心点的规划,每组直线之间区域为地膜规划区,从而将不同行的棉苗划分到不同的区域。根据棉苗都在地膜区域的先验知识,地膜规划区之外的点均为误检测点,以此对棉苗数量进行修正。
图2 质心规划
根据地膜规划区左右边界线,进一步将每垄地膜上的棉苗分行。在中心线检测方面,主要检测方法有最小二乘法(LSM)、Hough变换法等。Hough变换方法对噪声不敏感,在缺株情况下也能较准确地检测出作物行,具有较强的抗干扰性和鲁棒性,但其计算量较大,比较耗时。最小二乘法的优点是检测速度快、精度高,但是只能对点集拟合出一条直线,在进行最小二乘拟合直线时需先对点集进行分组预处理。
最小二乘法做直线拟合,就是要找到一条直线,让这个点与直线的残差平方和最小。设直线方程为=+,因此残差为y -=y -⋅x -,因此最小二乘的目标函数为:
根据式(1)可以观察出,对于单变量(和)是一个开口向上的抛物线,对式(1)求偏导,导数为0的点是极值点,即抛物线的最小值,从而求得和。对每组质心点进行最小二乘法直线拟合,得到直线如图3所示。
图3 苗行检测
棉花播种株穴距离固定,每行中已出棉苗最小距离为株穴之间距离,且株穴之间距离小于地膜宽度,因此可以通过每行质心点距离得到株距。每一行棉苗数据中存在不符合分布规律的杂草,计算每一行中棉苗之间的距离,并从每组中选取三个最小值作为最小值数据集,观察最小值数据集极差较大,对最小值数据集排序,前后各去掉1 3数据并对中间1 3数据求取均值作为棉苗株距。
通过每行质心点拟合出直线,实现作物的行中心线检测。直线与图像的上边界和下边界分别相交,可以得到直线长度。图中每行棉花播种数(行棉花播种数)、质心点的数目、图像中播种棉苗数和出苗率计算如下:
2 出苗信息提取结果与分析
棉田中设置了5个采样点~,对采样点区域进行数据调查,数据如表1所示,其中P代表人工统计,I代表图像检测,错检数为杂草数目。通过地膜二值图垂直投影图,可以准确得到图像中地膜的垄数和棉苗的行数,误差为0。准确地规划出地膜区域,是将棉苗进行分组的基础。
表1 出苗信息统计
人工统计棉苗时,棉苗破土即认定为已出苗,在对图像进行超绿灰度化和膨胀腐蚀时,黄色弱苗以及刚破土叶片还未伸展棉苗等不能识别,出苗率误差达到15.02%。图像拍摄时,棉田刚开始进入出苗期,棉田内棉苗子叶还未全部展开,当棉苗子叶展开,颜色由嫩绿色转为深绿色时,出苗率误差将会进一步降低。
通过膨胀和腐蚀、图像的差分处理、地膜区域规划等操作,删除了大部分杂草的误检点,出苗错检率最低可达到0.6%,错检点均为地膜上的杂草。可以根据棉苗株距固定的先验知识,进一步去检测地膜规划区中不符合规律的杂草,实现棉苗的精确检测。
将检测到的棉苗质心点根据地膜规划进行分组,并根据已出棉苗分布的规律,求得棉苗之间的距离和图像中播种棉苗数,播种数误差最高为5%。虽然棉苗的株距固定,但棉苗并不是按照拟合直线的起点开始等差分布,每行棉苗都一定概率比计算棉苗少1株,从而产生累计误差。
3 结 论
本文对棉花出苗期无人机低空数字图像进行研究,通过K均值聚类对图像中地膜进行分割,通过超绿灰度化和手动阈值分割算法,实现对图像中棉苗的分割,通过地膜规划区域去除区域外杂草,对棉苗进行分组并应用最小二乘法进行苗行检测,从而获得棉苗行数、出苗数、棉花播种数、出苗率等棉花出苗信息。该研究可以在较短时间内快速、准确地获取棉花出苗信息,为棉田精细化管理提供技术支持。主要结论如下:
1)通过对地膜垂直投影图分析,可以精确得到图像中棉苗行数。
2)利用地膜规划区域对垄间杂草的去除,可以更准确地获得出苗数目。
3)先对棉苗进行分组,再利用最小二乘法进行苗行检测,可以得到精确的苗行直线和棉花播种数。
农田应用背景复杂,对不同的拍摄高度、角度等其他因素的考虑,并将这些研究应用到真实场景中是下一步研究的方向。