农药喷雾飞行器越界检测算法实现

穆春阳，王晓龙，马　行，张盼盼，陈雪涛

(北方民族大学 信息与通信技术研究所，银川　750021)



农药喷雾飞行器越界检测算法实现

穆春阳，王晓龙，马行，张盼盼，陈雪涛

(北方民族大学 信息与通信技术研究所，银川750021)

摘要：针对当前的农药喷雾飞行器需要人工时刻观察是否飞出农田边界这一现状，提出了一种基于高斯混合模型的农药喷雾飞行器越界自动检测算法。首先，采用混合高斯模型进行目标检测，然后通过计算形状描述符获取其形状特征并进行目标识别定位，最后通过计算目标质心位置结合目标的运动方向判断其是否出界。实验结果表明：该算法能够准确地判断飞行器的越界行为，准确率达到91.31%以上。

关键词：农药喷雾飞行器；越界检测；混合高斯模型；形状特征

0引言

精准农业(Precision Agriculture) 作为当今世界农业发展的新潮流，通过信息技术支持可以实现定位、定时、定量的现代化农事操作技术实施与管理，以最节省的投入得到更高的收入，并以高效利用各类农业资源为目的[1]。在这一应用背景下，一种采用超低空作业，具有质量轻、折叠尺寸小、操作距离远等优点的新型多旋翼飞行器—“农药喷雾飞行器”应运而生。它特别适合于山地丘陵、地块小、间作套种地块多的农作物病虫害防治。但是，这种飞行器一般采用人工遥控控制，且由于农田面积小、多山地，安装GPS定位也不精确，这就需要技术人员时刻观察并判断飞行器是否飞出农田边界，不仅造成人力资源的浪费，而且效率相对较低，易出现误判[2]。尤其当农作物过高，飞行器超低空飞行时，工作人员的视角容易受到限制，这个问题表现得更加突出。

针对上述问题，本文提出一种基于混合高斯模型的农药喷雾飞行器越界检测算法。算法主要包括运动目标检测、目标识别定位、目标飞行方向及越界判定几个部分。实验结果表明：该算法能够很好地识别到飞行器并做出准确的报警提示，在一定程度上减轻了工作人员的体力劳动。

1算法实现

1)运动目标的检测阶段。首先对视频信号进行滤波等预处理，接着进行感兴趣区域(ROI) 建模，最后采用混合高斯背景建模检测运动目标。

2) 目标识别定位阶段。通过提取形状描述符获取飞行器的主要特征，并进行目标识别。

3)目标飞行方向越界判定阶段。通过目标的质心运动轨迹判断飞行器的运动方向及是否越界。

1.1运动目标检测

常见的运动目标检测方法有光流法、相邻帧差分法及背景差分法。由于背景差分法比光流法运算量小，比相邻帧差分法可靠性高，且只要建立可靠的背景就能够提取出准确的目标[3]，因此选择背景差分法进行运动目标的检测。

背景模型的建立是背景差分法的核心，且常用的背景建模方法有中值背景建模、单高斯背景建模、混合高斯背景建模和码书背景建模等[4]。本文的研究对象是野外农田作业的农药喷雾飞行器，要求背景模型具有很强的环境适应能力，可以去除光线和树叶摇摆等噪声的影响。因此，选择混合高斯背景建模法为背景差分法建立可靠的背景模型。图1为运动目标检测算法的设计框图。图1中，目标检测算法可分为两大模块，分别如下。

1.1.1建立ROI模型

建立ROI模板以减少ROI以外其他物体的干扰，同时后期的图像处理工作只针对该区域操作即可，大大提高算法的运算速度和准确率。具体过程如下：①获取背景图像。取视频的第1帧作为背景图像进行预处理，以消除模糊或增强对比度，以有利于后期ROI的提取工作。②ROI提取。由于监控区域的复杂性，适合选用人工标定方法得到ROI关键点坐标。③建立ROI模板。根据得到的关键点坐标建立处理模板，后期的视频图像处理都是基于该模板进行的。图2 (a)为建立的ROI模板，图2 (b) 为模板定位和处理后的感兴趣区域。

图1　运动目标检测算法设计框图

图2　ROI模板和对图像的定位图

1.1.2混合高斯模型[4]背景建模

高斯模型是一种用高斯概率密度函数来量化对象并将其分解为由若干个高斯概率密度函数所组成的模型。基于高斯模型的背景提取建立在像素级，其不同于单高斯模型的是：混合高斯模型将图像的每个像素设计成由若干个(一般为3～5个)高斯模型根据各自的权值加和共同产生的；然后将采集到的图像像素与这几个高斯分布分别进行匹配，以确定哪些像素属于背景。因为监控区域时刻都会有变化(如风吹树动、人员流动或物体的进入等)，使最初得到的背景不再具有可信度，因此还需要不断地对各个高斯分布的权值、均值和方差进行实时更新，从而有助于抗噪(如光照变化、树叶晃动等)，以实现背景模型的更准确表达。

模型表达式如下：

1)背景初始化。选取视频的前N帧图像，用ROI模板标出待处理区域。进行背景初始化时，方差应尽可能的大一些，这样可以融合更多的图像以使得到的数值更接近真实。

2)像素点判为背景的概率计算公式为

(1)

(2)

其中，n表示颜色通道数。

3)参数更新[5-8]。模型参数随着视频帧数的读入而不断变化。每一个新的像素点都要与这k个高斯模型相匹配，如果匹配成功，就加入该模型；匹配失败，就以该像素的值作为均值建立一个新的高斯分布，同时代替k个高斯背景模型里那个最不可能是背景的模型(即ω(k,t)/δ(k,t)最小)。

更新函数为

(3)

其中，a(取值0-1之间)为各个高斯分布权重的更新率；ρ为参数的更新率(ρ越大，参数调整越快)。

4)背景的更新。经过以上步骤的调整，最后将得到的K个高斯分布根据ω(k,t)/δ(k,t)按降序排序，通常取前H个高斯分布作为新的背景。H表达式为

(4)

其中，T表示属于背景高斯分布的权值和占总的权值的最小比例；b是满足T的最合适的高斯分布数。

1.2目标识别定位

运动目标识别定位算法如图3所示。

图3　运动目标识别定位算法

1)形态学滤波。使用7×7模板对二值图像先开后闭运算，既可以消除细小的噪声干扰，又能填充物体内细小的空洞，有利于目标轮廓提取。

2)提取轮廓。系统性地扫描图像，直到遇到连通区域的一个点，以它为起始点，跟踪它的轮廓，标记边界上的像素；当轮廓完整闭合，扫描回到上一个位置，直到再次发现新的成分。

3)滤除无效轮廓。为了简化算法，提高运行速度，可以滤除一些较大和较小区域的周长，公式为

(5)

其中，Lmin和Lmax是预设的两个阈值；L为提取轮廓的周长，1表示保留，0为滤除；outline为输出结果。

4)计算有效轮廓形状。由于要识别的农药喷雾飞行器是新型多旋翼飞行器，形状呈枝状，细度比例(目标的面积与周长之比)较小，因此采用多边形近似算法计算轮廓形状。具体的原理和计算公式可见参考文献[9]。

5)计算质心位置并识别和定位。首先根据几何距求出连通域质心，一幅数字图像f(x,y)的(p+q)阶2-D距定义为

(6)

其中，M和N分别是图像的高和宽；p和q是非零正整数；mpq为(p+q)矩。

1.3运动方向和越界判定

图4中矩形ABCD为一块农田的模拟图，表1为设置的农药喷雾飞行器飞行参数。农药喷雾飞行器的运动方向越界判定分析如下：

1)假设农药喷雾飞行器的飞行轨迹为从农田的CD边界飞入，垂直飞到AB边界再折返，以此类推。由表1的参数可知：摄像头标定的边界应在农田ABCD的内部(至少距边界1m内)，如直线ef和hg所示。

2)当农药喷雾飞行器从摄像头2前飞过，根据运动轨迹可知：飞行方向向左(如图5所示)(即进入农田)，此时不发出警报；当飞行器飞至摄像头1前(即ef线)时，根据运动轨迹判断飞行方向向左(即要飞出边界)，此时发出警报；当飞行器折返后再次飞至线hg时，运动轨迹判断飞行方向向右(即要飞出边界)，此时发出警报。以此类推，直至完成整个农田作业。

图4　农田模拟图

巡航速度/m·s-1飞行高度/m喷洒半径/m飞行器侧面投影/m22111.5

图5　右边界线示意图

在目标识别定位算法中，已得到农药喷雾飞行器在图像中的质心坐标，根据质心的运动轨迹可计算出运动方向。

根据目标的运动方向和质心的位置，即可确定农药喷雾飞行器是否越界。左边界检测的算式为

(7)

2实验结果与数据分析

为了验证本文提出的算法性能，在Ubuntn14.04上基于OpenCV对上述算法进行了验证，测试视频拍摄于农田现场，分辨率为1280×720。图6为在处理全部区域的检测效果图，图像中间的黑线表示农田边界。混合高斯模型处理的图像中明显有一些噪声点如图6(b)所示；经过形态滤波后，这些噪声基本滤除，效果如图6(c)所示 。图7为经ROI模型检测效果，图7(a) 在ROI的基础上去除无效的黑色区边界保留有效矩形的待处理图。对比图6(b)和图7(b)可知：经过ROI处理后可以有效地降低周围场景的影响，一些无效的轮廓可以滤除掉，方便识别和越界检测。

图6　基于全局的检测效果图

图7　基于ROI模型检测效果图

图8是在ROI的基础上提取的效果图，图8(a)是在图7(c) 基础上提取出的边缘轮廓，图8(b)为提取的质心。通过对图8(a)和图8(b) 这两幅图可知：经过滤除无效轮廓算法后，一些无效的轮廓可以很好地滤掉，方便识别和越界检测。

图8　基于ROI的提取效果图

图9是基于ROI处理和全局检测处理两种方法，对一段测试序列的前50帧视频信号进行处理的时间对比图。横轴表示视频的帧数，纵轴表示处理每一帧的运算时间。从图9中可以明显看出：建立ROI模型后的算法处理速度更快。

图9　基于全局和基于ROI检测算法处理时间对比图

为了充分验证算法的越界检测准确度，分别选取了晴朗微风、晴朗中风、阴天微风3种不同的真实场景，设定农药喷雾飞行器单方向越界。方法1为基于ROI检测方法，方法2为基于全局检测方法。测试数据如表2所示，对比图如图10所示。

表2　越界检测准确率数据表

图10　越界检测精确度对比图

3结语

本文提出了一种用于判断农药喷雾飞行器是否越界的自动检测算法，该算法由运动目标检测、目标识别定位、目标运动方向和越界判断3部分组成。通过结合ROI、混合高斯背景模型、形态学滤波等图像处理算法及OpenCV技术实现了农药喷雾飞行器的越界检测，准确率可以达到91.31%以上。实验表明：该方法具有一定的实用性，对今后的大规模推广具有一定的借鉴意义。

在滤除无效轮廓时，需要人工设定一个区域周长筛选阈值，该计算环节有待进一步提高，使农药喷雾飞行器越界检测更加智能化。

参考文献：

[1]胡承键. 加速宁夏农用无人机开发应用促进精准农业发展[J].宁夏农林科技,2014, 55(5): 8-10.

[2]林蔚红,孙雪钢,刘飞,等.我国农用航空植保发展现状和趋势[J].农业装备技术,2014, 40(1): 6-10.

[3]沈秉乾, 武志勇, 贺前华,等. 人体姿势状态判决的跌倒检测方法[J].计算机应用,2014, 34(S1): 223- 227.

[4]冯伟兴,唐墨,贺波.数字图像模式识别技术详解[M]. 北京: 机械工业出版社,2010.

[5]Lee D S, Hull J J, Erol B. A Bayesian framework for Gaussian mixture background modeling[C]// Proceedings of IEEE International Conference on Image Processing. New York, IEEE Press, 2003: 973-976.

[6]李娟,邵春福,杨励雅.基于混合高斯模型的行人检测方法[J].吉林大学学报:工学版,2011,41(1):41-45.

[7]冯华文,龚声蓉,刘纯平.基于改进高斯混合模型的前景检测[J].计算机工程,2011, 37(19):179-182.

[8]GAN Xinsheng, ZHAO Shubin. comparison on background subtraction algorithms for moving target detection[J]. Command Control & Simulation, 2008, 30(3): 45-50.

[9]何莲, 蔡静菊, 张启衡. 多边形近似及形状特征匹配的二维目标检测[J]. 激光与红外, 2011, 41(6): 700-705.

Research on Pesticide Spraying Craft Cross-border Detection Algorithm

Mu Chunyang, Wang Xiaolong, Ma Xing, Zhang Panpan, Chen Xuetao

(Institute of Information and Communication Technology, Beifang University of Nationalities, Yinchuan 750021, China)

Abstract：In view of the reality that people have to supervise whether pesticide spraying aircraft fly out of the boundary of farmland all the time, an algorithm of detecting aircraft cross-border is proposed to solve this problem above. Firstly, the Gaussian mixture model is used for target detection. And then characteristics of shape descriptor are obtained for identifying the targets. Finally, the target centroid and moving direction are combined to determine whether the aircraft was out of the boundary. Results show that this algorithm could make a right judgment for aircraft cross-border actions accurately and quickly, where the accuracy of detection could reach to 91.31%.

Key words：pesticide spraying aircraft; cross-border action detection; Gaussian Mixture Model; shape feature

文章编号：1003-188X(2016)04-0006-05

中图分类号：S494；TP391

文献标识码：A

作者简介：穆春阳(1975 -)，男，黑龙江宁安人，副教授，博士，(E-mail) muchunyang@126.com。通讯作者：王晓龙(1988 -)，男，河北张家口人，硕士研究生，(E-mail) wangxiaolong_98@163.com。

基金项目：国家自然科学基金项目(61162005, 61163002);宁夏自然科学基金项目(NZ14107);机器人技术与系统国家重点实验室开放研究基金项目(SKLRS-2013-MS-05)

收稿日期：2015-03-16