基于四旋翼飞行器的光流法动态目标检测

王 卉，李丽霞，刘慧洁，侯欣明，年佳琪

(沈阳工程学院 a.新能源学院；b.自动化学院，辽宁 沈阳110136)

基于四旋翼飞行器的光流法动态目标检测

王 卉a，李丽霞b，刘慧洁b，侯欣明b，年佳琪b

(沈阳工程学院 a.新能源学院；b.自动化学院，辽宁 沈阳110136)

针对四旋翼飞行器避障算法中对于运动的目标检测完整性不够，准确性及鲁棒性不高的问题，提出了一种基于金字塔Lucas Kanade光流的单目视觉避障算法，提高了光流检测到的运动目标的完整性和鲁棒性。通过引入图像动态模型建立光流约束条件，克服了因为亮度改变引起的约束方程不成立问题。实验结果表明算法在飞行器低速飞行且遮挡和亮度变化条件下的跟踪效果良好，并且显著减少了匹配搜索的时间，节省了飞行器的飞行时间。

四旋翼飞行器；动态背景补偿；目标检测；Lucas Kanade光流

四旋翼飞行器具有体积小、轻便、效率高、功能多样化等优点，被广泛的应用在军事、农业、勘探、测量、生活等多个研究领域。针对四旋翼飞行器避障算法中运动目标检测的结果完整性不够，鲁棒性及准确性不高的问题提出了一种基于金字塔LK光流法避障算法。光流法不但可以得到目标的位置信息，而且可以检测到被检测目标的运动方向等信息。通过获得运动目标的位置、速度、运动轨迹的信息，可以预估计出目标的运动轨迹。再通过计算飞行器的运动速度以及轨迹，估算出能否规避障碍目标。

1 四旋翼飞行器结构及工作原理

1.1 四旋翼飞行器结构

四旋翼飞行器的动力学模型如图1所示。

图1 四旋翼飞行器的动力学模型

四旋翼飞行器以机架为主干，4个旋翼分别固定在匀称分布的4个悬臂上，各个螺旋桨通过动态平衡调整处理，降低飞行器起飞后螺旋桨因高速旋转所导致的震动对主控制板上的姿态传感器的影响。四翼飞行器中4个旋翼的同时作用共同产生起飞、降落、悬停、俯仰、横滚和偏航等各种飞行动作。

1.2 四旋翼飞行器避障工作原理

飞行器安装的超声波测距模块，将捕捉到的距离信息，传输给飞行器的控制模块，通过计算后得出相应的控制量，以保证飞行器能够合理避开障碍物。

由于超声波在传播过程中会产生回波窜绕现象,温度对超声波在空气中传播速率也有较大的影响,并且超声波在传播过程中存在衰减等现象，这些干扰因素导致超声波在测量运动目标中存在一定的误差。因此，这里采用一种基于金字塔LK改进的单目视觉避障方法，并列出了数学推导过程。

2 金字塔LK光流法

基于光流算法的最大优点是能够适用于光流摄像机移动的场合，并且可以很好的处理运动中物体的重叠、互相遮蔽的情况。同时，光流算法不需要提前对图像进行处理或抽取部分特征，而是直接对图像本身进行处理，即可以从图像序列中得到光流。当微小型四旋冀飞行机器人在空中进行飞行动作时，其光流摄像头获得的图像会在整体上体现出相应的运动趋势，图像中的每一个像素点都会存在一定的运动规律。

E(x,y,t)=E(x+Δx,y+Δy,t+Δt)

(1)

当该点的光流亮度发生变化时，将移动后的像素点的亮度用Taylor级数展开，可得：

(2)

忽略其二阶导数无穷小，当Δt→0时，有：

(3)

式中,w=(u,v),上式即为基本的光流约束条件方程，其几何解释如图2所示。并且令

(4)

式(4)表示图像中的像素点灰度沿x，y，t方向上各自的梯度，可将上式改写成：

Exu+Eyv+Et=0

(5)

因式中有u和v两个未知量，却只有一个约束方程，因此仅用一个像素点是不能够确定光流的。这种不确定性的问题就是常说的孔径问题，如图3所示。针对式(5)中u与v的线性关系，即u-v构成了一个二维空间，所以满足(Ex,Ey)g(u,v)=-Et的点p(u,v)都在该u-v直线上，同时u-v直线还与图像的梯度(Ex,Ey)相垂直，即可定义灰度轮廓的法向方向分量为vm=sn，其中n与s分别定义为法向分量的方向和模：

图2 光流约束方程的几何解释

图3 孔径问题

(6)

运用LK算法的前提是假设在像素点附近的领域内图像的光照亮度为不变，并通过最小二乘法来计算出像素点在附近邻域内的光流方程。结合附近其它像素提供的光流信息，LK算法可以解决光流方程的不确定性。由于算法只需要像素点附近小范围的光流信息，因此对于噪声的影响对其不是特别明显。LK算法假设图像的运动很小，以一个像素点为中心，周围附近的图像的光照是连续的。这样光流方程即在像素点附近的窗口内成立。将图像在x，y方向上的图像光流运动速度定为(Vx,Vy)，并且必须满足以下方程组

Ix(q1)Vx+Iy(q1)=-It(q1)

Ix(q2)Vx+Iy(q2)=-It(q2)

⋮

Ix(qn)Vx+Iy(qn)=-It(qn)

(7)

式中，q1,q2，…,qn是在窗口内的像素点；Ix(qi),Iy(qi),It(qi)是图像中的像点在x,y方向和时间上的偏导数。方程组可以写成矩阵的形式，Av=b，其中

(8)

(9)

(10)

LK用最小二乘原理求方程组的解，

ATAv=ATb或者v=(ATA)ATb可以求解出光流方程：

(11)

(12)

(13)

(14)

(15)

从匹配误差的式子中可以得出，当匹配误差相对很小的时候，窗口变化的大小对于特征点的追踪是可行的。假设在这一层上的光流dL和变换矩阵AL已经得到计算结果，将所得结果传递给下一层，计算得出下一层的假设初值：

gL-1=2(gL+GLdL)
GL-1=GLAL

(16)

将式(16)中的{gL-1,GL-1}作为初始值，并且重新循环上边的步骤，一直到第一层，计算得出光流和仿射映射矩阵{d,A}。设顶层时的初始值为：

(17)

(18)

根据以上，计算出空间梯度矩阵：

光流覆盖v←2v，计算后一帧图像中对应像素点的灰度J(x)=JL(Ax+v)，并计算出两帧图像间相同位置的灰度值之差ΔI(x)=I(x)-J(x)，再推导两帧图像间的误差向量：

(20)

最后针对仿射LK光流并覆盖跟踪结果

(21)

(22)

图4 分层分解图像分析

融合光流的避障算法由障碍物判断和危险区域判断两部分组成。通过计算检测区域内的融合光流，判断前方是否有障碍物。然后，根据金字塔LK光流计算得出的长度平均值与前期采样的阈值进行对比，来以此判断飞行器是否已经迈入危险区域，是否需要避障。如果已经迈入危险区域，则输出一个控制信号，作为PID控制的输入参数，从而调整飞行器使飞行器做出相应的规避动作。

融合光流的基本原理：假设场景中含有运动的物体，将左上部分的真实光流与左下部分的平移光流叠加到同一图像上，即形成融合光流，如图5所示。

图5 光流融合

3 实验及结果分析

为验证光流避障算法的可行性和有效性，在现实场景中对算法进行检测并对算法的实时性和准确性进行分析。四旋翼飞行器的基本参数如表1所示。

表1 飞行器的基本参数

令飞行器按照不同的飞行速度对运动障碍物进行避障判断，并对其进行多次重复实验，其避障准确性与四旋翼飞行器的飞行速度之间的关系如图6所示。

图6 避障准确率与飞行速度的关系

由实验结果可知，当飞行器没有运动时，成功率为0，当随着飞行器飞行速度的增加，飞行器避障准确性越来越低。

在光线充足的室内对飞行器进行测试，测试现场飞行器以0.5 m/s的速度向行动目标飞行。前方无障碍时检测画面如图7中a所示。前方检测到障碍物，但仍然没有进入到危险区，其检测画面如图7中b所示。前方检测到障碍物并且进入到了危险区范围内，已经需要采取避障动作，其检测到的画面如图7中c所示。前方障碍物已经检测到，并且采取避障动作避障之后的检测画面如图7中d所示。

图7 避障算法的实现

4 结 论

四旋翼飞行器的设计方案采用改进金字塔LK光流法进行避障，是针对在四旋翼飞行器运动目标检测的完整性不够，鲁棒性及准确性不高的问

题，进行的改进。在使用单目低分辨率摄像头的前提下，四旋翼飞行器能够快速辨别出障碍物，并在低速飞行时能够准确做出实时避障动作，实时性较好。所设计的方案为将来四旋翼飞行器的避障发展提出了简便实用的解决办法。

[1]王 锋,吴 江,周国庆,等.多旋翼飞行器发展概况研究[J].科技视界,2015(13):5-7.

[2]赵 海,陈星池,王家亮,等.基于四轴飞行器的单目视觉避障算法[J].光学精密工程,2014,22 (8):32-41.

[3]郑 驰.基于光流法的单目视觉里程计研究[D].杭州:浙江大学,2013.

[4]吴振杰.基于改进光流法的运动目标检测与跟踪系统[D].郑州:郑州大学,2012.

[5]安 博.动态背景下运动目标检测的研究[D].天津:天津理工大学,2008.

[6]万方静.基于光流的图像目标跟踪方法研究[D].西安:西北工业大学，2006.

(责任编辑 魏静敏 校对 张 凯)

Dynamic Target Detection Based on Optical Flow Method of Four-rotor Aircraft

WANG Huia,LI Li-xiab,LIU Hui-jieb,HOU Xin-mingb,NIAN Jia-qib

(a.School of Renewable Energy;b.School of Automation Engineering,Shenyang Institute of Engineering,Shenyang 110136,Liaoning Province)

Against the imperfect and instability for testing moving target in four-rotor aircraft obstacle avoiding algorithm,one kind of obstacle avoiding algorithm was put forward based on pyramid Lucas Kanade optical flow which had improved the optical flow obstacle avoiding detecting moving object into integrity and accuracy.Through referencing image non-stationary model and constructing optical flow constraint,it had overcome the problem that changing brightness led to invalid construction.The experimental results showed that our algorithm worked quite effectively when four-rotor aircraft flying with low speed flight and changing brightness.It also could reduce the matching and searching time significantly,saved the aircraft flight time,and reduced the energy consumption.

Four-rotor aircraft; Dynamic Background Compensation; Object Detection; Lucas Kanade Optical Flow

2016-11-24

沈阳工程学院学生科技创新项目(LG XS-1601)

王 卉(1996-)，女，辽宁沈阳人。

李丽霞(1979-)，女，辽宁灯塔人，副教授，博士研究生。

10.13888/j.cnki.jsie(ns).2017.01.014

TP391.41

A

1673-1603(2017)01-0076-06