基于双目视觉系统的农用无人机导航算法研究

任艳霞,屈科科

(济源职业技术学院 机电工程系,河南 济源 459000)

0 引言

随着无线通信、嵌入式和图像处理等技术的迅猛发展,无人机的应用领域迅速扩展。我国是一个农业大国,随着时代的发展,小农户的农机经营模式和农耕方法不再适用,农业现代的步伐正在加快。无人机这一曾经仅仅应用于军事领域的科学技术,如今正在结合农业生产,让无数的农民朋友有了新的农耕方式。为此,结合双目视觉、图像处理和嵌入式控制等技术,设计了一套农用无人机视觉导航算法,能够实现农业无人机路径规划和导航策略。

1 双目视觉系统

1.1 摄像机成像原理

摄像机成像是将空间三维世界转换成二维平面的一种映射,成像模型有线性模型和非线性模型之分,而针孔成像就是最简单的线性模型。令投影的中心与欧式坐标系原点叠加在一起,则三维空间中任何一点到成像二维平面都有对应的投影。针孔成像原理示意如图1所示。

图1 针孔成像原理示意图Fig.1 The schematic diagram of pinhole imaging principle

图1中,cZc为摄像机的光轴坐标,成像二维平面的点X′为三维坐标点X(X,Y,Z)T的映射。采用相似三角形的原理,可以求出X′的坐标点为(fX/Z, fY/Z)T。从三维空间坐标系到成像二维平面的中心投影为

(X,Y,Z)T→(fX/Z,fY/Z)T

(1)

将三维空间坐标系中点X写成齐次向量(X,Y,Z,1)T,那么成像二维平面的点X′则可以表示为(u,v,1)T,式(1)可以改写为

X′=PX

(2)

其中,P为摄像机从三维平面到二维平面的投影矩阵。

P=diag(f,f,1) [I|0)]

(3)

1.2 双目视觉模型

双目视觉模型原理是利用两台摄像机从不同角度获取目标物体的图像,并计算出目标物体的三维坐标信息等。通常情况下,立体视觉要求双目摄像机称光轴平行,标准双目视觉模型如图2所示。

图2 标准双目视觉模型Fig.2 The standard binocular vision model

图2中,左右两个摄像机成像的光心为Cl和Cr,且与光轴互相平行;两个摄像机的图像原点都与图像左上角重合,三维空间坐标点P在左右成像平面成像的点为(ul,vl)和(ur,vr);光轴与成像平面交点到摄像机的中心的距离为该摄像机的焦距f;两个摄像机的基线距离为b;景深为Z。

为了实现目标物体的双目视觉定位,引入了pl和pr间水平视差dx(pl,pr),表达式为

(4)

根据双目摄像头成像原理,可以得出其基础成像矩阵,即

(5)

其中,c为成像常系数。

1.3 双目视觉相机的标定

使用双目视觉相机对目标物体进行定位前,首先需要对其进行标定,主要目的是获取摄像头的内外参数及校正透镜给摄像头成像带来的误差等。在相机标定过程中,需要建立合适的双目相机几何模型,将其与透镜畸变模型结合起来,求出相机内部参数。相机外参数则与三维空间和二维成像坐标转换有关,其参数主要包括旋转矩阵R(3×3)和平移向量t(1×3)。完成左右相机的内参数标定后,还需要对外部参数进行标定,主要是计算两个相机的相对位置,以及R和t之间的计算和转换等。双目立体相机标定过程如图3所示。

图3 双目立体相机标定过程Fig.3 The calibration process of binocular stereo camera

2 视觉导航的图像特征识别

本文使用SURF(Speeded Up Robust Features)对农用无人机获取到的视觉图像进行特征提取与识别。SURF可以对整张图像的像素点进行特征提取,可以得到一个特征向量,其反映了周边图像的强度样式。假设两个特征点比较相似,说明其特征向量靠近,若左右两个相机拍摄到图像的特征向量相似,则说明很有可能同时对应三维空间上的一点。在几何空间上,SURF可以对图像中每个像素点进行计算,得到Hessian矩阵,其数学表达式为

(6)

Hessian矩阵的数学表达式可以确定图像点局部曲率的强度。为了让图像像素特征点具有尺度无关性,需要对图像进行高斯滤波,则

(7)

其中,σ为高斯滤波的方差,表示高斯滤波核的大小。

结合Hessian矩阵和高斯滤波处理之后,能够获得图像局部的最大特征值,再对其进行插值处理,可以得到像素特征点和其尺度值,即可实现目标物体的定位,实现农用无人机的视觉导航。

3 农用无人机嵌入式系统

3.1 农用无人机硬件设计

农用无人机硬件设计是完成农用无人机实现直升机模式、倾转螺旋机的操纵策略的基础。本系统采用美国德州仪器(TI)公司Delfino C2000系列的TMS320F2837D实时控制微控制器作为控制计算机,采用微惯性测量元件和双目相机实现对农用无人机飞行状态进行测量,采用精度气压计MS5611实现无人机在Z轴方向的自主悬停,采用嵌入式Linux作为无人机的操作系统,实现农用无人机的飞行控制。

本文采用了四路PWM的输出控制,晶体管选用SI2303 MOSFET管,其导通电压Vgs<4V。当其完全导通时,源漏极电阻是mΩ级别的,自身功耗非常低,满足对电机的驱动控制。电机驱动电路如图4所示。

图4 电机驱动电路Fig.4 The Motor Driving Circuit

陀螺仪成为追踪物体移动方位与旋转动作的必要运动传感器;加速度计可以感知任意方向上的加速度,可以实现对空间运动的判断。MPU6050传感器原理图如图5所示。

图5 MPU6050传感器原理图Fig.5 The sensor schematic diagram of MPU6050

MHC5883传感器是一个三轴数字罗盘,带有数字接口的弱磁传感器芯片,内部采用高精度的磁阻传感器,可以将罗盘精度控制在1°～2°之间。与MPU6050的联合使用,可以更加精准地实现农业无人机导航。MHC5883传感器原理图如图6所示。

图6 MHC5883传感器原理图Fig.6 The sensor schematic diagram of MHC5883

3.2 农用无人机软件设计

农用无人机软件设计采用分层次和模块化设计思想,可以方便软件的升级和管理。软件设计主要包括底层驱动、HAC层和应用开发层,结构如图7所示。

图7 农用无人机软件结构Fig.7 The Software Architecture of Agricultural UAV

4 农用无人机飞行试验

为了验证农用无人机飞行导航的有效性,进行了无人机导航系统的整机实验,采用图像技术和IMU数据融合的方法,利用卡尔曼数据融合技术实现多传感器的数据融合。农用无人机卡尔曼数据融合框架如图8所示。

图8 农用无人机卡尔曼数据融合框架图Fig.8 The Kalman Data Fusion Framework of Agricultural UAV

图9 农用无人机导航飞行轨迹Fig.9 The Navigation Trajectory of Agricultural UAV

由图9可以看出:农用无人机可以准确地从起点(0,0)飞至目标点(-20,-20,50),且路径为一条曲线,路径规划和导航能力较强。这说明,农用无人机在飞行中具备足够的稳定性能,证实了农用无人机导航算法的有效性。

5 结论

结合双目视觉、图像处理和嵌入式控制技术等技术,设计了一套农用无人机导航算法,可为无人机提供准确的导航策略。农用无人机飞行实验表明:农用无人机可以准确的从起点(0,0)飞至目标点(-20,-20,50),且路径为一条曲线,路径规划和导航能力较强。这说明,农用无人机在飞行中具备足够的稳定性能,证实了农用无人机导航算法的有效性。