融合激光三维探测与IMU姿态角实时矫正的喷雾靶标检测
2017-09-15刘慧,李宁,沈跃,徐慧
刘 慧,李 宁,沈 跃,徐 慧
融合激光三维探测与IMU姿态角实时矫正的喷雾靶标检测
刘 慧,李 宁,沈 跃,徐 慧
(江苏大学电气信息工程学院,镇江 212013)
基于高精度激光传感器的喷雾靶标特征检测是精准施药变量决策的重要依据。为了改善复杂地形条件对车载激光靶标检测的影响,进行了车载激光喷雾靶标检测与矫正研究。该文基于惯性测量单元(inertial measurement unit,IMU)与UTM-30LX型激光传感器搭建靶标检测试验车,IMU实时获取车体姿态角的偏航角、俯仰角及侧倾角信息,车载激光传感器实时获取目标切面轮廓的极坐标数据。将获取的目标切面轮廓的极坐标数据与试验车姿态角信息相匹配,通过矫正算法获取精确的目标外形尺寸信息并重构目标三维图像。试验设计首先对长方体柜子与仿真树进行车体单一动态俯仰角的检测试验,然后以仿真树为试验目标,进行车体存在复合动态俯仰角与侧倾角的检测试验,最后在未知地形条件下对长方体柜子以及仿真树进行动态姿态角检测与矫正试验。利用MATLAB软件对数据矫正分析,对矫正后的目标尺寸信息进行误差分析并重构目标三维图像。试验结果显示矫正后长方体柜子的高度、宽度最大相对误差分别为8.89%和8.00%,仿真树的高度、宽度以及树冠高度最大相对误差分别为5.63%、10.00%和5.00%,矫正效果良好,验证了矫正算法的有效性。
农业机械;喷雾;传感器;惯性测量单元;姿态角偏移矫正;三维重构
刘 慧,李 宁,沈 跃,徐 慧. 融合激光三维探测与IMU姿态角实时矫正的喷雾靶标检测[J]. 农业工程学报,2017,33(15):88-97. doi:10.11975/j.issn.1002-6819.2017.15.011 http://www.tcsae.org
Liu Hui, Li Ning, Shen Yue, Xu Hui. Spray target detection based on laser scanning sensor and real-time correction of IMU attitude angle[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(15): 88-97. (in Chinese with English abstract) doi:10.11975/j.issn.1002-6819.2017.15.011 http://www.tcsae.org
0 引 言
近年来,源于精准施药的变量喷雾技术[1-5]研究发展迅速,基于实时传感器的应用主要有红外线对靶技术[6-7]、超声波测量技术[8-10]及激光测量技术[11-14]等。
在激光实时探测方面,Chen等[15]建立了激光传感器实时探测分析喷雾机单侧目标树冠形状和密度等特性的风送式变量喷雾模型。Liu等[16]对体积更小、速度更快、精度更高、不易受外界环境影响可双侧扫描的激光传感器进行了性能评估,试验证明在不同速度和测量距离下,能够精确测量被测目标,实现目标在线特征提取。激光传感器不仅能测量出靶标的有无、外形尺寸等特征信息,还能对目标进行三维重构并实现目标作物密度以及体积的测量[17-18]。车载激光扫描传感器的应用在一定程度上提高了变量喷雾的效果。但是在实际喷雾过程中,由于未知复杂地形的影响,往往会造成车辆的颠簸以及行驶不线性等情况,激光传感器检测容易出现偏差,从而影响喷雾效果[9,19-21],因此矫正检测过程中车体姿态角偏移所造成的目标特征偏差具有一定的现实意义。
刘慧等[22]利用直线滑台进行了激光传感器存在固定姿态角偏移时的靶标检测与矫正试验,先后对单一和复合姿态角偏移下激光传感器获取的数据进行校正,均获得不错的效果,但是无法实现在姿态持续改变条件下的激光目标数据校正。
本文研究了融合动态车体姿态角偏移数据的车载激光靶标检测与矫正,提出了车体侧倾角、俯仰角以及偏航角分别动态存在时靶标激光检测数据的矫正方法,分别为融合侧倾角的极坐标值与三角函数重新匹配法、分段融合俯仰角平均值的检测帧与检测点重新组合法以及融合偏航角平均值的深度值系数矫正法。并且设计试验验证矫正方法的有效性,分析了矫正后靶标尺寸误差以及三维重构效果。
1 材料与方法
1.1 试验平台搭建
搭建了一个安装有激光扫描传感器以及惯性测量单元的速度可控试验车。该试验车的测量原理框图如图1a所示。试验车长1.50 m,宽0.95 m,高0.80 m,由人来驾驶,具有速度调节档。试验车上安装有靶标激光检测单元、车体惯性测量单元以及供电单元,试验车实物图如图1b所示。
靶标激光检测单元主要由HOKUYO UTM-30LX型激光传感器和工控计算机组成,激光传感器与工控计算机通过USB串口通信。所选用的HOKUYO UTM-30LX型激光扫描传感器具有30 m、270°测量范围,供电电压为DC12V,测量角度分辨率0.25°,测量周期25 ms。上位机软件通过C++语言编写,实现激光传感器的启停与检测数据存储功能。车体惯性测量单元主要包括STM32控制板、MPU6050陀螺仪以及HMC5883L电子罗盘,用于实时精确获取车体姿态角信息[23-24]。供电单元主要包括车载电池、DC/DC变换器以及电压变换板组成,主要为靶标激光检测单元和车体惯性测量单元供电。车体惯性测量单元中,MPU6050陀螺仪可以精确解算出俯仰角与侧倾角的大小,但是对于偏航角的解算容易发生漂移,且随时间增加误差逐渐增大,所以利用电子罗盘测量车体偏航角,HMC5883L电子罗盘在车体不平情况下存在较大误差,因此需要通过加速度计测出电子罗盘倾斜角度进行校正,结合两者的优缺点,配合使用,可以实时准确测量出车体的偏航角、俯仰角以及侧倾角[25],将实时测量的试验车车体偏航角、俯仰角以及侧倾角信息通过SD内存卡离线保存,检测周期同样是25 ms,用于匹配矫正激光传感器检测的目标切面轮廓的极坐标数,陀螺仪与核心板以及电子罗盘之间通过内部总线(inter-integrated circuit,I2C)进行通信。
图1 靶标检测原理图及平台Fig.1 Schematic and platform of target detection
1.2 姿态角偏移矫正方法
1.2.1 HOKUYO激光传感器与IMU的检测方式
试验所选用的HOKUYO UTM-30LX型激光传感器为二维激光扫描传感器,最远检测距离30 m,角度分辨率0.25°,扫描角度范围270°,具有90°的盲区。本文试验采取盲区朝下安装方式,如图1b所示。激光传感器固定在车体延伸出来的铝型材固定杆上,试验车轮胎宽大且喷雾检测过程中处于低速的状态,对路面颠簸的反映较为缓和,且铝型材固定杆长度相对较短,且固定牢靠,故试验车在行进过程中,车体与激光传感器可以认为具有相同的姿态角变化。图2所示为激光传感器检测一帧的示意图。
图2 激光传感器检测范围示意图Fig.2 Diagram of laser sensor detection range
如图2所示,激光传感器中心距离地面的高度为l,根据其盲区朝下的安装方式,则激光传感器能检测距离激光中心垂直距离大于l的靶标。从检测起点到检测终点,一帧可以检测1 081个极坐标数据,规定垂直向上检测点的检测角度为0°,将检测区域分成左右2个部分,0°位置的检测是垂直向上的,为无用数据,剩下的1 080个极坐标数据按左右2边分开保存,每一帧都按此方法储存数据,最后对左右2边检测数据分别进行处理。结合试验车的行进,每隔25 ms获取一帧数据,按顺序组合起来的若干检测帧则可对目标进行三维重构并获取目标特征信息。
车体姿态角偏移一般指车体的偏航角、俯仰角以及侧倾角的角度变化。这3个角度是地面坐标系与车体坐标系的角度关系,在实际户外喷雾靶标检测时,由于路面不平整,很容易造成喷雾机的前后以及左右颠簸,从而导致车上安装的激光传感器出现俯仰角以及侧倾角,喷雾机行驶过程的不线性则会产生偏航角。本文所用的惯性测量单元(inertial measurement unit,IMU)包含MPU6050陀螺仪以及HMC5883L电子罗盘,俯仰角以及侧倾角通过陀螺仪测量解算得到[24,26],如图3所示。
根据图3所示,所检测目标植株一帧对应点的深度距离值d可以表示为
式中ρ为激光传感器中心到检测点距离值,m;θ为检测线与0°线的夹角。
定义地面坐标系XYZ以及电子罗盘坐标系xyz,在电子罗盘倾斜时存在俯仰角β以及侧倾角γ,并规定了2种角度旋转的正方向。偏航角指的是实际航向偏离车体初始航向的大小,右偏为正,其值由电子罗盘获得。电子罗盘使用前需要进行磁场校准,要获取准确的车体偏航角还需进行倾斜补偿[27]。试验车在不平整路面上行驶,电子罗盘的平面xy与水平面存在夹角,使电子罗盘在倾斜情况下的测量存在较大的误差,影响正常使用。
图3 电子罗盘倾斜情况示意图Fig.3 Diagram of electronic compass inclination
对电子罗盘进行倾斜校正需结合实时俯仰角与侧倾角,根据式(2)可以求出经过修正的实时偏航角的大小[26-27]。为了与激光传感器测量的目标切面轮廓的极坐标数据信息相匹配,同样设置IMU测量周期为25 ms,将测得的俯仰角、侧倾角以及偏航角的数据依据检测时刻按列分开保存。
式中XH、YH为电子罗盘修正后的坐标轴系数;α为偏航角;β为电子罗盘俯仰角;γ为电子罗盘侧倾角;Xh、Yh、Zh分别为电子罗盘倾斜状态磁北极磁场在电子罗盘坐标系xyz的x轴、y轴和z轴的分量。
1.2.2 数据匹配矫正算法
激光传感器姿态角发生变化,必然会对目标检测造成影响,下面分情况对激光传感器姿态角偏移进行矫正。
1)若车体存在侧倾角γrt时,γrt为IMU实时检测的侧倾角。将靶标被检测面轮廓的极坐标数据按照式(1)转化为深度值,由于初始的θ值是基于激光传感器坐标系的,当车体存在动态侧倾角时,激光传感器会处于侧倾状态,故据式(1)求出的基于激光传感器坐标系的靶标深度值数据显然是不准确的,需要转换到地面坐标系。
采用的矫正方法为融合侧倾角的极坐标值与三角函数重新匹配,矫正公式可以表示为
式中γrt为IMU实时检测的侧倾角,(°)。
矫正过程中,每一帧激光测量的极坐标数据对应一个IMU测量的侧倾角,利用这个侧倾角逐点对此帧的激光检测数据进行矫正。按图3规定的侧倾角旋转正方向,侧倾角为正时,喷雾靶标在试验车前进方向左侧时,式(3)中取‘+’,喷雾靶标在试验车前进方向右侧时,式(3)中则取‘−’;侧倾角为负时,与之相反。对于车体存在动态侧倾角时激光检测数据的矫正做到了逐帧逐点进行矫正,属于较精准的矫正。
2)若车体存在俯仰角βrt时,βrt为IMU实时检测的俯仰角。由于激光检测面与地面并非垂直关系,所以对喷雾靶标的检测也是倾斜的,打乱了原本没有俯仰角时激光检测帧与检测点的对应关系。由于实际的喷雾作业过程中车体是不断颠簸的,俯仰角的大小是动态变化的,导致各检测帧交叉错乱,具有复杂性,若按实时检测帧进行矫正不具有操作性。本文采取的是分段融合俯仰角平均值的检测帧与检测点重新组合法,即将靶标宽度范围内IMU检测帧按照动态俯仰角的有关特征进行分段,求取每段的所有IMU检测帧车体俯仰角平均值βavg,矫正时则假定试验车在靶标的此段检测过程中车体存在固定的俯仰角βavg。然后将每一段的俯仰角平均值βavg分别用来对此次试验激光检测数据进行整体矫正,在每一次整体矫正后的激光矫正数据矩阵中提取此次矫正所用的βavg所对应的一段数据矩阵,最后将多段提取的数据矩阵拼接组合成一个新的深度值矩阵,再对其进行三维重构等数据处理。对于俯仰角固定情况的靶标检测与矫正,参考文献[22]已经详细阐述过,检测帧分段后,每一段中的检测点的深度值求解公式为
式中ρInt(j/cosβavg)为矫正前时第f帧中第Int(j/cosβavg)点的极坐标值,m;θj为矫正后第m帧第j点对应的角度值;βavg为俯仰角平均值,(°)。
原则上分段越多越准确,但是也会增加矫正激光检测数据的次数,增大提取和拼接矫正后数据矩阵的难度。由于靶标宽度范围内IMU检测帧一般不多,一般分成2~3段以内比较合适。对靶标宽度范围内IMU检测帧分段一般有2个原则:a)俯仰角有正负之分时一般需要分段;b)俯仰角曲线线性拟合存在明显的斜率差别需要分段。若不满足分段条件,则无需分段,直接求取靶标宽度范围内动态俯仰角的平均值,然后根据此平均值对激光检测数据进行整体矫正。
采用平均化的思想可以在一定程度上改善检测的效果,虽然达不到精准矫正的目的,但却是比较实用的方法,在趋势上向精准检测效果靠拢,并且降低少量幅值较大俯仰角所造成的检测误差。
3)若车体存在偏航角αrt时,αrt为IMU实时检测的试验车偏航角。根据文献[22]所述,激光传感器存在固定的偏航角时,虽然检测帧也会延后或超前,但是却是按顺序排列,一次试验的检测帧是整体超前或者整体延后,所以可以按照此固定的偏航角整体矫正激光检测数据。若存在动态偏航角时,即偏航角既有大小的波动又有正负的变化,会造成检测帧的提前或者延后,故检测帧在空间位置上不是按照顺序排列的,所以将激光检测数据每一帧的每一个检测点的准确深度值求出也没有意义,需要将所有激光检测帧重新按顺序排列。然而在车体偏航角动态变化情况下,就算将深度值准确矫正后的激光检测帧按空间位置顺序排列,靶标检测帧的漏检与重复检测依旧存在,不可避免。
针对上述分析,求取靶标宽度范围内动态偏航角的平均值αavg,还需要假设试验车是一直沿着与靶标中心切面平行的直线行进。采用这种平均化的思想,可以在一定程度上改善检测效果,降低少量较大幅值的偏航角所造成的误差,公式为
式中αavg为靶标宽度范围内IMU检测帧偏航角的平均值。
在实际喷雾作业过程中,试验车沿着直线行走,且四轮试验车具有行进方向的稳健性,采用的是机械式转向系统,车把较重,而且试验车具有宽大的车轮,颠簸的情况下偏航角也会发生一定的波动,但是偏差幅值较小,即αavg绝对值较小,对检测效果影响不大。根据文献[22]的试验分析,在靶标检测过程中,若试验车存在较小偏航角时(10°以下),假设车体存在10°的偏航角,cosαavg的值为0.984 8,可认为对深度值影响较小,一般情况下可以不对激光检测数据进行矫正。
4)对于车体存在动态侧倾角的矫正做到了逐帧逐点矫正,而对于车体存在动态偏航角还有动态俯仰角的矫正均为近似矫正,复合矫正公式为
1.3 试验方法
1.3.1 试验设计
在研究姿态角偏移矫正理论方法的基础上,试验验证该方法的有效性。试验对象为一个长方体柜子和一颗仿真树。长方体柜子的高度为0.90 m,宽度0.50 m;仿真树的高度为1.60 m,宽度1.10 m,树冠高度为1.00 m。
试验设定激光传感器到目标物体中心垂直间距为2.5 m。选择距离2.5 m符合实际喷雾过程中的靶标检测与喷雾的距离要求。试验车速度可以通过档位调节,速度区间为1~4 m/s。结合实际喷雾作业过程中对喷雾机行进速度的实际要求,驾驶者控制试验车的车速为1 m/s。激光传感器距离地面的高度为1.45 m,试验车在平整路面对目标检测时,激光传感器与被检测目标中央位置处于相同高度,使得检测点分布更均匀。
试验操作主要分为3步。第1步,以长方体柜子与仿真树为试验对象,在地势平坦和通过木板搭建的坡度桥2种试验场地进行试验,如图4a与图4b所示。试验车按照设定的方向路线直线行驶,检测距离以及行进速度如上文所述。在每个试验场地设计对每个试验对象分别进行5次重复检测试验,激光传感器通过键盘2G通信控制启停,惯性测量单元亦通过一个开关启停。为了后期数据的匹配,在试验车行驶前的几秒时间内由一人负责启动激光扫描,同时另一人启动惯性测量单元,激光检测数据与惯性测量单元获取的数据均带有检测时刻信息,控制激光传感器的工控计算机时间与控制惯性测量单元的单片机时钟已提前校对,匹配时只需找到对应时刻的数据即可。激光传感器检测的数据存储在工控计算机硬盘中,车体姿态角数据存储在内存卡中;第2步,以仿真树为试验对象,搭建长木板单边桥试验场地,如图4c所示。针对侧倾角来说,在试验车左倾斜与右倾斜2种状态下分别对2种对象进行检测,其他检测条件不变,按照事先规划好的试验车行进路线,分别重复5次试验,保存试验数据;第3步,以长方体柜子与仿真树为试验对象,选取地势未知路面作为试验场地,如图4d所示,其他检测条件不变,分别重复5次试验,保存检测数据。
图4 不同地形条件试验图Fig.4 Photographs of experiments based on different terrains
第1步试验主要是针对车体俯仰角动态变化而设计的,由于试验车的减震效果,人为驾驶必然会使得车体具有初始的俯仰角,在这2种场地下,试验车靶标检测过程只存在动态变化的俯仰角,其中试验车在上下坡地形时车体俯仰角的变化较为明显。所以第1步试验的2种场地主要是矫正单一俯仰角动态变化的情况。在上下坡场地进行试验时,将目标放置在试验车检测时的上坡或者下坡位置,至于目标检测范围既存在上坡又存在下坡地形,此种情况需要对激光检测帧进行分割,在第三步试验介绍;第2步试验主要矫正俯仰角与侧倾角均动态存在且姿态角偏移量波动较小的情况;第3步试验,主要验证复杂地形条件下矫正算法的有效性。
1.3.2 数据分析方法
试验获得数据的分析处理主要通过MATLAB后期处理,获取试验目标姿态角偏移矫正后的尺寸信息以及矫正前后三维重构图像,并进行对比分析。激光传感器数据按照试验顺次保存,每启停一次获得一个txt文档,每次试验数据按检测帧排列;IMU检测数据同样按照试验次序保存,每次启停会获得一个csv格式的文档,按列分别保存俯仰角、侧倾角以及偏航角数据。数据检测周期均为25 ms,若按试验车1 m/s的速度,那么一帧的25 ms的时间内试验车前进了25 mm,而目标物体位于激光传感器一侧,故一帧中检测目标高度范围的检测点少于一半,此段时间内试验车行进的距离少于12.5 mm,对于目标检测效果的影响微乎其微。
通过MATLAB软件读入激光传感器数据txt文档,再读入此次试验对应的车体姿态角数据csv文档,然后根据提出的激光传感器存在动态姿态角偏移的矫正算法进行矫正处理,矫正过程会同时将激光极坐标数据构造为行为检测点、列为检测帧的深度值矩阵,并对深度值矩阵的行、列以及检测帧数限定,只保留有用的数据;考虑到激光传感器的动态检测,需对有效的距离信息矩阵进行伸缩变换,使得被检测目标数据矩阵符合实物尺寸比例[28];数据点的离散化,会导致重构图像不连续,利用interp2()函数对离散数据进行插值计算[29-30]。然后对重构的目标图像滤波处理,本文选用高斯低通滤波器对图像进行平滑处理。三维重构图像中不同颜色代表距离靶标中心不同的深度值,通过colormap()函数实现[27,30]。
通过对比矫正前后被检测目标的三维重构图像只能定性地观察矫正效果。为了定量看出矫正后的目标数据是否符合检测的精度要求,对被检测目标的尺寸参数进行统计计算。被检测目标宽度w为
式中v是试验车匀速移动速度,m/s;t0为传感器检测一帧所需时间,s;nf为被检测目标宽度范围所占帧数。
如图3所示,可以求出任意帧中每个检测点距离激光中心的垂直高度信息h为
以激光中心为基点,从而可以计算出此检测帧中任意2个检测点的垂直方向高度,类似地,不同检测帧任意2个检测点的垂直方向高度同样可以求出,由此可以求出目标物体的检测高度值。
2 结果与分析
2.1 车体俯仰角单一存在
首先进行第1步试验,分别在地势平坦和通过木板搭建的只存在上下坡的2种试验场地对试验对象进行检测,试验操作与数据处理如1.3节所述。
图5a为地势平坦时试验车IMU姿态角数据,由图5知,人为驾驶导致车体具有初始俯仰角,俯仰角的大小基本恒定在3.5°,而侧倾角的大小一直趋近于0°,偏航角围绕0°线具有一定波动,但保持在−0.5°到0.5°之间,幅值同样较小,故地势平坦条件下可以认为车体只存在单一大小为3.5°的俯仰角。故平坦地势条件下,由于试验车减震弹簧的存在,俯仰角基本保持在3.5°,只需按照俯仰角大小恒为3.5°进行矫正即可。
图5b为试验车在搭建的木板坡度桥上下坡时车体姿态角检测数据,在此过程中偏航角与侧倾角波动较小,可以近似认为只存在俯仰角的变化。从俯仰角的定义来说,上坡过程俯仰角为正,下坡过程俯仰角为负,从图中可以看出来上坡过程中俯仰角的幅值明显大于下坡过程,这同样是由于人为驾驶试验车的减震影响,使得上坡过程车体俯仰角更大,下坡过程俯仰角更小。由于上坡与下坡过程中车体俯仰角动态变化,且目标物体所占的姿态角检测帧中俯仰角变化在有限范围内,这里直接求取目标物体宽度范围所占IMU检测帧俯仰角的平均值,无需分成多段处理。然后利用此平均俯仰角对目标物体重构图像进行矫正,经过计算,上坡过程中长方体柜子与仿真树各自宽度范围所占IMU检测帧中俯仰角平均值的大小分别为9.21°和8.20°;下坡过程中长方体柜子与仿真树各自宽度范围所占检IMU测帧中俯仰角平均值的大小分别为−2.03°和−2.58°。
图5 第1步试验两种场地下试验车车体IMU姿态角数据Fig.5 Test vehicle IMU attitude angle data of experiment 1 under two kinds of test sites
图6 g与图6h分别是对平坦地势试验条件下试验车检测长方体柜子与仿真树重构的图6a与图6b的矫正,可以看出目标形态得到了很好的矫正,矫正了初始俯仰角造成的目标检测偏差,降低了姿态角偏移对靶标激光检测的影响。图6i与图6j分别是对图6c与图6d的矫正,图6k与图6l分别是对图6e与图6f的矫正,从图中可知靶标的形态均得到了较大的改善,故融合俯仰角平均值的检测帧与检测点重新组合法基本可以达到矫正要求。
将检测所得的目标尺寸值与物体真实尺寸作对比,进行误差分析,如表1所示。分析表1中数据,地势平坦试验场地下,长方体柜子的高度、宽度相对误差分别为3.33%与2.00%,仿真树的高度、宽度以及树冠高度的相对误差分别为1.25%、1.82%和3.00%;坡度桥试验场地下(上坡),长方体柜子的高度、宽度最大相对误差分别为5.55%与8.00%,仿真树的高度、宽度以及树冠高度相对误差分别为4.38%、3.64%和3.00%,数据显示矫正后目标参数与目标实际尺寸误差较小,说明矫正算法具有一定的有效性,效果较好。
图6 车体俯仰角单一存在时目标矫正前后重构对比图Fig.6 Reconstruction images before and after correction of targets on condition of test vehicle with single pitch angles
表1 车体俯仰角单一存在目标矫正后相关参数误差分析Table 1 Error analysis of targets parameters after correction on condition of test vehicle with single pitch angles
2.2 车体侧倾角与俯仰角复合存在
第2步试验设计搭建一个长木板的单边桥作为试验场地,试验车只有一边的轮子走在木板上,这样可以制造车体左倾斜与右倾斜的状态,结合人为驾驶车体减震的影响,则可以在一定的时间范围内保证俯仰角与侧倾角均动态存在的情形。值得注意的是,试验中试验车处于地面的车轮始终沿着规划好的直线行驶,以保证试验车的直线行驶。如图7所示,在试验车左倾斜与右倾斜行驶过长木板的过程中,俯仰角与侧倾角都存在一段时间保持着基本不变的状态。为了使试验效果更加明显,本试验选择在这段时间对靶标检测。矫正过程遵循先侧倾角后俯仰角的原则,左倾斜与右倾斜目标IMU检测帧中侧倾角大小分别稳定在9°与−9°左右,矫正侧倾角造成的影响采用融合侧倾角的激光极坐标值与三角函数重新匹配矫正法。由于目标宽度范围内IMU检测帧中俯仰角大小基本恒定,无需分段矫正,经过计算,试验车左倾斜与右倾斜检测时仿真树宽度范围IMU检测帧俯仰角的平均值分别为2.72°和3.35°,然后根据此平均值对激光检测数据进行整体矫正。车体俯仰角大小恒定的矫正方法为激光检测帧与检测点重新组合矫正法,在参考文献[22]中已进行过详细说明。图7a靶标检测宽度范围内偏航角的平均值为−0.38°,图7b靶标检测宽度范围内偏航角的平均值为0.31°,故系数值cosαavg的大小约等于1,故无需矫正。
图8a和图8b为长木板单边桥车体左倾斜与右倾斜矫正前后的图像。侧倾角存在时主要对目标检测的深度值产生影响,俯仰角则会影响到目标检测的形态特征,从图中可以看出来,颜色的变化比较明显,仿真树的深度值得到了很好的矫正,目标形态也从略微右偏得到了矫正,目标深度数据值以及形态都得到了很好的矫正。对矫正后仿真树各项尺寸参数进行误差分析,结果如表2所示,仿真树的高度、宽度以及树冠高度最大相对误差分别为5.00%、2.73%以及4.00%,基本达到矫正的目的。
图7 长木板单边桥场地下试验车车体分别左右倾斜IMU姿态角数据Fig.7 IMU attitude angle data with test vehicle left leaning and right leaning under long wooden unilateral bridge test site
图8 车体俯仰角与侧倾角复合存在目标修正后三维重构图像Fig.8 Reconstruction images before and after correction ofartificial tree on condition of test vehicle with both pitch angles and roll angles
表2 车体俯仰角与侧倾角复合存在时目标修正后参数误差分析Table 2 Error analysis of artificial tree parameters after correction on condition of test vehicle with both pitch angles and roll angles
2.3 未知复杂地势姿态角偏移
未知地形条件下,试验车俯仰角、侧倾角以及偏航角均处于动态变化状态。图9为靶标宽度范围内车体姿态角变化,根据计算,仿真树宽度范围内车体偏航角幅值较小,平均值为−1.09°,且长方体柜子宽度范围内车体偏航角的平均值为−1.53°。根据1.2节提出的融合偏航角平均值的深度值系数矫正法,余弦值系数cos(−1.53°)值为0.999 6,cos(−1.09°)值为0.999 8,可见深度值基本不会受此系数的影响,当然为了使得靶标检测的深度值更加精确,在矫正车体存在动态侧倾角以及动态俯仰角之后再乘以相应的余弦系数。
对于车体存在动态俯仰角与动态侧倾角的情况,仍然遵循先矫正侧倾角再矫正俯仰角的原则。首先匹配IMU检测帧的侧倾角与激光检测数据,逐帧逐点进行矫正,方法为融合侧倾角的极坐标值与三角函数重新匹配法。图10a和图10b分别为未知复杂地势下目标矫正前后重构图像,深度值得到了精确矫正。
对于俯仰角造成的检测偏差要根据IMU数据特点进行矫正,矫正方法为分段融合俯仰角平均值的激光检测帧与检测点重新组合矫正法。根据IMU检测帧俯仰角分段矫正的原则将图9a的仿真树宽度范围内IMU检测帧中俯仰角分成3段,分别为1~18、19~25以及26~46帧,3段内俯仰角的平均值分别为10.17°、4.93°和−1.25°。分别按照此3个俯仰角平均值对激光传感器检测数据整体矫正,然后在每一次的整体矫正后的激光传感器数据矩阵中提取此次矫正所用的俯仰角平均值所对应的一段数据矩阵,最后将3段提取的数据矩阵拼接组合成一个新的深度值矩阵,再对其进行三维重构。由图10a可知,仿真树经过矫正、提取和拼接后的目标重构图像,目标形态特征得到了较大的改善。同理根据IMU检测帧俯仰角分段矫正的原则将图9b的长方体柜子宽度范围内IMU检测帧中俯仰角分成2段,分别为1~7以及8~22帧,2段内俯仰角的平均值分别为−0.74°和3.38°。矫正方法与仿真树相同,由图10b可知,经过矫正、提取和拼接后的目标重构图像,长方体柜子形态同样得到了矫正。
表3为未知复杂地势下目标矫正后相关参数误差分析,经过矫正后,长方体柜子的高度、宽度相对误差分别为8.89%与6.00%,仿真树的高度、宽度以及树冠高度的相对误差分别为5.63%、10.00%和5.00%,基本满足变量喷雾对检测精度的要求。
表3 未知复杂地势下目标矫正后相关参数误差分析Table 3 Error analysis of target parameters after correction on condition of unknown complex terrain
3 结 论
为了克服车体姿态角动态偏移对激光喷雾靶标检测的影响,提出了一种基于IMU姿态角实时矫正的激光喷雾靶标检测方法。分别针对动态侧倾角、俯仰角以及偏航角存在的单一或复合情况,通过矫正算法获取精确的目标外形尺寸信息并重构目标三维图像。试验证明,靶标矫正后重构目标的三维图像形态特征得到了很好的改善。矫正后长方体柜子的高度、宽度最大相对误差分别为8.89%和8.00%。仿真树的高度、宽度以及树冠高度最大相对误差分别为5.63%、10.00%和5.00%。靶标激光检测与矫正试验验证了所提出的姿态角实时矫正算法的有效性,为提高复杂路况下变量喷雾检测精度提供了可供借鉴的方法。
[1] 张波,翟长远,李瀚哲,等. 精准施药技术与装备发展现状分析[J]. 农机化研究,2016,38(4):1-5.
Zhang Bo, Zhai Chagyuan, Li Hanzhe, et al. Development status analysis of precision pesticide application techniques and equipments[J]. Journal of Agricultural Mechanization Research, 2016, 38(4): 1-5. (in Chinese with English abstract)
[2] 邱白晶,闫润,马靖,等. 变量喷雾技术研究进展分析[J].农业机械学报,2015,46(3):59-72.
Qiu Baijing, Yan Run, Ma Jing, et al. Research progress analysis of variable rate sprayer technology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(3): 59-72. (in Chinese with English abstract)
[3] 傅泽田,祁力钧,王俊红. 精准施药技术研究进展与对策[J].农业机械学报,2007,38(1):189-192.
Fu Zetian, Qi Lijun, Wang Junhong. Developmental tendency and strategies of precision pesticide application techniques[J]. Transactions of the Chinese Society for Agricultural Machinery, 2007, 38(1): 189-192. (in Chinese with English abstract)
[4] 李瀚哲,翟长远,张波,等. 果园喷雾靶标探测技术现状分析[J]. 农机化研究,2016,38(2):1-5.
Li Hanzhe, Zhai Chagyuan, Zhang Bo, et al. Status analysis of orchard spray target detection technology[J]. Journal of Agricultural Mechanization Research, 2016, 38(2): 1-5. (in Chinese with English abstract)
[5] Slaughter D C, Giles D K, Tauzer C. Precision offset spray system for roadway shoulder weed control[J]. Journal of Transportation Engineering, 1999, 125(4): 364-371.
[6] 翟长远,赵春江,王秀,等. 幼树靶标探测器设计与试验[J].农业工程学报,2012,28(2):18-22.
Zhai Changyuan, Zhao Chunjiang, Wang Xiu, et al. Design and experiment of young tree target detector[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(2): 18-22. (in Chinese with English abstract)
[7] Solanelles F, Escolà A, Planas S, et al. An electronic control system for pesticide application proportional to the canopy width of tree crops[J]. Bio systems Engineering, 2006, 95(4): 473-481.
[8] 祁力钧,梁霞,冀荣华,等. 基于超声波传感技术的温室草莓冠层三维重构与测量[J]. 农业机械学报,2013,44(9):193-197.
Qi Lijun, Liang Xia, Ji Ronghua, et al. 3-D reconstruction and measurement of greenhouse strawberry canopy based on ultrasonic sensors[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(9): 193-197. (in Chinese with English abstract)
[9] 王万章,洪添胜,陆永超,等. 基于超声波传感器和DGPS的果树冠径检测[J]. 农业工程学报,2006,22(8):158-161.
Wang Wanzhang, Hong Tiansheng, Lu Yongchao, et al. Performance of tree canopy diameter measurement based on ultrasonic sensor and DGPS[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2006, 22(8): 158-161. (in Chinese with English abstract)
[10] Jeon H Y, Zhu H, Derksen R, et al. Evaluation of ultrasonic sensor for variable-rate spray applications[J]. Computers and Electronics in Agriculture, 2011, 75: 213-221.
[11] 俞龙,黄健,赵祚喜,等. 丘陵山地果树冠层体积激光测量方法与试验[J]. 农业机械学报,2013,44(8):224-228.
Yu Long, Huang Jian, Zhao Zuoxi, et al. Laser measurement and experiment of hilly fruit tree canopy volume[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(8): 224-228. (in Chinese with English abstract)
[12] Llorens J, Gil E, Llop J, et al. Ultrasonic and LIDAR sensors for electronic canopy characterization in vineyards: Advances to improve pesticide application methods[J]. Sensors, 2011, 11: 2177-2194.
[13] Palleja T, Tresanchez M, Teixido M, et al. Sensitivity of tree volume measurement to trajectory errors from a terrestrial LIDAR scanner[J]. Agricultural and Forest Meteorology, 2010, 150: 1420-1427.
[14] Palacin J, Palleja T, Tresanchez M, et al. Real-time tree foliage estimation using a ground laser scanner[J]. IEEE Transactions on Instrumentation and Measurement, 2007, 56(4): 1377-1383.
[15] Chen Yu, Zhu Heping, Ozkan H E. Development of a variable-rate sprayer with laser scanning sensor to synchronize spray outputs to tree structures[J]. Transactions of the American Society of Agricultural and Biological Engineers, 2012, 55(3): 773-781.
[16] Liu Hui, Zhu Heping. Evaluation of a laser scanning sensor in detection of complex-shaped targets for variable-rate sprayer development[J]. Transactions of the ASABE, 2016, 59(5): 1181-1192.
[17] 韦雪花,王永国,郑君,等. 基于三维激光扫描点云的树冠体积计算方法[J]. 农业机械学报,2013,44(7):235-240.
Wei Xuehua, Wang Yongguo, Zheng Jun, et al. Tree crown volume calculation based on 3-D laser scanning point clouds data[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(7): 235-240. (in Chinese with English abstract)
[18] 樊仲谋,冯仲科,郑君,等. 基于立方体格网法的树冠体积计算与预估模型建立[J]. 农业机械学报,2015,46(3):320-327.
Fan Zhongmou, Feng Zhongke, Zheng Jun, et al. An establishment of tree crown volume calculation and prediction model using cubic lattice method[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(3): 320-327. (in Chinese with English abstract)
[19] Zaman Q U, Schumann A W, Hostler H K. Quantifying sources of error in ultrasonic measurements of citrus orchards[J]. Transaction of the ASAE, 2007, 23(4): 449-453.
[20] 俞龙,洪添胜,赵祚喜,等. 基于超声波的果树冠层三维重构与体积测量[J]. 农业工程学报,2010,26(11):204-208.
Yu Long, Hong Tiansheng, Zhao Zuoxi, et al. 3D-reconstruction and volume measurement of fruit tree canopy based on ultrasonic sensors[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(11): 204-208. (In Chinese with English abstract)
[21] 王建军,徐立军,李小路,等. 姿态角扰动对机载激光雷达点云数据的影响[J]. 仪器仪表学报,2011,32(8):1810-1817.
Wang Jianjun, Xu Lijun, Li Xiaolu, et al. Impact of attitude deviations on laser point cloud of airborne LiDAR[J]. Chinese Journal of Scientific Instrument, 2011, 32(8): 1810-1817. (in Chinese with English abstract)
[22] 刘慧,李宁,沈跃,等. 模拟复杂地形的喷雾靶标激光检测与三维重构[J]. 农业工程学报,2016,32(18):84-91.
Liu Hui, Li Ning, Shen Yue, et al. Spray target laser scanning detection and three-dimensional reconstruction under simulated complex terrain[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(18): 84-91. (in Chinese with English abstract)
[23] 王晨辉,吴悦,杨凯. 基于STM32的多通道数据采集系统设计[J]. 电子技术应用,2016,42(1):51-53,57.
Wang Chenhui, Wu Yue, Yang Kai. Design of multi-channel data acquisition system based on STM32[J]. Application of Electronic Technique, 2016, 42(1): 51-53, 57. (in Chinese with English abstract)
[24] 李哲,田建艳,郑晟,等.基于MPU6050和HMC5883L的猪的姿态检测[J]. 江苏农业科学,2016,44(2):434-437.
[25] 杜海龙,张荣辉,刘平,等. 捷联惯导系统解算模块的实现[J]. 光学精密工程,2008,16(10):1956-1962.
Du Hailong, Zhang Ronghui, Liu Ping, et al. Realization of attitude algorithm module in strap down inertial guidance system[J]. Optics and Precision Engineering, 2008, 16(10): 1956-1962. (in Chinese with English abstract)
[26] 胡宁博,李剑,赵榉云. 基于HMC5883的电子罗盘设计[J].传感器世界,2011,17(6):35-38.
[27] 范寒柏,陈邵权,王涛,等. 电子罗盘倾角补偿和干扰补偿的理论分析及试验验证[J]. 传感技术学报,2012,25(9):1280-1283.Fan Hanbai, Chen Shaoquan, Wang Tao, et al. Theoretical analysis and experimental verification of the electronic compass tilt compensation and disturbance compensation[J]. Chinese Journal of Sensors and Actuators, 2012, 25(9): 1280-1283. (in Chinese with English abstract)
[28] 曾文锋,李树山,王江安. 基于仿射变换模型的图像配准中的平移、旋转和缩放[J]. 红外与激光工程,2001,30(1):17-20.
Zeng Wenfeng, Li Shushan, Wang Jiang’an. Translation, rotation and scaling changes in image registration based affine transformation model[J]. Infrared and Laser Engineering, 2001, 30(1): 17-20. (in Chinese with English abstract)
[29] 刘沛,陈军. 基于激光扫描的果树树形重构系统研究[J].农机化研究,2011,33(5):199-202.
Liu Pei, Chen Jun. Fruit tree-based reconstruction of laser scanning system[J]. Journal of Agricultural Mechanization Research, 2011, 33(5): 199-202. (in Chinese with English abstract)
[30] 沈跃,夏伟,刘慧,等. 激光传感器在喷雾靶标检测中的研究应用[J]. 农业现代化研究,2017,38(2):335-342.
Shen Yue, Xia Wei, Liu Hui, et al. Application of laser scanning sensor for spray targets detection[J]. Research of Agricultural Modernization, 2017, 38(2): 335-342. (in Chinese with English abstract)
Spray target detection based on laser scanning sensor and real-time correction of IMU attitude angle
Liu Hui, Li Ning, Shen Yue, Xu Hui
(School of Electrical and Information Engineering, Jiangsu University, Zhenjiang 212013, China)
Precise target characteristics detection could provide important parameters for smart variable-rate sprayers. In order to diminish the influence of complex terrain conditions, 3 kinds of dynamic attitude angle deviation correction methods were proposed to mitigate the errors of Lidar-based spray target detection caused by roll angle, pitch angle and yaw angle respectively. An experimental vehicle integrated with a laser scanning sensor detection unit and an inertial measurement unit (IMU) was used to detect spray targets under complex road conditions. The laser sensor detection unit was capable of detecting spray targets with the laser scanner. The inertial measurement unit was able to detect the real-time attitude angle deviations of the vehicle. The dynamic roll correction adopted real-time measured roll angles to correct detection targets and 3-D (three-dimensional) reconstruction images using re-matching trigonometric function and laser scanning polar coordinate value. For the dynamic pitch correction, re-combination of laser scanning target frames and detection points under the guidance of pitch angle values averaged segmentally was used to diminish dynamic pitch angle deviations. The coefficient value of laser scanning depth data combined with yaw angle average values was applied for the dynamic yaw correction. According to the measured vehicle dynamic attitude angle deviations, these 3 kinds of dynamic attitude angle deviation correction methods were put forward to obtain accurate characteristics of the targets and 3-D reconstruction images. The verification experiments for the proposed correction methods to overcome complex field road conditions were divided into 3 test steps. Firstly, an artificial tree and a cuboid chosen as targets were detected with specified detection distances and laser travel speeds to verify pitch correction algorithm when single dynamic pitch angle changed under downhill or uphill terrain. Secondly, the artificial tree was selected as the laser scanning target to test the correction algorithms when dynamic pitch angles combined with roll angles existed under long wooden unilateral bridge terrain. Finally, the artificial tree and the cuboid cabinet were selected as the laser scanning target to verify the correction methods under uneven complex terrain. The data correction process and 3-D image reconstruction were conducted using MATLAB software. The experiment results of 3 steps showed that the maximum relative errors of the height and width of cuboid cabinet were 8.89% and 8.00% respectively after the correction. The relative errors of the height, width and canopy height of the artificial tree were 5.63%, 10.00% and 5.00%, respectively. The 3-D reconstruction images also had significant improvements after the correction. The test results verify the effectiveness of the proposed data correction methods for laser attitude angle deviations correction under complex road conditions.
agricultural machinery; spraying; sensors; inertial measurement unit; attitude angle correction; 3-D reconstruction
10.11975/j.issn.1002-6819.2017.15.011
S491
A
1002-6819(2017)-15-0088-10
2017-02-27
2017-06-11
国家自然科学基金项目(51505195);江苏高校优势学科(PAPD)
刘 慧,女,江苏南京人,副教授,博士生导师,主要从事农业电气化与自动化、智能控制与信号处理等研究。镇江 江苏大学电气信息工程学院,212013。Email:amity@ujs.edu.cn