户外种植园行间可通行区域识别方法研究

毕 松,王远航,李嘉伟,刘 蕾

(北方工业大学电气与控制工程学院,北京100044)

1 引言

我国种植业历史悠久,其产值约占全年农业总产值的50%以上,是农业生产的重要组成部分[1],多以行间间作模式管理。随着用人用工成本等问题的出现,使用智能化农业设施装备替代劳动力成为必然趋势[2]。

户外种植园是典型的非结构化环境,标准的种植园对果树定植形成的行间区域为通行区域。我国种植园目前仍需依靠大量劳动力操控农业移动设施设备进行避障或越障任务[3,4],使用具备高通过性检测、高可通行区域识别能力的自主移动机器人是户外种植园行间生产管理的关键。

近年来,众学者对户外种植园行间环境下的通过性检测进行了多方面的研究。文献[5]提出了一种基于经典地形力学与车载机器人传感器结合的识别关键地形参数的在线估计方法,因缺少更多的特征描述,不适用于行间场景;文献[6]针对户外地形,融合地面高差、地面坡度和地表粗糙度,设计2.5维栅格地图描述方式及地形代价函数,但多应用于地理测绘大比例尺下的区域地形障碍区域估计;文献[7]对露天矿区负障碍地形特征进行了基于MobileNetv3网络的多尺度特征融合的研究,能够准确识别出负障碍地形的区域,但没有对负障碍越障能力的研究。

由于采用传感器和视觉融合处理的方式并不能充分发挥移动机器人自身具备的负障碍通过能力。本文采用基于车辆通行性边界条件与地形特征提取结合的通行性检测及可通行区域识别方法,能够充分发挥移动机器人依靠自身的道路通过性能,检测地形的相对不变特征参数,对负障碍地形的可通行区域实现准确识别。

2 移动机器人通过性分析

2.1 极限倾翻角度阈值分析

移动机器人平台触发倾翻的条件为:汽车重力分解在侧翻台的压力和下滑力对汽车产生的转矩相等,轮地单侧接触点处正向力为零,车辆到达倾翻临界阈值。图1为倾翻时刻的受力分析图。

图1 移动机器人极限倾翻时受力分析图

在图1(a)中,对轮地接触点A的动力矩守恒分析如式(1)所示,规定逆时针为正

mghsinφ-mgb0cosφ+FZ2·B-mayh=0

(1)

式(1)中,m为移动机器人的质量,g为重力加速度,B为轮距,h为质心离地高度,b0为质心到左侧车轮的距离,φ为倾翻角,FZ2为轮地接触点C所受的正向力,ayy方向的重力加速度。根据牛顿第一定律可得式(2)所示侧翻角正切表达式为

(2)

(3)

当平台直线行驶或曲线匀速行驶时,平台向内侧翻的概率减小。式(4)为对轮地接触点C的动力矩守恒分析,规定顺时针为正。

mayh-mghsinφ-mgcosφb0+FZ1·B=0

(4)

式(4)中,FZ1为轮地接触点A所受的正向力,对4式简化可得,向心加速度与重力加速度的比值

(5)

在式(4-6)中,移动机器人弯道行驶发生侧翻的临界条件为FZ1=0且当φ角较小时,sinφ=φ, cosφ=1,代入式(5)中可得式(6)所示的简化判别公式

(6)

2.2 最大越障尺寸分析

如图2所示为平台不发生顶起失效[8]的负障碍越障最大尺寸参数动力学分析。

图2 前、轮进入负障碍受力分析图

图2(a)中,对前轮进行如式(7)所示的动力学分析,规定逆时针方向为正方向。

(7)

式(7)中,G为平台重量;a,b分别为长轴、短轴;F1为对前轮的反作用力;F2为后轴载荷;φ为附着系数;f为滚动阻力系数;β为俯仰角;hw为最低垂直距离。进一步可得出附着系数与相关参数的无因次关系方程如式(8)所示

(8)

后轮驶出负障碍时进行如式(9)所示的动力学分析

(9)

同前轮的处理方式,可得附着系数与相关参数的无因次关系方程。由式(10)可知,轴距大、前轴负荷大的车辆,其后轮越过负障碍的能力要比前轮大,因此优先考察前轮克服负障碍的能力。

(10)

图3中,hw为最低点垂直距离临界。图3(b)中ld为越过负障碍的最大宽度;hw为越过负障碍最大深度;B、N为前轮与负障碍的接触点,由式(11)求得ld。

图3 跨越负障碍时hw的求解示意图

侧向方向上,运用动点联系法,结合相对位置处的深度,进行侧向深度判别,如图4所示。

图4 侧向深度判别原理示意图

图4中,O为相机原点,建立坐标系,A、B为轮地接触点,C为底盘直线M上一动点,D为地面曲线N上一动点,假设此时C、D两点Y向坐标相同,设点C(YC,ZC),D(YD,ZD),OT长度为L。

Zc=Lcosθ-(Yc-Lsinθ)tanθ

(12)

如式(12)所示,若满足当底盘上的动点C的距离值ZC与地面曲线上的动点D的距离值ZD,均有ZC

3 地形特征提取与分析

3.1 地形相对不变特征证明

如图5所示,为车辆前倾时刻,其俯仰角度为θ。

图5中t为水平地面,t′为偏转θ后的平面,在t水平地面上,相机位置P点高度为PH,离重心OG的水平距离为PL。在t′平面上,P点的高度为P′H,离重心的水平距离为P′L。由图5可知直角三角形ΔPST～ΔQSR,由此可得如式(13)的偏转前后的高程变化关系。

(13)

式(13)中L表示后轮到重心的水平距离。相机与重心的水平距离不变时的位置关系如式(14)所示。若车辆俯仰角θ的改变较小,可简化如式(15)所示判断

P′L=PL

(14)

P′H≈PH+(P′L+L)·θ

(15)

视野中某点的邻域内任意两点的相对高程,在移动机器人因路面颠簸而发生位姿改变时保持不变。

3.2 坡度特征提取

根据地形的相对不变高程特性提取坡度特征,地面上某点的坡度表示地面在该点倾斜程度的矢量。坡度值等于负障碍曲面函数在该点的切平面与水平面夹角的正切。位置(i,j)处的坡度数值计算方法采用二次曲面拟合的数值解法[9],采用3×3坡度卷积模板。模型如图6所示。

图6 坡度卷积计算模板

根据图6的坡度卷积计算模板可得到根据高程上两点的相对高度而来关于X,Y(侧向、纵向)方向的坡度值,式(16,17)为X,Y方向上的坡度计算:

(16)

(17)

其中,∇X为垂直于机器人运动方向上的坡度,∇Y为机器人运动方向上的坡度,Δd为高程网格间距,其中Δd=1。由此可知地形的坡度特征同样具有相对不变性。

3.3 地形坡度特征与车辆位姿角的关系

当车辆不考虑车辆的重心偏移和平面极限前翻角的影响,如图17(a)所示对车辆的受力分析,根据牛顿第三定律可知在与平面的相互作用力为0时,车辆即将发生倾翻。

若平台结构为刚性连接,参照图7(b)固定其在水平路面上的车轮,按照此模型使车辆位姿角减小至零度。L为轴距,R为车轮半径,α为坡度角,θ为车辆位姿角,l为固定轮与负障碍的距离;t为过渡距离。根据图10(b)的几何关系由式(18)可知车辆位姿角与地形坡度之间的关系:

图7 地形坡度与车辆位姿角关系图

(18)

式(18)中a=Ltanα、b=L、c=Rtanα+R+Rsinαtanα,通过将高程上各像素点的坡度值进行纵向和侧向的车辆位姿角转化,实现地形信息与车辆信息的关联。

4 行间通行性检测及可通行区域识别阈值选取及数据处理

4.1 平台通过性限制参数阈值求解

固性连接的移动机器人平台具有结构简单、稳定度高、行驶稳定的特点,整体结构参数如表1所示。

表1 移动机器人平台整体参数表

根据表1数据结合(2)式及质心位置测量方法[10]得到如表2所示的车辆前翻、侧翻角度对应表。

表2 车辆前翻、侧翻角度对应表

在纵向角度通过性方面,平台设计角度阈值为47.6°～90.0°,而车辆前翻角度阈值为25.7°～31.7°,前翻角度阈值远小于平台设计角度阈值,因此优先考虑前翻角度阈值作为车辆通过性检测的纵向角度阈值约束。侧向角度阈值选取侧翻阈值26.7°～35.7°。

结合表1和式(7)的顶起失效判断可知,平台不发生顶起失效且具备跨越负障碍的能力。进而结合式(8～13)推得最大跨越的负障碍宽度ld阈值为357.0～424.6mm,越过负障碍最大深度hw阈值为100.7～204.6mm。

4.2 深度数据校正及处理

针对户外种植园行间地形有起伏、坡度不均的特点,采用维特智能JY901陀螺仪模块进行车身位姿校正;根据行间地形高程相对不变特性,采用Basler ToF 3D相机进行地面深度信息的采集,Basler ToF的焦距为3.15mm,分辨率为680×480像素。对灰度图根据如式(20)所示进行深度图转换。

(19)

其中Pv为图像的像素灰度值,Dmax为拍摄设置的最大取样距离,Dmin为拍摄设置的最小取样距离。通过棋盘相机标定法得到内参矩阵和畸变矩阵参数实现深度图像的畸变校正和坐标系转换。通过陀螺仪进行位姿校正,陀螺仪采集部分数据如表3所示。

表3 陀螺仪采集到的部分数据

经位姿、外参校正后,得到如图8所示的校正前后X、Y轴和整体的效果图。

图8 校正前后X、Y轴及整体的效果图

从图8中可以看出,沿X、Y轴及整体校正后前的距离数据整体趋势与水平线趋于平行。位姿误差及相机误差得到了消除。

5 通过性检测及通行区域识别实验与分析

5.1 直行区域负障碍可通行区域识别

通过对负障碍区域的最小外接矩形描绘,并整合子区域,提取负障碍区域的最大宽度及最大长度。根据移动机器人平台自身结构参数,进行如图9所示的直行区域负障碍通行性判别。

图9 直行区域负障碍通行性判别

图10(a)中箭头a指示的为实际负障碍区域最大宽度,箭头b指示的是图像预处理识别的负障碍区域最大宽度。当车辆纵向直线行驶时当负障碍区域最大宽度小于等于轮距,车辆可以沿路边缘直线行驶通过,否则陷入负障碍区域。

图10 直行时负障碍通行区域图像预处理图

根据高程相对不变特性,多负障碍高程描述如图11(a)所示,根据深度相机及陀螺仪高1050mm的安装高度进行负障碍平面分割,高于1050mm的深度数据即为负障碍区域,如图11(b)所示。

图11 负障碍区域图

图11(b)中箭头a指示为相机距离地面-1050mm的拍摄高度线。负障碍深度在1050mm至1280mm之间。

5.2 负障碍地形角度阈值判别

根据相对不变坡度特征,计算每一像素点坐标关于纵向(y)和侧向(x)上的坡度值。图12所示为关于X,Y方向的坡度与位姿角统计图。

图12 X,Y方向的坡度与位姿角统计图

图12(b)(d)为X、Y方向坡度整体视图,坡度值随颜色红、黄、绿、蓝颜色依次递减,红色、黄色定义为陡坡,绿色和蓝色定义为缓坡,缓坡面积占比大,且深蓝色点(坡度值为0的点)在负障碍内部也有较大的占比。

图12(a)(c)中,沿X、Y轴正方向,坡度值在各方向负障碍的边界处达到了极大值,平面与负障碍的衔接处地形发生坡度突变。经统计,X方向上坡度值最大为79.7°,平均坡度为23.9°;Y方向上坡度值最大为80.9°,平均坡度为22.5°。

根据地形坡度与车辆位姿角的转换关系,得到如图12(e)(f)所示为每一像素点的X、Y方向的位姿角。经统计X方向最大位姿角为28.5°,平均位姿角为13.7°;Y方向最大位姿角为27.5°,平均位姿角为13.5°。存在使车辆发生倾翻事故的区域。

结合国家车辆通过性评价标准[11],本文规定了适用于移动机器人平台的道路通过性评价标准,其中倾翻角度σ占比70%,平均坡度τ占比30%。大于0.2的道路为不可通过状态;大于0.1小于0.2的道路为通行困难状态。小于0.1的道路为通行性良好状态。道路状态评价标准如表4所示。

表4 道路状态评价

表5中,此位置存在远大于车辆发生倾翻的角度,但平均坡度较小,车辆倾斜角度相较于整体坡度而言占比较小,地形整体经角度阈值判断,整体可通行。

表5 地形坡度特征及其通过性综合评价

5.3 最大越障尺寸可通行区域判别

移动机器人平台纵向最大越障宽度ld阈值为357.0mm～424.7mm,最大跨越深度hw阈值为100.7mm～204.6mm。侧向进行如式(14)的深度判断。如图13所示为综合角度约束阈值、尺寸约束阈值的通过性检测结果及其图像面积估计。

图13 可通行区域识别结果

图13中,蓝色部分为经角度约束阈值判别的不可通行区域,绿色部分为经尺寸约束阈值判别的不可通行区域,红字为对应负障碍区域的编号及像素尺寸面积。对于此位置的负障碍地形无论其坡度、尺寸均不满足通行条件。车辆可以选择躲避绿、蓝色区域以实现安全行驶。

6 结论

本文研究了存在负障碍环境的轮式移动机器人可通行区域识别方法。主要完成的工作包括:

1)通过基于平台已知参数的通过性约束设计得到了适用于户外种植园行间移动机器人平台的角度、尺寸通过性约束集合,

2)结合深度相机垂直拍摄的地形感知及深度校正、处理方法,识别出可通行区域。提升了移动机器人于户外种植园行间非结构化的道路环境中的通行性识别能力。