基于路径积分强化的机器人目标导向运动控制

2022-08-22于子航王改云

计算机仿真 2022年7期

于子航，王改云

(桂林电子科技大学花江校区电子工程与自动化学院，广西桂林 541000)

1 引言

随着人类对机器人技术智能化本质认识的深入，这项技术就开始不断应用在人类工作以及生活的各个领域内[1]，在与这些领域应用特点相结合，例如：军事、建筑业、服务业、医学、工业以及农业等，都起到了至关重要的用途[2]。

为了使机器人可以完成各种各样的任务以及动作，所制定的控制手段，被称为机器人控制技术，包括的范围非常广泛，从机器人的智能、任务描述到运动控制以及伺服控制等，既包含了控制所需要的各种各样硬件系统，还包含了各种各样的软件系统。因为机器人的发展时间较短，所以很多技术都只是在起步阶段，因此，如果需要机器人自主运动工作，在路径上存在障碍等阻拦物，很容易导致其偏移目标点甚至是失去目标点，使任务无法完成。为此，相关学者对机器人目标导向运动控制做出了研究并取得了一定研究成果。

文献[3]提出基于运动控制和频域分析的移动机器人能耗最优轨迹规划，通过对比期望轨迹与实际输出轨迹，引入频域分析得到轨迹线性能耗模型，搜索全局路径规划的局部目标点，确定能量消耗的最优轨迹。文献[4]提出基于路径积分强化学习方法的蛇形机器人目标导向运动。通过路径积分强化学习得到机器人的步态方程参数，避开障碍物到达目标点，实现机器人运动控制。上述方法均具有一定的有效性，但未能全方面考虑机器人工作路径上的障碍干扰，机器人目标导向运动控制存在一定误差。为此本文提出一种基于路径积分强化的机器人目标导向运动控制方法，不但能够有效的避开路径上的障碍，且操作人员的期望值和实际值之间差距非常小，以此可以说明该方法效果良好。

2 路径积分强化与随机最佳控制分析

随机最佳控制主要应用于控制随机动态的系统，具体性能指标的函数是损失函数，机器人运动轨迹τi的定义公式为

(1)

式中：ti代表起始时刻，tN代表终止时刻，x(t)代表t时刻的状态，u(t)代表t时刻的控制量，φ[·]代表终止时刻tN位置损失函数，L[·]代表立即的损失函数。具体随机最佳的控制目地是为了找到控制量u(t)，且具体评估函数最小公式为

(2)

式中：Eτi[·]代表全部起始状态是xti轨迹的损失函数期望。具体随机动态系统的定义公式为

(3)

式中：xt∈Rn×1代表系统的状态量，Gt=G(xt)∈Rn×p代表控制矩阵，ft=f(xt，t)∈Rn×1代表模型方程，ut∈Rn×1代表控制向量，具体即时回报的定义公式为

(4)

式中：qt=q(xt，t)代表随意依赖于状态损失的函数，R代表半正定的权值矩阵[5]。具体的随机最佳控制HJB方程公式如下

(5)

其中

Ft=f(xt，t)+G(xt)ut

(6)

将式(5)代入至式(6)内，可以获得最佳控制量公式为

(7)

将式(7)代入至式(6)内，可以获得非线性的二阶偏微分方程公式为

(8)

式中：∇x代表雅克比矩阵，∇xx代表黑森矩阵。而直接求解HJB的方程非常复杂，所以要将HJB方程进行转变，变成线性的偏微分方程，依据边界的条件，可以获得

(9)

以此就能够将随机最佳控制问题转变成近似积分的问题，具体式(9)能够转换公式为

(10)

式中：τi=(xti，xti+1，…，xtN)代表样本路径中采样的状态点，P(τi|xi)代表起始状态是xi样本路径τi概率，概率求解为解析解，主要依赖于系统的模型ft，能够采用路径积分的方法完成数值求解，而路径积分的方法不会要求已知的模型，在起始状态xti就随机生成K条路径(τi，1，τi，2，…，τi，K)，具体路径τi，k概率公式为

(11)

而更新控制量为

(12)

经过数值迭代，所得更新控制量就是损失函数的收敛[6]。

3 机器人目标导向运动控制算法

3.1 降维的策略

在凸体空间中搜索机器人目标导向运动路径可行解[7]，能够获得多条可行的路径，但由于搜索过程的时间复杂度比较大，而且搜索出的路径缺少有效标准评价，所以通过目标点确认参考平面，把复杂三维空间的规划问题转变至平面规划上，以此能够极大程度降低算法时间的复杂度[8]。如果目标点的坐标是(xt，yt，zt)，利用目标点向着系统坐标系xOy的平面作投影，将平面x′Oy作为参考平面，具体如图1所示。

图1 目标点确定参考平面

图1内，参考平面是xOy平面围绕着z轴来作旋转角度φ，接着在参考平面中构建坐标系{x′Oy}，构建等效二维目标点映射和三维目标点关系，具体公式为

(13)

结合齐次的变换矩阵T，能够把机器人结构的随机点，利用二维坐标的形式进行描述，就能够完成维度的变换[9]。

经过维度的变换以后，仅需要完成对于弯曲角度遍历，就能够使算法的时间复杂度，降低成O(nk)。

3.2 区域划分确认导向

利用目标点确认导向角度，可以缩小弯曲角度的搜索范围，根据两个方面来约束弯曲角度的搜索过程为：各个关节弯曲的角度θi搜索范围是介于0和目标导向角θ二者间，就是θi<θ<π。全部关节弯曲的角度和值为朝向角度[10]，就是∑θi=θ。

在参考平面中单关节扭曲的角度是θ时，那么关节弯曲末端的坐标公式为

(14)

第一种：1区域的阴影部分：随意取大于90度的θ，具体公式为

l/θ·(1-cosθ)=xt

(15)

式中，θ代表导向的角度。

第二种：1区域的非阴影部分：随意取小于90度的θ，满足式(21)。

(16)

式中，θ代表导向的角度。

(17)

式中，θ代表导向的角度。

利用目标作为导向，减少弯曲角度的变化范围，以此就能够进一步使时间复杂度降低[11]。

3.3 控制算法实现

采用机器人的中心位置作为控制点，把运动简化成单点运动控制模式。因机器人的运动是通过直线运动以及圆弧运动所构成的，所以要在控制点上作法向运动矢量以及切向运动矢量，在其中，切向运动的矢量，即是机器人的运动直线性——运动的方向，而法向运动的矢量即是机器人运动圆弧性。将机器人的起始位置坐标P0设为(X0，Y0)，起始朝向和入口中心切向的夹角是θ0，那么起始位置并垂直于起始朝向方程L0公式为

y-Y0=-ctgθ(x-X0)

(18)

轨迹的曲线是通过一段圆弧和一段直线所构成的，将其简称为R—L模式。

将圆弧圆心C坐标设成(XC，YC)，就能够得出L0通过C点，具体公式为

YC-Y0=-ctgθ(XC-X0)

(19)

(20)

即式(19)代表入口方向和运动圆弧同向相切，就是控制点走了一段圆弧，接着头朝向入口处走直线来实现整体运动。而式(20)代表入口方向和运动圆弧逆向相切，就是控制点倒着走了一段圆弧，接着背向入口位置倒退走直线实现整体运动。

轨迹的曲线是通过两段圆弧和一段直线所构成，将其简称为R—R—L模式。

1)机器人存在原地自转的能力

在0≤θ<2arctg(Y0/X0)或者3θ/2<θ<2π时，可以使机器人进行原地自转180度，就能够满足R—L的模式处理条件，转化成R—L模式进行处理。这时R—R—L内第一段的圆弧，就是机器人进行自转180度圆弧运动，而第二部分的R—L控制起始点(Y0，X0)不变，θ利用θ+π进行代替。将其代入式(20)内进行计算，就能够得出圆弧的圆心(XC，YC)坐标值。

2)机器人不能够原地自转，存在最小的转弯半径Rmin。

这时，机器人会沿着最小的转弯半径Rmin行驶半个圆弧，通过这样θ就能够变成θ+π，同样能够满足R—L处理的条件，将其转化成R—L情节进行处理。这时R—R—L内第一段的圆弧，就代表机器人围绕着最小的转弯半径行驶半个圆弧，具体的圆弧圆心坐标(XC0，YC0)计算能够获得公式为

(21)

行驶完第一段的半圆弧之后坐标(X1，Y1)公式为

(22)

接着机器人以(X1，Y1)作为起始点，完成R—L控制，具体计算结果和式(21)相似，不过有所不同的是(X0，Y0)值利用(X1，Y1)进行代替[12]，θ值利用θ+π代替。以此即能够完成机器人导向运动控制。

4 仿真研究

为了验证本文控制算法的有效性，在Matlab/Simulink的软件内搭建机器人与路面模型，设置障碍实施仿真。

以文献[3]、文献[4]方法作为实验对比方法，得到具体机器人导向运动曲线结果如图2所示。

图2 机器人的导向运动曲线

根据图2能够看出，在所提的目标导向控制算法下，移动机器人的实际轨迹和所期望的轨迹非常接近，而文献方法与期望值存在一定偏差。所提方法的采用基贝尔曼的最优准则及HJB方程，能够计算出最佳控制与路径积分二者间的关系，通过目标点确认导向角度，因此得到的导向运动曲线与期望值十分接近，导向控制精度高。

在此基础上验证机器人的轨迹曲率以及跟随特性，得到实验对比结果如图3所示。

图3 机器人的轨迹曲率以及跟随特性

分析图3可知，随着时间的增加，所提方法的机器人轨迹曲率波动较小，在20s时曲率保持稳定，且与期望值十分接近；而文献对比方法的机器人轨迹曲率波动大，且难以保达到稳定状态。所提方法利用降维策略缩小了搜索变量个数，以机器人中心位置作为控制点，简化运动控制方式为单点控制，实现了机器人轨迹的精准控制。由此可见，所提方法的超调量比较小，稳态的误差小。