基于神经网络的无人机云服务质量控制方法研究

高昂, 段渭军, 李立欣, 张会生, 胡延苏

(1.西北工业大学 电子信息学院， 陕西 西安 710072; 2.物联网技术及应用国家地方联合工程实验室， 陕西 西安 710072;3.长安大学 电子与控制工程学院， 陕西 西安 710064)

0 引言

为适应现代战争高对抗、高不确定、高动态的战场环境，军用无人机(UAV)正在从单一平台作战向多平台集群作战的方式发展，各节点间通过无线方式进行协作，共同分享信息和承担计算负载[1]。然而，总的信息处理能力受限于平台载荷，集群整体智力水平依然较低。云计算与UAV的结合——UAV云[2]，为这些问题的解决提供了新的思路[3-4]。借助云端强大的并行计算、存储和通信能力，可以将区域监视、实时定位与地图构建、自主决策等计算密集型应用卸载到云平台高效执行，并在云端延伸出更加强大、复杂的功能。如图1所示，UAV卸载的任务以会话的形式被分割成多个作业流，由云端多个宿主主机并行处理。在网络接入方面，为了提高节点在复杂环境下的生存能力，往往采用去中心化的自组织网络，所有节点共享信道并采用载波侦听多路访问与冲突避免(CSMA/CA)的方式接入[5]。云端应用的作业流最终以MAC 帧承载并以先入先出的方式竞争信道。

由于UAV应用的实时性存在差异，其形成的网络传输对服务质量(QoS)需求不尽相同。各类飞行器基于自身处理能力、任务环境、突发事件等差异，对网络和云端资源的竞争不可避免[6-7]。尤其是异构、跨层融合的 “瘦客户端”型UAV广泛存在和新老搭配使用，使得QoS控制只能由数据链路层和物理层来完成。

这方面的研究往往基于多队列隔离的结构，进而通过控制退避窗口、发送时隙或帧间间隔，实现有区分的接入控制，如QS-MAC[8]、PRIN-MAC[9]、AS-MAC[10]、RF-MAC[11]、CACC[12]、TTSDM和DARS[13]等。这些方法在特定场景下均具有一定的吞吐量和延迟性能改善[14-15]，却没有对系统的稳定性、动态性能等进行理论分析。如在UAV应用负载变化情况下，这种多队列模型是否总是收敛；如果收敛，系统的稳定性如何。文献[16]从控制理论的角度出发，提出了基于最少拍控制的反馈接入MACFD-MAC协议。但仍然存在以下不足：1)收发器往往周期性的休眠和工作以节省能量，延长网络寿命，因此在实现QoS支持时能耗问题不容忽略；2)FD-MAC协议仅讨论了不同优先级的相对区分服务，而在实际UAV云场景中，实时性任务的绝对QoS约束必须得到优先保证；3)FD-MAC协议将系统近似为一个线性模型，而事实上，受上层业务突发和网络拓扑快变的双重影响，控制模型具有明显的非线性，很难通过系统分析或识别等手段线性化。

综上所述，本文针对UAV云系统QoS差异化需求和资源能量受限等特点，提出一种基于BP神经网络的双闭环接入控制(BPFD-MAC)方法，在保证最大化能量利用率前提下，同时实现绝对QoS和相对QoS保证。首先，采用N+1模型，将绝对QoS约束和相对QoS约束进行解耦；其次，针对绝对QoS约束建立活动时间闭环(AT-loop)，根据实测延迟动态调整节点MAC传输的活动时间；针对相对QoS约束，建立退避窗口闭环(CW-loop)，根据不同优先级实际延迟比，调整它们退避时间的初始上限，从而保证不同优先级延迟的比例关系恒定，防止低优先级被过分牺牲；同时，设计基于BP神经网络的PID控制器，利用神经网络非线性自学习和自训练的特点，对控制器参数进行自适应校正，保证上层应用在动态负载下的高可靠和高实时性。实验结果表明，在网络高负载下BPFD-MAC协议具有更高的吞吐量和能量利用率，在网络低负载下具有更低的能耗。

1 BPFD-MAC模型

根据云端卸载任务的不同，MAC层形成的帧流可以被分为I+J类不同的优先级；在每个UAV节点上，这些不同的优先级在相互隔离的队列中按照CSMA/CA方式共享信道。其中，有I类帧流要求点对点性能满足约束(1)式，为绝对QoS约束；有J类帧流要求点对点性能指标关系满足约束(2)式，为相对QoS约束。

ζi≤Li,i=1,2,…，I，

(1)

(2)

式中：ζi、ζj、ζj+1为实际测量的QoS指标(ζi、ζj、ζj+1可以是丢包率、节点带宽、吞吐量等指标。不失一般性，本文采用点对点平均延迟)；Li为期望的QoS指标；δj、δj+1为固有优先级参数，δj、δj+1越小，作业的期望延迟越低，业务类的优先级越高。在服务过程中，使得QoS指标满足绝对QoS约束，为绝对QoS保证；使得QoS指标满足相对QoS约束，即控制不同优先级QoS指标比例关系恒定，在保证高优先级的性能不低于低优先级的同时，兼顾业务之间的公平性，为相对QoS保证。

无论是帧流的分类策略还是QoS指标和固有优先级参数的取值，都可以采用上层协议动态协商或系统提前固化的方式，本文不再赘述。

1.1 N+1模型

实际上，服从绝对约束的I类帧流和服从相对约束的J类帧流可统一为N+1模型。由AT-loop控制节点的活动时间，保证最高优先级业务类S的绝对延迟ζS=LS，LS为绝对延迟期望值，S=min (Li)，函数min (·)返回值为期望延迟最小的业务类编号；剩余的N(N=I+J-1)类帧流由CW-loop分别控制其退避窗口大小，从而保证相互间的延迟比恒定。故(1)式和(2)式可以重写为

ζS=LS,S=min (Li),

(3)

(4)

(5)

(4)式保证了所有绝对QoS约束的延迟等于其约束值Li；(5)式保证了不同优先级相对QoS约束的延迟比恒定，从而避免了网络拥塞时低优先级被过分的牺牲。

1.2 AT-loop

图2为基于BP神经网络的双闭环接入控制模型模型，其中：Yr为归一化延迟比的期望值，E(k)为延迟比偏差，k为采样周期，U(k)为缩放向量，Y(k)为实际测量的归一化延迟比，KP、KI和KD为PID控制器参数。图2中，AT-loop(蓝色虚线方框)通过动态调整活动时间，实现绝对延迟保证和能耗管理。当网络流量较大时，增大活动时间以减小碰撞概率；反之，减小活动时间以节省能耗。AT控制器采用BP神经网络的方法实现系统反馈和控制器参数自整定。根据绝对延迟偏差eS(k)=ζS(k)-LS，调整下一个采样周期的活动时间TS(k+1). 同时，偏差eS和活动时间TS作为输入输出训练神经网络。

需要注意的是，对优先级S来说，由于其在单一节点传输中所占的比例是动态变化的，AT-loop闭环通过对TS的控制消除偏差eS. 但是，在竞争窗口闭环中，接入时间的变化量ΔTS，实际上最终会被多个业务类以差分二进制退避机制(LD-BEB)的方式消耗，并再次影响测量延迟。尽管如此，得益于负反馈控制的自适应性，可以将活动时间和竞争窗口进行解耦，单独控制。

1.3 竞争窗口闭环

图2中，CW-loop(红色虚线方框)通过控制退避窗口的大小，实现各优先级的差异化接入概率。实际上，由于IEEE 802.11 CSMA/CA协议所采用的二进制指数退避(BEB)算法，本身不具备接入概率控制能力。

因此，本文在BEB基础上提出一种LD-BEB算法。通过为每类优先级引入缩放向量U(k)=[u1(k),u2(k),…,ui(k)，…，uN-1(k)]T，当MAC层有帧发送并且信道空闲时，在竞争窗口[0,ui(k)Wmin-1],1≤ui(k)≤Wmax/Wmin内随机延迟一段时间后，再由物理层发送，Wmax、Wmin分别为窗口大小的上下限；若发生碰撞，则窗口大小以指数速率增加[0,Wτ-1],τ为连续发生碰撞的次数。

Wτ=min (2τui(k)Wmin,Wmax).

(6)

与AT控制器类似，CW控制器同样采用基于BP神经网络的自适应控制器。神经网络的输入为延迟比偏差E(k)=Y(k)-Yr，输出为缩放向量X(k)，其中Yr、Y(k)分别为归一化的期望延迟和实际测量的归一化延迟：

(7)

2 神经网络自适应控制器设计

由于UAV云系统网络拓扑的动态变化和任务的突发性，无论是活动时间闭环还是竞争窗口闭环，都展现出典型的非线性和时变性。本文利用神经网络非线性自学习和自训练的特点，对控制器参数进行自适应校正，以保证负载变化情况下控制器的有效性和稳定性。

2.1 控制器结构

以竞争窗口闭环为例，其控制系统由经典PID控制器和BP神经网络两部分组成。经典增量式数字PID的控制算式为

u(k)=u(k-1)+KP(e(k)-e(k-1))+KIe(k)+
KD(e(k)-2e(k-1)+e(k-2)).

(8)

BPFD-MAC通过神经网络的自学习、加权系数调整，对控制器参数进行优化，此时，(8)式可写为

u(k)=
f[u(k-1),KP,KI,KD,e(k),e(k-1),e(k-2)],

(9)

式中：f(·)是与KP、KI、KD、u(k-1)和e(k)等有关的非线性函数。

2.2 神经网络训练

由于UAV有限的计算资源，神经网络应能在较低的计算复杂度下实现参数的快速收敛。在本文所提出的BP神经网络为基础的自适应控制器中，采用如图3所示的3层神经网络架构，每层分别有4、L、3个神经元。具体原因如下：1)理论上，3层神经网络架构可以用来近似任何的非线性系统，并且随着隐藏层神经元数量的增加，计算复杂度以指数速率增加[17]；2)对于本文所构建的双闭环接入控制模型以及所构建的实物仿真场景，通过F检验，在5%置信区间下，3层神经网络和大于3层神经网络架构，在KP、KI、KD参数收敛上，没有显著差异。

1)输入层的输出：

(10)

(11)

2)隐含层的输入与输出：

(12)

3)输出层的输入：

(13)

取被控对象的实际输出yi(k)和期望输出yir之间的欧式距离，作为度量神经网络的性能指标函数：

(14)

Q(k)越小，说明神经网络自适应PID的控制追踪期望值能力越强。按Q(k)对加权系数的负梯度方向搜索调整，并附加使搜索快速收敛全局极小的惯性项，则有

(15)

(16)

因此，输出层权计算公式为

(17)

同理，可得隐含层权重计算公式为

(18)

综上所述，基于BP神经网络的PID参数自适应算法如表1所示。

3 实验分析

本文设计了4组对比实验，分别讨论动态性能、能量消耗、系统稳定性和统计静态性能。UAV节点采用ZigBit900无线模块(784/868/915 MHz IEEE 802.15.4 模块)实现去中心的自组织网络。其内部集成了ATmega1281V 微控制器和AT86RF212 射频收发器。借助于美国Atmel公司提供的AVR2025开发包，在微控制器内部构建多队列结构进行不同业务流的性能隔离，进而调整射频芯片内部的队列选择、退避窗口大小和活动时间，实现动态AT和CW调整。AVR2025开发包提供了API回调函数，当帧数据被成功发送时，通过对回调函数的间隔，能够计算出点对点的平均传输延迟。

表1 基于BP神经网络的PID参数自适应算法

T-loop和CW-loop均采用3层BP神经网络结构，自适应调整PID控制器参数，相关初始参数的选择如表2所示。

表2 BPFD-MAC神经网络初始参数

需要说明的是，文献[16]中已经将FD-MAC与其他基于QoS区分服务的MAC协议进行了对比，并证明了其优越性。因此，本文仅就BPFD-MAC协议和FD-MAC协议进行实验比较。

3.1 动态性能验证

动态性能关注QoS指标随时间变化的情况，用来评价控制器的性能。实验中采用Off-and-then-on方式模拟阶跃信号。共持续600 s：0～200 s，无控制器作用，节点工作在标准IEEE 802.15.4 MAC方式下；200～400 s, 仅CW-loop工作，节点工作在FD-MAC方式下；400～600 s，AT-loop和CW-loop同时作用，节点工作在BPFD-MAC方式下。

假设网络中存在3类应用，其中Pri 1、Pri 2、Pri 3分别为实时(RT)应用、流传输(ST)和其他尽力服务(BE)应用所产生的帧流。针对云机器应用场景设计了两组对比试验，即强约束(STC)场景和弱约束(WTC)场景。对前者，绝对QoS约束条件为ζ1≤LSTC=2 ms，模拟负载变强时，高优先级QoS期望指标小于实际延迟的场景；对后者，ζ1≤LWTC=6 ms，模拟负载强度降低时，QoS期望指标大于实际延迟的场景。两类场景下BE帧流的相对QoS约束均为ζ2/ζ3=δ2/δ3=2/3.

图4(a)和图5(a)为STC场景和WTC场景下节点1～节点5(其余15个节点情况类似)的延迟变化情况。由图4(a)和图5(a)可见：0～200 s(802.15.4 MAC协议)，各类帧流的延迟没有明显的区别；200～400 s (FD-MAC协议)，不同优先级的平均延迟出现了明显差异，但Pri 1没有满足绝对延迟约束要求，即LSTC=2 ms或LWTC=6 ms；400～600 s (BPFD-MAC协议)，区分的情况仍然显著，帧流Pri 1的绝对延迟也分别降低到2 ms和增加到6 ms.

图4(b)和图5(b)为STC场景和WTC场景下两类BE帧流的延迟比。由图4(b)和图5(b)显而易见：200～400 s，无论是FD-MAC还是BPFD-MAC，均能很好地保证延迟比恒定；同时BPFD-MAC还具有绝对延迟控制能力。

图4(c)和图5(c)为STC场景和WTC场景下节点吞吐量情况。由图4(c)和图5(c)可见：在前400 s(802.15.4和FD-MAC方式)，节点的吞吐量没有明显变化，与之前的研究结论相符[17]；400～600 s (BPFD-MAC协议)，STC场景下，绝对延迟越小，对应的节点吞吐量越大，WTC场景反之。这说明：相对于802.15.4 MAC协议和FD-MAC协议、CSFD-MAC协议在STC场景下，增加节点的活动时间，能够提高信道的时间利用率和吞吐量，进而降低延迟；反之，在WTC场景下，降低节点收发器的活动时间可以节省能力，同时吞吐量降低。这与本文的初衷相符。

图4(d)和图5(d)为STC场景和WTC场景下节点1(其余19个节点情况类似)控制器参数和偏差变化情况。由图4(d)和图5(d)可见，当两级控制器开启后400～600 s(BPFD-MAC协议)，无论是STC场景还是WTC场景，控制器参数KP、KI、KD均在小于20 s的时间内收敛，对应的偏差也很快消除。事实上，BP算法是一种梯度下降法，每次调节的幅度均以与误差呈正比的学习率η进行[18-19]，当学习率η=0.28时，从图4(d)和图5(d)的偏差消除情况来看，算法收敛且满足BPFD实时性需求。

3.2 能量效率

能量效率和生存时间是UAV等智能群体网络构建时的重要参考指标。本文采用平均帧能量消耗度量节点能量效率，平均帧能量消耗越小，能力效率越高；总能量消耗评价节点生存时间，在总能量一定情况下，总能量消耗越少，节点生存时间越长。

通常，提高能量效率意味着节点在网络传输中应避免不必要的浪费，如碰撞导致的数据重传和静态电路消耗等；降低总能量消耗意味着节点应尽可能多地处于休眠状态。图6为STC场景 (见图6(a)、图6(b))和WTC场景(见图6(c)、图6(d))下，节点1～节点5的平均帧能量消耗和总能量消耗。不失一般性，图6仅显示了最高优先级Pri 1和最低优先级Pri 3的帧流能量消耗情况。由图6可见：

1) 200～400 s (FD-MAC协议)，无论STC场景还是WTC场景(见图6(a)、图6(c))，平均帧能量消耗和总能量消耗均大于0～200 s (802.15.4 MAC协议)。原因是过小的竞争窗口增加了碰撞概率，由此产生的数据重传浪费了部分能量并降低了能量利用效率。

2) 400～600 s (BPFD-MAC协议)，STC场景下(见图6(a))平均帧能量消耗降低，能量效率增加；而WTC场景下(见图6(c))，平均帧能量消耗几乎不变。这是因为STC场景下，增加的吞度量(见图4(c))远超过了碰撞概率升高导致的能量消耗增长；而WTC场景下，吞吐量和总能量消耗都降低了，且二者数值上基本抵消。

3) 400～600 s (BPFD-MAC协议)，STC场景和WTC场景下，节点总能量消耗也不同。STC场景下(见图6(b))，总能量消耗要大于WTC场景 (见图6(d))，这是因为在WTC场景下，节点活动时间较短，避免了不必要的电路消耗。

值得注意的是：相对于FD-MAC协议，在STC场景下，BPFD-MAC协议有更低的平均帧能量消耗和近乎相同的生存时间；在WTC场景下，BPFD-MAC协议有更低的总能量消耗和近乎相同的能量效率。

3.3 稳定性验证

在STC场景下，BPFD-MAC协议牺牲生存时间(更高的总能量消耗，见图6(b))，获取了更高的吞吐量(见图4(c))和更低的延迟(见图4(a))。在云机器人等智能群体自组织网络中，STC场景更为常见。图7(a)为上层应用所产生的帧传输到达速率随时间变化情况，其中：Pri 1承载RT业务，Pri 3承载BE业务，速率在250～100帧/s范围内，以300 s为周期变化；Pri 2承载ST业务，速率恒定为170帧/s. BPFD-MAC协议在1 000 s开始工作，图7(b)为对应各节点延迟变化情况。由图7可见：

1) 0～1 000 s(802.15.4MAC协议), 各类帧流的延迟随着帧到达速率变化，特别是在300～600 s，各节点都存在Pri 1帧流的延迟大于Pri 3帧流的情况。

2) 1 000～2 000 s(BPFD-MAC协议), 随着帧到达率变化，各类帧流的延迟存在小的抖动，但延迟被较好地区分，特别是Pir 1延迟基本上被控制在了2 ms左右。

3)由于帧传输到达速率以门函数形式变化，存在上跳沿和下跳沿两个冲击，对控制系统来说，是更为恶劣的输入条件。在这种条件下，BPFD-MAC协议仍然能够维持不同优先级的比例关系和高实时帧流的绝对延迟保证，具有良好的系统稳定性。

3.4 静态性能

为了验证BPFD-MAC协议的静态性能，在STC场景下，随着负载强度的增加，统计分析节点的吞吐量和能量消耗情况。如图8所示，负载强度沿着y轴增加，x轴方向依次表示为IEEE 802.15.4 MAC协议、FD-MAC协议和BPFD-MAC协议，z轴方向分别为吞吐量(见图8(a))和平均帧能量消耗(见图8(b))。

由图8(a)可见：相对802.15.4协议和FD-MAC协议，BPFD-MAC协议不仅支持绝对延迟和相对延迟保证，而且能够同时提高优先级和低优先级的吞吐量(吞吐量之和平均提高了18%)；而FD-MAC协议相对于802.15.4 MAC协议，虽然也能够实现区分的延迟，但节点总的吞吐量没有显著变化(所有优先级吞吐量之和没有明显变化)。

由图8(b)可见，在各种负载强度下，BPFD-MAC协议的平均帧能量消耗明显低于FD-MAC协议和802.15.4协议(平均降低了14%)。这表明BPFD-MAC协议有更好的能量效率。

4 结论

1)本文从控制角度研究了UAV云系统动态任务卸载模式下网络传输的QoS控制问题，在资源需求和QoS指标之间建立联系，提出并实现了一种基于BPFD-MAC的方法，分别用来控制高优先级绝对延迟和其他优先级的相对延迟，在最大化能量利用率的同时，实现了多种优先级传输的绝对QoS和相对QoS保证。

2)借助于良好设计的自适应闭环系统自稳定和自校正特点，无需对资源的需求进行精确预测。两级反馈控制器均采用BP神经网络为基础的PID自适应控制，由于神经网络具有良好的非线性逼近能力，BPFD-MAC协议具有较好的动态性能。硬件实验结果表明，相对于FD-MAC协议，BPFD-MAC协议不仅能够在负载动态变化时同时提供相对和绝对QoS保证，而且在STC场景下，节点具有更高的吞吐量和能量利用率，在WTC场景下具有更低的能量消耗。