基于P O M D P的机载网络信道接入策略研究

2016-09-20张衡阳徐丁海黄国策空军工程大学信息与导航学院陕西西安70077人民解放军93995部队陕西西安70306中国航空无线电电子65所上海0033

系统工程与电子技术 2016年3期

卓琨，张衡阳，徐丁海，郑博，3，黄国策（.空军工程大学信息与导航学院，陕西　西安70077；.人民解放军93995部队，陕西　西安70306；3.中国航空无线电电子65所，上海0033）

卓琨1，张衡阳1，徐丁海2，郑博1，3，黄国策1
（1.空军工程大学信息与导航学院，陕西西安710077；2.人民解放军93995部队，陕西西安710306；3.中国航空无线电电子615所，上海200233）

针对机载网络随机竞争类媒介接入控制（mediu m access control，M A C）协议在网络负载较重时性能下降严重、接入门限值设置缺乏理论依据和多优先级业务服务质量无法有效支持等问题，提出一种基于部分可观测马尔可夫决策过程的信道接入策略。在以不同优先级分组占用信道代价作为目标函数的基础上建立动态规划方程，采用状态空间压缩方法对问题求解进行简化，得到各优先级分组间理论近似最优接入门限值的数学表达式，可为不同优先级分组的接入决策过程提供理论依据并实现接入冲突的有效控制。仿真结果表明，该算法能够有效提高数据传输的时延、成功概率等性能，满足军事航空通信中数据传输的实时性和可靠性需求。

机载网络；自组织网络；媒介接入控制协议；马尔可夫决策过程；接入门限

网址：w w w.sys-ele.co m

0 引言

机载网络（airborne network，A N）［1］是美军依据网络中心战需求而提出的新型作战飞机无线网络互联技术，所采用的自组织（ad hoc）网络结构具有无需基础设施、动态组网形式灵活、自愈性和抗毁性强等优势，可大幅提高各类飞行器之间的网络化协同作战能力，已成为未来航空战术移动互联网络的重要发展方向之一［2 3］。但机载网络不仅具有传统ad hoc网络带宽受限、链路易受影响的特点，同时还具有自身的独特性［4 5］，如网络节点大尺度稀疏分布、节点高移动性带来的网络拓扑高动态变化等，从而使得地面ad hoc网络的现有成熟协议难以直接应用；同时在军事航空通信中还具有对作战指令、武器控制、目标情报等时延敏感性信息的高可靠性、低时延传输需求。这都对影响网络信息时效性关键因素——媒介接入控制（mediu m access control，M A C）协议的设计提出了更高的要求。

当前机载网络应用的M A C协议主要可分为3类。

（1）基于调度类M A C协议，以T D M A［6］和令牌环［7 8］为代表。这类协议的主要思想是将无线资源以预规划的形式分配给不同的节点来保证其传输需求，优势在于网络负载较重时可有效降低冲突概率，获得较高信道利用率和吞吐量；但缺点也是明显的，无法保障节点突发类业务的实时性传输需求，而预规划机制会造成轻负载时的网络资源浪费、平均传输时延较大、网络成员数量限制、灵活性和可扩展性不足等问题。

（2）基于预约竞争类M A C协议，以802.11 D CF［9］为代表，也是绝大部分机载网络路由协议研究中所采用的默认M A C协议。其本质是通过控制帧分组交互实现无线资源分配，但航空环境中不可忽视的传播时延将会对协议性能产生严重影响，在高动态航空环境中无法直接应用。

（3）A L O H A和CS M A等随机竞争类M A C协议未能有效解决隐藏终端问题，在网络负载较重时会使得传输冲突概率急剧增长，从而造成信道接入困难和信道利用率下降。美军战术瞄准网络技术（tactical targeting network technology，T T N T）所采用的SP M A［10-11］（statistical priority-based m ultiple access）协议实现了数据分组的高速低时延传输能力，该协议基于多信道认知和跳频跳时机制，不需要为节点预先分配或预约时隙，只需通过统计信道占用情况实现不同优先级数据分组的接入控制。但由于技术保密的原因，对不同优先级网络忙闲程度门限接入值的设置并没有给出明确方法，而网络忙闲程度阈值的设定会直接影响到此类协议的性能，决定了不同优先级分组服务质量（quality of serive，QoS）、网络整体性能的优劣。

文献［12］针对机载网络业务负载和系统吞吐量之间的抛物线关系，通过业务负载门限值接入权限来最大化系统吞吐量，自适应机制可为网络实时性业务提供低时延传输能力；文献［13］中提出了一种带有差分服务的航空ad hoc网络M A C协议，通过为高、低两种优先级分组提供不同的排队策略和网络接入权限（满足高优先级业务的一次成功传输概率需求）来实现差分服务的能力。文献［12-13］虽然从理论和仿真上证明了通过设置业务负载门限值可有效提升网络性能，但是衡量不同优先级网络接入权限的参数——网络忙闲程度阈值的设置是由特定网络参数仿真求出，不具有一般性；同时仅设置两类优先级难以对多优先级业务的不同QoS传输需求进行有效支撑。

针对上述问题，提出一种基于部分可观测马尔可夫决策过程（partial observable Markov decission processes，P O M DP）的机载网络信道接入策略。P O M D P在认知无线网络频谱接入中得到了广泛应用［14-15］，主要用于解决次用户如何确定最优接入策略来快速接入频谱空洞。而本文的区别在于网络节点利用已接收到的广播信息和历史决策信息，通过将不同优先级分组占用信道的代价作为目标函数，利用P O M D P理论建立了动态规划方程，采用压缩状态空间的方法求解得到近似最优的不同优先级之间的理论接入门限值AT H。当网络占用信道数超过该优先级分组由P O M D P所确定的门限值AT H时，选择不接入信道的行动（延迟发送或丢弃）。从而将不同优先级分组对整个网络信道的占用控制在一个合理程度，避免了不同优先级分组之间的碰撞，降低了分组发送的冲突概率和网络的端到端时延性能，提高了数据传输的时效性和可靠性，能够为多优先级业务的区分QoS提供良好支撑。可看出最关键性的问题在于如何合理确定不同优先级间的接入门限值ATH。

1 POMDP建模

一个典型的机载网络多信道机制的信道状态模型如图1所示，其中包括了N条独立可用子信道，称之为子信道f1，f2，…，fN，竖线所分隔的子信道部分代表某一时刻的信道状态。其中阴影表示当前时刻某子信道被突发分组所占用；而空白则表示未被突发分组所占用，即信道状态空闲。

图1 机载网络多信道状态模型图

1.1 M D P建模

状态空间S：系统所有状态所组成的有限集，由N条子信道的可能取值状态构成，其中每条子信道都由状态0（空闲）和1（占用）所组成，故系统的状态空间可表示为

由于任意子状态的二元性，可将状态空间简化为决策时刻n处的信道占用数N′（n），其中N′≤N。

行动决策集A：对于在特定时刻上的某状态i∈S，可将行动接入某信道定义为a（i）=1；不采取接入行动定义为a（i）=0。

转移概率pij（a）：表示在决策时刻n时系统处于状态i，当采取行动a（i）∈A后系统在下一时刻n+1处转移到状态j的概率。对于。

费用函数c（i，a）：表示在决策时刻n系统处于状态i时，采取行动a（i）∈A时后系统在本阶段所产生的费用记为c（i，a）。

收益函数V：采用策略π折扣期望函数。

1.2 动态规划方程建立

由于网络节点仅能获得时刻n-k的全网络信道状态信息和自身决策历史信息，无法确定决策时刻n的全网络信道状态信息，因此是一个不完全信息条件下的M D P，由此可利用P O M D P来进行求解，其目标是：节点采用什么样的接入策略使得折扣期望函数达到最小。可定义节点在决策时刻n处所面临的状态S（n）为

可定义决策序列向量ak为

故状态S（n）可表示为

对整个网络而言，分组接入某子信道意味着获得了该信道上突发分组接入所带来的即时吞吐量。这里假定全网络的多个独立子信道上带宽间隔相等，采用相同的发射功率、调制方式和纠错方案，具有相同的信噪比，由此可看出分组接入某条子信道将会带来定值吞吐量T的收益。

突发分组在接入信道获得即时吞吐量的同时也占用了信道资源，造成了其他分组无法接入。因而可用服务花费的平均时间μ进行度量，相应地N′个子信道同时被占用所花费的代价为N′μ。

同时可定义优先级权重来对不同优先级分组的接入、占用过程进行度量：节点在n-k时刻通过广播信息获取网络中当前时刻m个不同优先级分组的数量分别为pi（1≤为不同的优先级基准权重值，并按照大小依次排列。

为了确保高优先级业务的高可靠性、实时性传输，以门限接入权值θp（0＜…＜θp＜…＜θ1＜1）来对不同优先级分组间的接入过程进行度量，将优先级从高到低按照qi权值减小的顺序依次对应，两优先级之间的门限接入权值θp设为所对应的两权值qi、qi+1的均值，则高优先级间θp取值将会越大。同时可定义代价权值τp（0＜τ1＜…＜τp＜…＜1）对不同优先级分组的信道占用过程进行度量，将优先级从高到低按照qi权值增大的顺序依次对应，两优先级之间的门限占用权值τp设为对应的两权值qi、qi-1的均值，则高优先级间对应的权值τp值越小。

定义在N′（n）条件下，节点执行行动a（n）的代价C（S（n），a（n））为

表示在决策时刻n全网络占用信道所花费的代价期望值和执行行动接入（a（n）=1）所带来的收益。

则Pak（x）表示Pak的第x行，对应于全网络在n-k时刻信道占用数N′经后续状态不断变化后，全网络在决策时刻n处信道占用数的概率分布。由此代价C（S（n），a（n））可改写为

式中，（PakD）（x）的含义是在决策序列向量ak=（ak，ak-1，…，a1）条件下，决策时刻n处信道占用花费代价的期望值。因此使用策略π折扣期望函数为

则信道接入状态k步延时问题的最优策略满足

由此可确定P O M D P动态规划方程为

式中，min部分的0表示节点采取a（i）=0，后一个表达式表示节点采取a（i）=1。

对任意信道占用数N′（n-k）（0≤N′（n-k）≤N）和决策序列向量ak有

2 P O M D P求解

由于信道占用数的最大值为N，上述问题的全状态P O M D P动态规划方程组将会包含2k×（N+1）个方程需要求解。随着k和N的增大，方程数将会呈指数增长，求解难度非常大，甚至不存在最优策略的精确解。因此必须要通过对问题进行转化来实现求解方程维数的降低，在此利用状态空间压缩方法来简化问题求解。

2.1 动态规划方程降维

这里引入辅助行动决策集E，定义

其中某条信道上ei=1表示在时刻n-i末期退出了信道，而ei=0则表示继续占用。当在观测时刻n-k观测到信道占用数N′（n-k）≥k时，则决策时刻n的信道占用数N′（n）可简化写为

用n（ak）表示ak中ai=1（0≤i≤k-1）的个数，由此式（16）可等价为

因此有

在N′（n-k）≥k条件下，令x=N′（n-k）+n（ak），则动态规划方程可表示为

2.2 接入门限值ATH确定

可进一步得到

将式（22）代入可等价于证明

利用（P0kD）（x）的非减凸函数性质，可采用数学归纳法来证明式（24）。

（1）当x=0时有

（2）假定当x=n时式（24）成立，即

则当x=n+1时

证明

依据式（23）可得N B（x）为非减凸函数，则

由此动态规划方程的min部分可改写为

因为N B（x）的非减凸函数性质，所以式（29）的右侧部分为x的递增函数，如果式（30）成立

那么一定存在着一个临界值xT H使得当x＞xT H时有式（31）成立

当x＞max（k，xT H）时节点的最佳行动a（i）=0，即表示不采取接入信道。

根据分组的不同优先级权重，可得到不同分组间的接入门限值AT H。当x＞AT H时节点的最佳行动就是不接入该优先级分组，可等价于限制节点在该时刻对此类优先级分组的接入；而在后续时刻中可依据不同优先级接入门限值的理论推导结果进行选择，AT H即为不同优先级分组间的理论接入门限值。

3 仿真分析

将基于PO M DP接入门限的跳频M A C协议称为（accessthreshold frequency hopping M A C protocol，AT-F H_M A C），利用NS-2网络仿真平台对两方面实验内容进行对比验证。

（1）不同参数设置条件下，AT-F H_M A C协议与T D M A协议、802.11 D CF协议在网络性能上对比。

（2）相同参数设置条件下，AT-F H_M A C协议与F H-M A C协议在网络性能上对比。

网络参数：仿真场景大小设置为600 k m×600 k m；假设机载网络中有n个对等节点且初始位置服从均匀分布，移动速度为500 k m/h，移动模型采用R W P移动模型；通过对发射功率、接收门限值进行设定使得节点通信距离达到250 k m。各节点的分组到达过程服从泊松分布，且分组长度固定、信道无误码；F H_M A C类协议依据优先级高低顺序采用抢占式排队规则，其他类M A C协议则使用先入先出规则排队。不同协议类型的相同仿真参数如表1所示。

表1 仿真参数设置

3.1 不同类型协议网络性能比较

A T-F H_M A C协议和T D M A协议、802.11 D CF协议等3类不同类型协议的不同设置如下。

AT-F H_M A C协议在分组发送前将分组先拆分为25个突发分组，并结合信道忙闲情况进行传输，传输过程中采用了效率为1/3的Turbo编码，因此接收端只需正确接收13个突发分组就能够恢复，虽然增加了发送冗余，但在非同步机制中获得了较好的信息传输实时性、可靠性；且不同优先级之间的接入门限值依据理论推导的相关表达式进行设置。为了便于比较，T D M A和802.11 D CF也采用了相同的编码传输机制。

为了确保信息传输的时效性，在802.11 DCF中选用2次握手的基本接入方式。其中，分组最大重传次数设置为4，初始竞争窗口大小设置为15，最大竞争窗口大小设置为255。

T D M A协议采用基本类型，依据不同节点数均匀分配所有时隙。仅考虑最大传播时延和分组传输时延的情况下，时隙大小设置为1.68 ms。

在网络不同节点数量情况下，3类不同类型协议的网络性能（分组传输成功概率、系统吞吐量、端到端时延均值）对比曲线如图2～图4所示。

图2 分组传输成功概率对比图

图3 系统吞吐量对比图

图4 端到端时延均值对比图

从网络性能曲线对比可以看出，在节点大尺度分布的条件下，D CF协议在分组传输成功概率、系统吞吐量、端到端时延均值等网络性能较差，这是因为不可忽视的传播时延会对D CF控制帧交互机制产生较大影响，延迟退避过程较多会导致缓冲区分组大量溢出，因此802.11 D CF协议在航空环境中无法直接适应。

T D M A类协议因为采用了无冲突的时隙分配机制，从而有效避免了分组的碰撞重传问题，获得了相对最高的分组传输成功概率、系统吞吐量性能；但是随节点数逐渐增大，分组传输时隙间隔会逐渐增多，端到端时延均值增幅较大。

A T-F H_M A C通过对不同优先级的接入门限进行划分，确保了业务类型的低时延传输，其本质是在牺牲少许分组传输成功概率、系统吞吐量性能的代价下获得了优良的时延性能，比较适合于军事航空通信中对突发信息时效性需求较高的场合。

3.2 同类型协议网络性能比较

同类型协议对比主要是在F H_M A C和A T-F H_M A C这两类相同类型协议的不同优先级分组间进行网络性能比对，以此来验证A T-F H_M A C协议在加入P O M D P接入门限机制对网络性能的影响。在其他仿真条件相同基础上，根据机载网络的业务流特点，假设各节点依据泊松分布过程接收上层的优先级分组，为了便于对比，设定共有高、中、低3种业务优先级分组。其中，高优先级分组的达到率固定为10 packets/s，中优先级分组的到达率从0～1 000 packets/s逐渐增加，低优先级分组的到达率从1 000～3 000 packets/s逐渐增加。定义业务负载为源端节点所产生的高、中、低优先级分组到达率之和，则不同业务负载条件下，同类型协议不同优先级分组的网络性能对比情况如图5～图7所示。

图5 不同优先级分组传输成功概率对比图

图6 不同优先级分组端到端时延均值对比图

图7 系统吞吐量对比图

从以上仿真结果可以看出，高、中两类优先级分组的理论理论接入门限值大约在1 600 packet/s（门限值1），中、低两类分组的理论接入门限值大约在2 500 packet/s（门限值2）。相比于F H_M A C，在门限值1之前，A T-F H_M A C、F H_ M A C协议性能差别不大；当进入门限值1之后，A T-F H_ M A C的高优先级分组后续一直获得了优良的分组传输成功概率、端到端时延均值性能；与此同时中、低优先级分组的传输成功概率、端到端时延均值性能和系统吞吐量均明显下降，在进入门限值2之后，与F H_M A C协议各项网络性能的差距进一步拉大。

因此A T-F H_M A C协议通过引入P O M D P接入门限机制，确保了高优先级分组的时效性和可靠性，获得了较高的分组成功传输概率、端到端时延均值性能，但这是以牺牲中、低优先级分组的网络性能和系统吞吐量为代价获取的。

4 结论

当前机载网络中随机竞争类M A C协议还存在着随业务量增大带来网络性能下降严重、无法保证多优先级业务QoS需求、接入门限值设置简单不具一般性的问题，为此提出了一种基于P O M D P的机载网络信道接入策略。网络节点依据广播、历史决策信息，通过P O M D P理论确定了不同优先级分组间的接入门限，当网络内信道占用数量超过了该优先级的接入门限值AT H，便选择不接入的行动。从而有效地控制了传输信道上不同优先级的接入过程，降低了低优先级业务在网络负载较高的情况下与高优先级的碰撞概率、端到端时延性能，确保了高优先级分组数据传输的实时性和可靠性，下一步值得研究的问题将是在此基础上进一步探寻合理的机制来提升中低优先级分组的网络性能。

［1］K yung J K，Yalin S，Justin Y，et al.Airborne network evaluation：challenges and high fidelity emulation solution［J］.IE E E Communications Magazine，2014，52（17）：30-36.

［2］Ilker B，Ozgur K S，Sami l T.Flying ad hoc networks（F A N E Ts）：a survey［J］.Ad H oc Networks，2013，11（3）：1254-1270.

［3］Ozgur K S.Networking models in flying ad hoc networks：concepts and chal lenges［J］.Journalof Intelligent&Robotic Systems，2014，74（2）：513-527.

［4］Zheng B，Zhang H Y，H uang G C.Link dynamicsin M A N E T based on 3D SGM mobility model［J］.Journal of Jilin University（Engineering and Technology Edition），2012，42（5）：1315-1320.（郑博，张衡阳，黄国策.基于3D SG M移动模型的M A NET链路动态性［J］.吉林大学学报（工学版），2012，42（5）：1315-1320.）

［5］Zheng B，Zhang H Y，H uang G C.Analysis oflink dyna micsinaeronautical ad hoc networks［J］.Systems Engineering and Electronics，2013，35（2）：420-424.（郑博，张衡阳，黄国策.航空自组网链路动态性分析［J］.系统工程与电子技术，2013，35（2）：420-424.）

［6］Li J，Gong E L，Sun Z Q，et al.Design and implementation of ST D M A slot allocation algorith m for aeronautical ad hoc networks［J］.Acta Aeronautical et Astronautica Sinica，2014，35（12）：3371-3383.（李杰，宫二玲，孙志强，等.航空自组网ST D M A时隙分配算法的设计与实现［J］.航空学报，2014，35（12）：3371-3383.）

［7］Cai Y G，Y u F R，Li J，et al.Mediu m access control for unmanned aerial vehicle（U A V）ad hoc networks with full-duplex radios and m ultipacket reception capability［J］.IE E E Trans.on Vehicular Technology，2013，62（1）：390-394.

［8］LiJ，Zhou Y F，La mont L，et al.Packet delay in U A V wireless networks under non-saturated traffic and channel fading conditions［J］.Wireless Personal Communications，2013，72（2）：1105-1123.

［9］Li J，Zhou Y F，Lamont L，et al.A token circulation scheme for code assignment and cooperative transmission schedul ing in CD M A-based U A V ad hoc network［J］.Journal Wireless Networks，2013，19（6）：1469-1484.

［10］Stephen M C，Kelli AH，Scott J F Z.Statistical priority-based multiple access system and method［P］.U nited States’7680077 B1，2010.

［11］John CH.M ethod and apparatus for wireless data using doppler informtion［P］.U nited States’8614997 B1，2013.

［12］Wang Y Q，Ye X Y，Qi Y J，et al.A daptive mechanism for the frequency hopping M A C［J］.Journal of Xidian University，2013，40（5）：78-85.（王叶群，叶向阳，戚云军，等.一种跳频M A C协议的自适应机制［J］.西安电子科技大学学报，2013，40（5）：78-85.）

［13］W ang Y Q，Yang F，H uang G C，et al.M edia access control protocol with differential service in aeronautical frequencyhopping ad hoc networks［J］.Journal of Software，2013，24 （9）：2214-2225.（王叶群，杨锋，黄国策，等.一种航空自组网中带差分服务的跳频M A C协议建模［J］.软件学报，2013，24（9）：2214-2225.）

［14］H ou G T，H an H，H u J.Spectru m access method based on P O M D P［J］.Chinese Journal of Radio Science，2013，28（3）：553-558.（侯国涛，韩慧，胡俊.基于部分可观察马氏决策过程的频谱接入方法［J］.电波科学学报，2013，28（3）：553-558.）

［15］Xu R C，Jiang T.Cognitive radio auto-adaptive sensing algorith m based on P O M D P［J］.Journal on Com m unications，2013，34（6）：49-56.（许瑞琛，蒋挺.基于P O M D P的认知无线电自适应频谱感知算法［J］.通信学报，2013，34（6）：49-56.）

Research on channel access strategy in airborne network based on P O M D P

Z H U O K un1，Z H A N G H eng-yang1，X U Ding-hai2，Z H E N G Bo1，3，H U A N G G uo-ce1
（1.School of Information and Navigation，Air Force Engineering University，Xi’an 710077，China；
2.Unit 93995 of P L A，Xi’an 710306，China；3.615 Research Institute，China Aviation Industry Corporation，Shanghai200233，China）

A channel access strategy based on partial observable Markov decision processes（P O M D P）is presented in allusion to the problem of performance degrades seriously w hen load beco mes heavy，the access threshold value settings is lacked in the theoretical basis and unable to effectively support the quality of serive requirement of multi-priority service of the rando m co m petition mediu m access control protocolin airborne network.The dynamic program ming function is established by which based on channel occupation cost of different priority burst as the objective function，the co m pact state-space method is adopted to simplify the solution-finding，the expression for the theory approximately optimal access threshold value within the different priority burst is worked out.The value can provide theoreticalfoundation for access decision processes of different priority burst and can effectively control the access collision within different priority burst.The simulation results show that transmission performance of delay and success probability can be improved obviously，the real-time and reliability demands of data transmission in military aeronautical communications are satisfied.

airborne network；ad hoc network；mediu m access control（M A C）protocol；partial observable Markov decission processes（P O M D P）theory；access threshold

T P 393

10.3969/j.issn.1001-506 X.2016.03.28

1001-506 X（2016）03-0658-07

2015-06-09；

2015-10-08；网络优先出版日期：2015-10-20。

网络优先出版地址：http：//w w w.cnki.net/kcms/detail/11.2422.T N.20151020.1334.010.html

国家自然科学基金（60972042）；航空科学基金（2013ZC15008）资助课题

卓琨（1987-），男，博士研究生，主要研究方向为军事航空通信。

E-mail：zhuokun_TG@126.com

张衡阳（1978-），男，副教授，博士，主要研究方向为无线自组织网络关键技术。

E-mail：hareed@163.com