基于Q-Learning反馈机制的无线传感网络通信节点自愈算法*

杨 惠

(兰州文理学院传媒工程学院，甘肃 兰州 730000)

随着无线通信网络化的进程不断加深，通信网络[1]类型逐渐增多，网络生存问题成为人们热议的重点话题。通信网络自愈作为当前新兴的智能化故障修复[2]技术，是组建通信网络中重要的一部分。在网络发生故障的情况下，智能化修复技术可以在不需要人为干预的情况下，迅速自发地完成故障修复[3]。无线传感网络作为无线通信网络的代表，对其进行有效的通信节点自愈，是网络通信领域亟待解决的问题之一[4]。

当前针对相关问题的研究也很普遍，文献[5]提出一种基于异构两层Lloyd算法的节点自愈优化部署算法。通过N个异构接入点从密集分布的传感器收集传感数据，判别故障节点，然后将数据转发到M个异构融合中心。该算法的节点部署效率较好，但由于未考虑网络流量问题，导致该算法自愈节点数量少。文献[6]提出基于反馈裁决机制的无线传感网节点失效自愈修复。该方法通过节点链路特性分析节点流量，建立失效裁决方法；结合节点的传递特性获取失效评估机制；通过割点裁决和节点自愈重构法改变网络拓扑结构，最后设定节点优化准则选取网络的最优节点，依据犯规机制实现节点自愈。该算法在分析链路节点时存在节点计算不全面的问题，所以采用该算法进行节点自愈时自愈能力差。文献[7]提出分布式微电网的自调节接地故障自愈算法。该算法首先使用等效驱动方法构建数据模型，分析电网的各类故障类型；基于网络的拓扑结构提出模型的自愈效果评价指标；最后使用相关系统实现网络的故障自愈。该算法在建立评价指标时考虑的影响因素不够全面，所以采用该算法进行节点自愈时自愈效果较差。

为解决上述无线传感网络通信节点自愈过程中存在的问题，提出基于Q-learning反馈机制的无线传感网络通信节点自愈算法。

1 节点定位

要实现无线传感网络通信节点自愈算法，首先要对无线传感网络通信节点进行定位。建立路径损耗模型，将网络传输时的路径损耗转换为RSSI值，得到无线传感网络在通信过程中的信号强度；通过质心算法将接收信号强度指示(Received Signal Strength Indicator，RSSI)值设定为质心权值，从而提高定位精度。

1.1 计算RSSI值

无线传感网络中节点信号强度的大小与传输距离相关，当节点距离较小时RSSI值就会越大。无线传感网络在通信过程中接收数据的同时就会获取反映信号强度的RSSI值，所以要建立路径损耗模型将网络传输时的路径损耗转变为RSSI值。

设定网路的节点距离为d，平均能量为pr(d)，锚节点A、B之间的距离标记为d0，通过衰减模型对其进行计算，RSSI结果如下式所示:

式中:无线传感网络中锚节点A的信号平均强度标记为pr(d0)，待测节点接收A时的信号强度标记pr(di)，节点A与待测节点之间的距离用di表示，路径损耗指数用β表示。

当节点之间的距离固定时，节点的接收能量会随着信号强度的不同而发生变化，且该变化会服从正态的高斯分布，此时的RSSI用下式进行表示:

式中:随机变量标记dB形式，激活函数标记log。通过上述公式实现对节点RSSI值的计算。

1.2 定位的实现

使用质心算法对无线传感网络进行节点定位。将锚节点通信射程标记为r，待定位节点的位置需要通过射程范围内的锚节点进行确定。

设定无线传感网络中有n个锚节点，坐标用{(x1，yi)，(x2，y2)…(xn，yn)}表示，待定位节点坐标标记为n(x，y)，通过计算获取传感器节点的位置预估值，过程如下式所示:

式中:待测节点为n，常数为i。通过分析可知，依据多边形质心对传感器网路节点进行定位时，由于未能考量待测节点的距离因素，该方法只能对网络节点进行大致定位，定位误差大、精度低。所以需要在衰减模型中加入质心定位算法，设定RSSI值为质心权值，从而提高定位精度。

该方法首先收集网络节点中的RSSI数据，并对其进行数据转换，设定接收数据时的锚节点为通信圆心，将转换的数据作为半径画圆。通过质心算法对圆内节点进行赋值处理，定位过程如下式所示:

式中:待定位节点n的权重标记为wi，待定位节点的方向分别为x和y。权重的获取过程如下式所示。

式中:RSSI值的距离转换形式用di标记。

1.3 定位流程

设定无线传感网络中有n个锚节点，待定位传感器节点坐标用(x，y)表示，无线传感网络的节点定位流程如下:①通过固定周期向无线传感网络待定位节点的相邻节点传递自身的ID、位置信息。②相邻节点接收信息后，计算锚节点的RSSI均值。③设置传感器节点接收信息的阈值，避免传感器节点接收信息过多导致节点传输效率下降。当待定位的传感器节点[8]接收信息超出固定阈值时，建立锚节点集合Beacon＿set＝{a1，a2，…，a2}以及位置集合Position＿set＝((x1，yi)，(x2，y2)…(xn，yn))。④通过式(5)计算获取锚节点权值wi。⑤通过式(4)获取无线传感网络的待定位节点位置(x，y)。

综上所述得出节点定位算法流程图如图1所示。

图1 节点定位算法流程图

2 通信节点自愈方法设计

节点实现定位后，通过Q-learning反馈机制强化自愈机制的学习能力，从而实现网络故障节点的自愈。通过Q-learning学习算法计算网络通信节点在下一状态的Q值最优策略，建立无线传感网络模型，通过通信路径最优策略确定传输路径的传输倾向，更新路径的优先级，对传输路径进行迭代计算直至节点完成自愈。

2.1 Q-learning学习算法

Q-learning学习主旨是在节点动力学特性不明的情况下对节点的最优策略值进行预估。网络通信节点的时间步用t标记，当前状态为St，执行动作用At表示，下一状态标记为St＋1，学习回报用Rt表示，网络通信节点在下一状态的Q值最优策略如下式所示:

网络通信节点在进行下一执行动作选择时，不仅需要从无线传感网络的状态空间中搜索节点的最优策略，还要通过计算出的学习策略降低学习成本，因此选取通信节点的At＋1时，要使用近似的贪婪算法[9]对通信节点进行计算，获取Ak的选取策略，过程如下式所示:

式中:Ak的选取策略用prob标记，随机程度标记为Tt形式。为提高学习效率，可使用模拟退火算法[10]对Tt进行计算，过程如下式所示:

式中:节点的最小随机程度标记为Tmin，退火因子标记为β。

2.2 建立网络模型

将无线传感网络的拓扑结构抽象处理，标记成G(V，E)形式，其中网络通信节点用V标记，通信链路用E标记。设定网络得到边缘节点集为S，且S＝{S1，S2，…，Sn}，若数据的通信源节点为S1，潜在的目的节点集合为S′。当S′为有限集合时，二者之间的传输路径集合为A＝{A1，A2，…，Am}，即为无线传感网络的动作集合，可直接将其作为网路的交换路径。选取动作的同时会产生学习的回报Reward，过程如下式所示:

式中:节点的权重系数分别为ω1、ω2、ω3、ω4，TH、delay、P、U为网络节点参数。最后依据式(6)对数据的通信路径最优策略Qt(Si，Aj)进行更新，其中数据通信的目标节点为Si，数据到达目标节点的通信路径标记为Aj。建立的网络模型如图2所示。

图2 无线传感网络模型

通信路径最优策略Qt(Si，Aj)值可以决定传输路径的传输倾向，通过获取的Q学习值建立无线传感网络的策略矩阵，如下式所示:

式中:目标节点数量为i，路径数量为j，策略矩阵为Qt(Si，Aj)。

数据传输后，基于反馈机制[11]获取反馈值Reward，通过式(7)获取新的路径选取策略，完成更新处理。

2.3 自愈算法流程

基于Q-learning反馈机制的无线传感网络通信节点自愈算法具体实现流程如下:①无线传感网络源节点接收数据后，首先辨别数据类型。②源节点依据数据类型确定节点路径的优先级。③获取路径选取策略，选定传输路径。④数据传输时，保存链路时延、吞吐量等有效信息。⑤数据信息到达目标节点后，获取路径传输信息并对其进行整合，完成路径时延、吞吐量以及传输过程的丢包率计算，通过反馈机制将计算结果反馈给源节点。⑥利用Q-learning学习[12]算法获取网络节点Q值，更新路径的优先级，并依据上述流程对网络传输路径进行迭代计算直至节点完成自愈。

综上，所设计基于Q-learning反馈机制的无线传感网络通信节点自愈算法整体流程图如图3所示。

图3 无线传感网络通信节点自愈算法整体流程图

3 仿真分析

通过上述对节点定位及Q-learning反馈机制的研究，实现了无线传感网络通信节点自愈。为了验证上述通信节点自愈算法的整体有效性，需要对此算法进行测试。仿真采用MATLAB软件，在无线传感网络中选取600个网络通信故障节点，进行无线传感网络通信节点自愈算法的验证。文献[5]方法、文献[6]方法是国内外当前较为先进的无线传感网络通信节点自愈算法，具有一定的代表性。分别采用基于Q-learning反馈机制的无线传感网络通信节点自愈算法(本文算法)、基于异构两层Lloyd算法的节点自愈优化部署算法(文献[5]算法)、基于非对称往返测距的海洋无线传感网络节点定位算法(文献[6]算法)进行测试。通过自愈性能、节点移动拓扑距离、节点自愈后的网络传输性能三方面验证所设计基于Q-learning反馈机制的无线传感网络通信节点自愈算法的有效性。

3.1 仿真结果及分析

①自愈性能测试

网络通信节点自愈数量的多少，直接影响自愈算法的自愈性能。在无线传感网络中选取600个网络通信故障节点，平均分成2个小组。设定组1为正常通信节点，组2为拓扑结构偏移的通信节点，采用本文算法、文献[5]算法以及文献[6]算法进行节点自愈时，对三种算法的自愈数量进行测试，测试结果如图4所示。

图4 不同自愈算法的节点自愈数量测试结果

分析图4可知，随着检测次数的增加，三种节点自愈算法的节点自愈数量出现不同程度的下降趋势。在图3(a)中，当检测次数为20时，本文所提算法检测出的节点自愈数量为300个，文献[5]算法检测出的节点自愈数量为290个，文献[6]算法检测出的节点自愈数量为265个，随着检测的进行，三种算法检测出的自愈节点数量被逐渐拉开，本文所提算法的检测结果逐渐高于其他两种算法，当检测次数为100时，本文所提算法检测出的节点自愈数量为280个，文献[5]算法检测出的节点自愈数量为230个，文献[6]算法检测出的节点自愈数量为175个。而在图3(b)中，受网络拓扑结构偏移的影响，三种算法的自愈节点效果均低于图3(a)的检测效果。由此来看，本文所提方法在进行网络通信故障节点自愈时的自愈性能较为理想，文献[5]算法略低于本文所提算法，文献[6]算法的自愈性能最差。

②自愈能力测试

算法自愈能力的优劣，会影响节点的拓扑移动距离。采用本文算法、文献[5]算法以及文献[6]算法进行节点自愈时，对自愈后的网络节点拓扑移动距离进行测试，在节点覆盖密度为200个/m2时，测试结果如图5所示。

图5 不同自愈算法的自愈能力测试结果

分析图5可知，节点自愈后的拓扑移动距离会随着节点覆盖密度的增加而出现上升趋势。本文所提方法在通信节点自愈后检测出的节点拓扑移动距离要远低于其他两种算法，平均值为175 m，文献[5]算法和文献[6]算法自测试初期检测出的节点拓扑移动距离就高于本文所提方法，证明了本文算法的节点自愈能耗较小，自愈能力较强。这主要是因为本文所提算法在通信节点自愈前，使用了质心算法对无线传感网络中的节点进行了定位，所以本文所提算法进行节点自愈时的自愈能力要优于其他两种算法。

③网络传输性能测试

通信节点自愈后，网络传输性能的好坏会侧面表明自愈算法的自愈效果。采用本文算法、文献[5]算法以及文献[6]算法对节点进行自愈，对三种算法自愈后的网络流量出口带宽进行测试，测试结果如图6所示。

网络通信节点密度越大，节点自愈后检测出的网络流量出口带宽就会越高。分析图6可知，本文所提算法在节点自愈后检测出的网络流量出口带宽要高于其他两种算法，平均值为550 Mbyte/s，因此本文所提算法的自愈效果好。

图6 不同算法的网络流量出口带宽测试结果

综上所述，本文所提算法进行网络通信节点自愈时，自愈节点数量多、自愈能力强、网络流量出口带宽高。

5 结束语

当无线传感网络结构越来越复杂时，传统的节点自愈算法无法高效完成通信节点的自愈，针对传统算法中出现的各类问题，提出基于Q-learning反馈机制的无线传感网络通信节点自愈算法。该算法首先通过质心算法完成节点的定位计算，通过提出的通信反馈机制建立网络模型，最后使用Q-learning反馈机制的无线传感网络通信节点自愈算法完成无线传感网络的节点自愈。该算法在建立网路模型时，还可进一步对模型参数进行优化，今后会针对这一问题继续优化该节点自愈算法。