多目标优化下WSN网络生命周期优化模型

周红志

(阜阳师范学院 信息工程学院，安徽 阜阳 236041)

多目标优化下WSN网络生命周期优化模型

周红志

(阜阳师范学院 信息工程学院，安徽 阜阳 236041)

为了有效延长中小型WSN网络生命周期，改善其能量利用效率，在增量学习算法的支持下，基于多个优化目标设计并实现WSN网络生命周期优化模型。在反馈值确定过程中同时兼顾链路距离、节点剩余能量两个方面；通过分析节点到sink节点的跳数，确保数据能够准确递交；同时针对传输时节点无法发现下一跳转发节点这一问题，制定相关协议把该节点视为孤立的，在转发节点确定过程中将此节点忽略，从而能够明显降低能量开销。通过在NS2仿真平台上与EAR协议及其改进优化的I-EAR协议做对比，结果证明所设计的协议能够在相对较小的能耗下表现出更好的性能。

WSN网络；生命周期；增量学习；优化模型；多目标

0 引言

路由协议为实施数据转发的主要手段，其可以发现源节点至节点的路径，并按照此路径把数据转发到节点[1]。设计路由协议能够在很大程度上决定着无线传感器网络生命周期，探讨通过路由协议改善生命期则能够为理论和实践提供重要的参考价值。

在这里主要是探讨了规模相对较小的网络的生命周期优化问题，就中小型无线传感器网络来说，我们可以通过平面路由协议进行控制[2-3]。在这里协议主要是利用元数据协商机制降低冗余，在很大程度上可以缩减能耗，然而，需要注意的问题是，其无法充分确保数据传输；协议在数据传输过程中按照具体的需求进行实施,缩减了能耗，其主要是通过查询机制发挥作用，但也存在着一定的不足之处，即无法持续不断的将数据递交给节点；协议为前者的优化升级，它的优点是使能耗明显均衡，和前者进行对比来说，它将首个节点的死亡时间推迟，然而在实践中依旧存在一定的缺憾。

为有效应对上文提到的不足，笔者主要以中小型网络为研究对象，将增强学习算法应用到平面路由协议里，以有效地控制网络拓扑结构。通过分布学习策略，能够在投入相对偏少的额外成本的前提下实现优化效果。

1 增强学习算法概念及理论

作为机器学习[4]的有机组成部分，增强学习算法[5-7]用于处理代理怎样选择动作以得到最大收益。下面将阐明几个主要概念：

代理：指可以对环境状态进行感知,同时按照动作策略开展某动作的智能体。本文研究的网络里面，各传感器节点即为代理。

动作:是指在环境中代理的行为。本文所研究的网络中,节点确定某一邻节点当做转发的下一跳节点，这种行为属于一个动作。

马尔可夫决策过程(MDP)：某一增强学习任务能够看作是MDP(S；A；P；R)[8]，在这里S和A两者分别表示一切可能的状态与动作集合，而符号P则表示状态转移的概率，R表示环境反馈值。代理在状态Si选择动作，将会获得反馈值ti。MDP就是由多个Si、ai与ti构建的集合。

动作策略:p:s®A主要是描述代理在S时怎样选择此后的动作A。

反馈函数:Rp(S)主要是描述代理在S选择动作p时所获得的ti。

该种算法具体可以通过图1进行描述，涉及代理与环境两个方面。在这里，前者负责对环境状态感知，按照动作策略确定某动作。当它对某动作执行后，其环境紧接着会有所变化。环境会判定这一个动作对自身的作用，同时给予代理合理的反馈值。代理将会按照环境的ti改进动作策略，从而能够充分适用环境。

图1 增强学习算法流程

通过图1可知，该算法旨在学习最理想的动作策略，通过该种反复累加的方法获得最好的反馈值。

2 多目标优化的WSN网络优化协议模型设计

实践中利用增强算法来优化路由协议性能，已经有很多专家学者探索并积累了许多成功经验，然而其仍然存在一定的不足。根据各种类型的应用需求，应该怎样确定影响因子与怎样判断它们相互之间的关系，仍然需要在今后一段时间加以探讨。FROMS协议能够在很大程度上缩减路由开销，同时节点失效或Sink节点移动时，其同样能够充分确保网络与Sink节点两者持续连接[9]。然而,考虑到无线传感器网络存在能量受限这一现实，FROMS协议应当加以优化。分析上述各种协议得知，增强学习的路由协议目前已经取得非常不错的进展，各种路由协议也都按照相应的实践需要,通过增强学习算法对网络的若干性能进行了改进。本文主要阐明了多目标优化的协议，对增强学习算法的长处进行有效运用,在路径质量决定过程中，兼顾剩余能量、传输距离、跳数等诸多方面因素，从而尽可能地缩减能量开销，使各节点的能耗能够达到均衡状态。

协议实施流程如下：

首先，在已知节点的位置和节点的剩余能量时，网络初始化时期，首先，从Sink节点起传输Hello报文。Hello报文主要涉及到节点的剩余能量、位置坐标及其至Sink节点的跳数等诸多方面的内容。

其次，在接到Hello报文后，节点将会按照发送节点j到Sink节点的跳数，对两者之间的最优路径的质量Rj进行初始化。Rj的初始值和两者之间的跳数呈负相关。当前节点把发送节点的剩余能量、位置、到Sink节点的跳数与最优路径的质量存到本地邻居表中。

最后，利用该操作流程，各节点了解自身到节点的跳数，同时还知道邻节点的信息。

完成了上述步骤，就会到达数据传输时期。

(1)节点侦听到某一数据报文时，将会对发送节点的信息进行提取，同时对本地邻居表的信息进行更新。数据报文主要涉及到节点的剩余能量与位置坐标、到节点的跳数及最优路径的质量等诸多方面的内容；

(2)如果当前节点不是数据报文中指定的下一跳节点，则将其丢弃；

(3)该节点将会转发下一跳。若Sink节点处于当前节点的通讯区域之中，则把报文发至Sink节点，否则，它会根据式(1)求解各候选邻居节点的对应Q值。

Qij=(1-a)Qij+a(Lij+Rj)

(1)

式中，Qij即指当前节点ii经由候选节点j抵达Sink节点的路径质量;α指学习率;即本地存储的节点j至Sink节点的最优路径的质量;Lij指自i至j的链路质量,按式(2)进行求解。

(2)

式中,Ej指j剩余能量;Dij指i至j的距离，按式(3)进行求解；Hj指j到Sink节点的跳数。

(3)

式中,(Xi,Xj)指i的位置坐标。

式(2)中,Lij主要是取决于3个因素：和Ej呈正相关；和Dij、Hj呈负相关。三者共同影响反馈值。

应注意候选邻居节点一定要符合下列条件:

(1)这一个节点的剩余能量一定要保持在既定的最低能量阈值以上或者相同，同时为非孤立节点;

(2)对比当前节点来说，这一个节点与节点之间的距离相对较小；

(3)当前节点与这一个节点的距离小于其与节点的距离；

(4)因为数据传输过程中离不开能量，所以当前节点必须具备充分的能量能够向该节点发送报文；

(5)若当前节点未发现符合要求的候选节点，就会根据下面三种情况实施相应的处理:

1)尽管节点没有处于当前节点的通信区域之中，要是当前节点仍然存在充分的能量能够向节点发送报文，那么其将调节发送功率完成报文的发送。该措施能够或多或少应对路由空洞问题；

2)若当前节点不具备充分的能量向节点发送报文，在这种情况下，就会将报文丢弃；

3)把当前节点记作孤立节点，此后进行的路由选择环节，将会排除这一个节点，这样就能够非常好地选择路径。

(6)当前节点i将Q值最大的候选节点当作下一跳节点，若i已将k当作下一跳转发节点，将根据下面的两个式子对相应的值进行更新。这个时候,i到Sink节点的最优路径即经由节点k抵达Sink节点。

Ri=Qik

(4)

Hi=Hk+1

(5)

上面的公式里，Ri指当前节点i到Sink节点的最优路径的质量，Hi指i沿当前最优路径至Sink节点的跳数。

(7)节点i发送报文前先将报文更新，把自己所处位置(Xi,Xj)和当前剩余能量Ei、到Sink节点的跳数及最优路径的质量、在流程(6)中确定的下一跳节点信息替换至报文头部。

利用这个途径，节点在报文发送时将反馈值捎带，从而在很大程度上缩减了相应的能量开销。

(8)i发送更新后的报文，完成这个操作之后接着将回到流程(2)。

3 实验仿真分析

本文在这里主要是通过NS2展开仿真分析。

3.1 实验参数设置

在仿真过程中，我们主要设置实验参数如下:

(1)100×100m2的范围中随机确定传感器节点100个，所有节点同时处于静止状态中;

(2)Sink节点所处的地点不变，坐标为(100,100)；

(3)节点没有能量限制，普通传感器节点的初始能量0.5J;

(4)节点的无线通信距离是25m;

(5)各节点每秒发送的数据包的规模是512bit;

(6)增强学习算法中,a决定了本地保存的Q值与邻居反馈值的比例。同时兼顾两者对节点当前Q值的作用，一般情况下，取a=0.5。

3.2 实验结果分析

根据上文中的实验设置，随机生成网络拓扑10种。在各个网络拓扑下，对我们设计的协议(这里简称MTOLC)、EAR与I-EAR协议依次进行仿真实验。文中的实验结果为平均值。

3.2.1 存活节点数随时间的变化

在无线传感器网络中，能量受限的传感器节点彼此协同，并利用这种方式发挥自己的作用。如果节点耗尽能量，那么这一个节点就不能完成任务，并且还不利于对别的节点完成工作。所以,我们在这里先分析网络在3种协议(MTOLC、EAR与I-EAR)下存活节点数与时间的关系，如图2所示。

图2 存活节点的数目随时间的变化曲线

通过图2我们得知，对比EAR与I-EAR协议来说，MTOLC具有非常突出的优势。从图2中可以看出，EAR、I-EAR中首个死亡节点出现的时间依次是115s、130s，但是MTOLC出现的时间为170s，依次比前面的两个协议(EAR、I-EAR)增加55s(48%)、40s(31%)。当MTOLC中仅仅存在个节点死亡时，EAR中出现大约四分之一的节点死亡，I-EAR中出现大约18%的节点死亡。当EAR中所有的节点都无效的时候，在这种情况下，MTOLC中仍然存在五分之四的节点没有死亡。当I-EAR中全部节点都不能工作的时候，MTOLC中仍然存在大约五分之二的节点没有死亡。

在MTOLC协议中，各传感节点按照各候选邻居节点j的Q值确定某节点j当作下一个转发节点。当j选择了下一跳节点k后，就会首先把自己的信息置于数据包头部，然后把它向外发送。i接到这一个报文以后，将会做出反馈，同时还会对其自身Q值进行更新。利用该分布学习的手段，网络在不存在任何额外开销的前提下就能够实现最优结果。所以，MTOLC能够减小总的能耗。另一方面，MTOLC在同时兼顾节点的剩余能量与传输距离的基础上确定下一跳，也能够缩减能耗。因此，MTOLC能够延后网络里面首节点的死亡时间，优化网络生命期的第一个方面。

我们在仿真过程中同时还分析比较了以上三个协议(MTOLC、EAR、I-EAR)中首次孤立节点出现的时间，它们依次是第250s、190s、172s。对比前面的两个协议(I-EAR、EAR)，MTOLC的时间依次推迟60s(百分之三十二)、78s(百分之四十五)，这种结果的出现取决于协议的性能。EAR与I-EAR协议在选择路由的过程中通过己构建起的路由表实现，或者因为链路中断、节点失效等方面的影响，网络拓扑有所改变。这样经过一次转发过程，路由表记录的数据就过时了。但是MTOLC路由选择过程中却按照当前网络情况进行，所以MTOLC能够相对较好地确保网络和节点的连接性，从而优化网络生命期第二个方面。

3.2.2 网络成功递交的数据总量随总能耗的变化

应用无线传感器网络时，节点必须分析、处理检测到的数据。网络只有成功递交节点形成的数据到节点才能真正发挥出作用，它成功递交的数据量能够侧面体现网络的工作能力。同时，由于无线传感器网络的能量受限，其路由目标主要是为了最大限度地实现少能耗多递交数据量。图3中显示了网络在三种协议(MTOLC、EAR、I-EAR)下成功递交的数据量随总能耗的变化状况。

图3 网络成功递交的数据总量随网络

在网络初始化时期，全部节点的总能量是50J。对于上面的图形，横轴指当前网络消耗的总能量在初始总能量中的份额，纵轴是指成功递交的数据量。通过图(3)可以得知，在能耗一样的前提条件下，能够成功递交相对较多的数据。同时，伴随能耗的逐渐提高，MTOLC显示出的优势变得愈发突出。

在网络运转过程中，不管在哪种协议下，消耗相同能量下成功递交的数据量均不断降低。究其根源，是网络运转时死亡节点数不断增加。通过对网络整体分析来看，存活节点成功完成递交数据需要消耗的能量不断增加，成功完成递交数据任务变得愈来愈难。伴随总能耗的不断提高，各协议中的能量有效性呈现出一样的趋势，即都不断减小。然而三种方法的减小快慢存在着很大的差异。总能耗一样的情况下，相比EAR与I-EAR，MTOLC因为能够对各个节点的能耗进行均衡而使死亡节点数相对较少。正是由于这一个方面的原因，MTOLC中能量有效性减小的相对较慢。除此之外，在对能量有效性进行判断过程中，我们主要是考虑网络每一个时期能量有效性的均值。

3.2.3 网络生命期三个方面的对比

图4非常清晰地反映出3个协议(MTOLC、EAR、I-EAR)在网络生命期各方面的对比情况。通过图形我们可以看出，不管在哪一方面，MTOLC都能够得到相对较好的性能:

在第一方面，以上三个协议(MTOLC、EAR、I-EAR)中首死亡节点出现的时间依次是第170s、115s、130s。MTOLC比后两者依次推迟55s(百分之四十八)和40s(百分之三十一)，推迟时间增长显著。

在第二方面，以上三个协议(MTOLC、EAR、I-EAR)中首次孤立节点出现的时间依次是第250s、172s、190s。MTOLC比后两者依次延长78s(百分之四十五)和(百分之三十二)，延长幅度增加显著。

在第三方面，以上三个协议(MTOLC、EAR、I-EAR)的能量有效性依次是714Packets/J、326pACKETS/J、489Packets/J，比后两者依次增加384和225，增加幅度非常显著。

图4 网络中出现第一个死亡节点、

4 结束语

本文针对中小型WSN网络在现实实际应用中的延长生命周期的需求，在平面路由协议中引入增强学习算法，设定了多个优化目标，通过对增强学习算法的长处进行有效运用，在优化路径质量过程中，兼顾剩余能量、传输距离、跳数等诸多方面目标，从而尽可能地缩减能量开销，使各节点的能耗达到均衡状态，表现出优良的性能。

[1] 张瑞琴,张效义,张大龙.无线传感器网络中基于时效的最优数据包长[J].计算机应用与软件,2014(5):119-121.

[2] 方旺盛，孙建.狭长直巷道中WSN的SPIN路由算法的改进[J].传感器技术学报,2014,27(4):564-569.

[3] 卢先领,王莹莹,王洪斌.基于查询的无线传感器网络多源单汇路由算法[J].计算机应用,2013,33(10):2719-2722.

[4] 何清,李宁,罗文娟,等.大数据下的机器学习算法综述[J].模式识别与人工智能,2014,27(4):327-335.

[5] 赵耀红,钟萍,王来生.一种多输出支持向量机的增量学习算法[J].计算机应用与软件,2010,27(6):14-16.

[6] 李亚飞,吕强,单冬冬,等.一种数据缺失下贝叶斯网络增量学习的有效方法[J].计算机应用与软件,2010,27(2):73-75.

[7] 刘家辰,苗启广,宋建锋,等.使用聚类稳定性分析方法增强单类学习算法[J/OL].西安电子科技大学学报,2015(2)：66-72.http://www.cnki.net/kcms/detail/10.3969/j.issn.1001-2400.2015.02.010.html.

[8] 王志超,刘惠义.一种基于隐马尔可夫模型的人脸识别方法[J].计算机应用与软件,2013,30(2):304-307.

[9] 李兆斌,徐昕,吴军,等.增强学习算法的性能测试与对比分析[J].计算机应用研究,2010,27(10): 3662-3666.

(责任编辑：尹晓琦)

The Optimization Model Of The Wsn Network Lifecycle Based On Multi-objective Optimization

ZHOU Hong-zhi

(College of Information Engineering, Fuyang Teachers College, Fuyang Anhui 236041, China)

s: In order to extend the life cycle of a small and medium WSN network effectively and improve its energy efficiency, with the support of the incremental learning algorithm, an optimization model of WSN network lifecycle based on multiple optimization objectives was established. In the process to determine the value of the feedback, both of the link distance and the node residual energy were taken into account. By analyzing the hops from sink node to node, the accurate data submission was ensured. At the same time, to the issue that the node could not find the next hop node during transfer, a related agreements was developed specifically to consider this node as isolated. As a result, the node would be ignored in the process of determining the forwarding nodes and the energy cost would be significantly reduced. Compared to the EAR and improved protocol I-EAR on the simulation platform of NS2, it was found that the established agreement in this paper exhibited a better performance with a relatively less energy consumption.

WSN network; lifecycle; incremental learning algorithm; optimization model; multi-object

2014-10-29

周红志(1981-)，女，湖北荆州人，讲师，主要从事图形学、无线传感网研究。

TP

A

1009-7961(2015)01-0021-05