小蜂窝认知网络中基于干扰和能量效率的动态频谱管理

司鹏搏，刘 佳，于 非，张延华

（北京工业大学电子信息与控制学院，北京 100124）

小蜂窝认知网络中基于干扰和能量效率的动态频谱管理

司鹏搏，刘 佳，于 非，张延华

（北京工业大学电子信息与控制学院，北京 100124）

针对基于非授权频段的小蜂窝认知网络中的抑制干扰和降低功耗问题，提出了干效性的概念，即传输每比特数据所产生的干扰.建立基于能效性和干效性的多目标收益函数，以最大化长期折扣收益为目标，利用随机动态优化理论中基于马尔科夫决策过程的Restless Bandits模型，计算其最优频谱管理决策，给出了动态频谱管理决策的过程.该方法具有分布式和动态特性且计算复杂度较低.仿真结果表明该方法能显著提高系统收益能效性、干效性等性能.

小蜂窝认知无线电；动态频谱管理；干扰效率；能量效率

近年来提出的小蜂窝网络（small cell networks，SCNs）采用低功率基站和较小的小区半径，适用于城区高业务吞吐量的场景，被认为是进一步提高无线数据传输速率并降低功耗等成本的有效技术［1-2］.

小蜂窝网络的覆盖范围为10 m～2 km，工作在授权或非授权频段，可以显著提高小区间频率复用效率，从而提升无线频谱的利用率.干扰和能耗是小蜂窝研究中的关键问题［3］.由于基站间距离较近，小区间干扰问题较为突出.此外，大量基站的部署势必造成总能耗的增加.文献［4］关注小蜂窝网络的能量消耗问题，引入SLEEP算法，允许基站灵活进入空闲状态，从而达到节约功耗的目的.文献［5］针对自组织的小蜂窝分簇网络，提出了一种基于非合作博弈的小区覆盖优化方法，通过调整基站发射功率控制小区半径.文献［6］则讨论了分布式小蜂窝网络中的干扰问题，提出了一种自组织方法以有效降低小区间干扰.此外，文献［7］提出长期演进（long term evolution，LTE）小蜂窝网络中基于范德蒙德子空间的多用户频分复用 （multi-user vandermonde-subspace frequency division multiplexing，MU-VFDM）方法，并讨论了信道估计对系统性能的影响.

小蜂窝认知网络工作在非授权频段，在不影响其他授权用户（主用户）的前提下，通过感知频谱使用状况智能、动态地利用空闲频谱，从而进一步提高频谱利用率，缓解小蜂窝网络频谱不足的问题.文献［8］提出了认知小蜂窝接入点的基站休眠模式，并利用随机几何对宏蜂窝的流量转移和小蜂窝的能量消耗进行了折中优化.文献［9］利用小蜂窝来克服发射功率有限和部署不协调等问题，并利用随机几何工具，结合信道接入技术的频谱感知能力来最大限度地提高频谱复用效率.文献［10］通过动态资源管理的方法来部署认知蜂窝网络，提出了自适应资源管理架构来提高频谱利用效率并减少宏蜂窝和小蜂窝的同信道干扰.现有关于小蜂窝网络和小蜂窝认知网络的研究多关注基站休眠、功率控制和管理等方法，以上关于小蜂窝认知网络文献均未充分考虑通过优化动态频谱管理方法降低干扰和能耗.

小蜂窝网络由于小区基站间距离近、小蜂窝基站与宏蜂窝基站覆盖范围重叠，小区间干扰是困扰小蜂窝网络容量进一步提升的重要问题.另一方面，由于小蜂窝网络小区覆盖范围小，需要部署大量基站以完成无缝覆盖，总能耗也成为了突出问题.本文针对基于非授权频段的小蜂窝认知网络，考虑关键的抑制干扰和提高能效性问题，比照能效性定义了干效性的概念，建立了包括能效性和干效性的多目标收益函数，基于随机动态优化理论中基于马尔科夫决策过程的Restless Bandits模型［11-12］，提出了一种最优的分布式动态频谱管理方法，能够显著改善小蜂窝认知网络的能量效率和干扰效率性能，且计算复杂度较低.

1　系统模型

1.1网络构架

本文考虑的小蜂窝认知网络架构如图1所示.在由M个小蜂窝认知小区组成的网络中，每个小蜂窝认知小区包括一个具有认知无线电功能的基站和若干个接入该小蜂窝的移动终端.认知基站协作检测已授权的可用频谱空洞并进行频谱管理决策.设M个小区所处的频谱环境一致，即可用的频谱空洞情况相同.由于哑终端等原因，认知基站设备对频谱检测的结果可能并不准确，因此依照其频谱决策进行的频谱接入行为可能会对主用户产生干扰.

当小蜂窝中的认知基站联合检测到有新的可用子频带时，需要做出频谱分配决策.将这一时刻定义为决策时刻tk，0≤k≤T-1，也即系统状态发生改变的时刻.

1.2业务模型

当移动终端有数据要接收或发送时，将通过专用信道向基站发送频谱请求信息，其中包含待传输的数据量大小.设在某时刻，小蜂m（1≤m≤M）的基站收到来自NBAND个终端的频谱请求.用um，NBAND⊆Um=｛um1，um2，…，umNBAND｝表示小蜂窝m中发出请求的移动终端，其中Um为小蜂窝m中有请求发出的移动终端的集合.

设业务数据的到达和离开服从泊松分布，即到达或离开的事件以某一固定的平均瞬时速率随机且独立地出现.用νu（m）和μu（m）分别表示小蜂窝m中的用户业务到达和离开的平均速率.

1.3频谱状态

设多个小认知蜂窝联合检测空闲子频带的检测结果中，出现新的可用子频带的事件同样服从泊松分布，用vB表示新可用子频带出现的平均速率.采用瑞利信道模型表示某子频带的噪声和干扰状态x，则其概率密度分布函数为

累积分布函数为

式中σ为标准差.

由于子频带状态x可看作平稳随机过程，其统计特性不随时间的推移而变化，x的某一个实现在整个时间轴上取值的分布和在某一时间上x的所有可能实现的概率分布是一致的.考虑相关信道，可假设在子频带状态在上一时刻的实现是下一时刻的随机变量的均值［13］.即，若x在时刻 tk的实现为Xk=σ则在时刻tk+1，随机变量x的概率密度为

累积分布函数为

为分析方便，引入门限θm将连续随机变量x转换为离散随机变量.

设在时刻tk，子频带的离散频谱状态为σ=bm，1≤m≤M，则

式中b0代表信道空闲，即噪声和干扰低于θ1.

1.4干扰效率性能

无线通信中，能量效率性能，简称能效性（energy consumption efficiency，ECE）η，一般定义为能耗与数据传输量的比值，也即平均功率ρ与平均数据速率（或吞吐量）C的比值，单位为J/bit，用于表示传输每比特数据要消耗的能量，也即代价（消耗能量）与收益（数据传输）的关系［14-16］.类似的，给出定义:

定义1 小蜂窝认知网络中的干扰效率性能，简称干效性（interference efficiency，IE）ξ，定义为干扰ψ（包括小区间干扰和对主用户产生的干扰）与数据传输速率C的比值，单位为J/bit.

干效性具有与能效性类似的物理意义，同样表示代价（对其他系统的干扰）与收益（数据传输）的关系，即传输每比特数据对其他系统所产生的干扰.

用nBAND，m表示小蜂窝m所使用的子频带个数；ρ*表示每个子频带上的发射功率；B表示每个子频带的带宽；ρ′m为发送信息时消耗的总功率，包括发送功率ρm和设备自身功率；hm表示小蜂窝m的基站和移动终端间的平均路径损耗；σm，tk表示第tk时刻小蜂窝m的信道噪声功率；ρMBS表示其他基站的总发射功率；gm，n表示从小蜂窝m的基站到其他小蜂窝基站的平均路径损耗；gm表示从其他基站到小蜂窝m的平均路径损耗；nUSER，m表示小蜂窝m中接入的移动终端数量，λ表示每个用户的平均数据速率.则小蜂窝m的数据传输速率为小区最大容量和业务数据请求总量的最小值，可表示为

式中ρm=NBAND，mρ*，小蜂窝m的基站对其他系统产生的干扰可表示为

2　Restless Bandits建模

Restless Bandits模型基于马尔科夫决策过程（Markov decision process，MDP），是动态随机优化理论中的经典模型［11-12］.Restless Bandits模型可以描述若干个并行的被控对象，每个对象都有有限的状态空间，在每个离散的时间点上有部分对象被激活，获得收益并依一定概率改变状态.被激活的对象根据最优策略o（o∈O）确定，其中O为所有可能策略的集合.最优策略的求取可利用模型的索引特性，将NP难的优化问题转化为比较索引值大小的选择问题［17］.

2.1系统状态

定义2 小蜂窝m在决策时刻tk的系统状态，定义为由某可用子频带数量、接入的用户数量、主用户基站功率、信道状态、路径损耗和系统中可用子频带的总数量组成的集合.

用I=｛Iωm｝，1≤ω≤G，表示小蜂窝的状态集合，其中G为可能状态的总数，

为简单起见，设主用户以恒定功率发射，故ρMBS不变，主用户和认知基站间的距离固定，仅考虑大尺度衰落，故gm同样不变.因此系统状态可简化为

2.2小蜂窝基站行为

小蜂窝m中的认知基站在决策时刻tk的行为可表示为am（t）∈A=｛0，1｝.其中A为所有可能行为的集合.am（t）=1表示小蜂窝m在决策时刻tk为活跃，即获得新的空闲频谱进行数据传输，am（t）=1表示小蜂窝m在时刻tk为非活跃，即不获得新的空闲频谱.

当小蜂窝m采用的动作为a时，将其状态的转移建模为马尔科夫过程，从状态i到状态j的转移概率表示为

2.3状态转移概率

设在时隙tk-1～tk时，到达用户的个数为z；在时隙tk～tk+1时，到达用户的个数为z-k，其中k为下个时隙到达用户个数的变化量.则小蜂窝m的用户数状态转移概率为

式中

由于信道噪声变化的过程服从瑞利分布，小蜂窝m的信道状态转移概率为

因此，小蜂窝m状态转移概率可改写为

2.4最优频谱决策策略

不同系统状态对应不同的收益，因此定义小蜂窝m在决策时刻的tk状态为i时的系统收益为Rim（tk）.

为在抑制干扰的同时降低系统能耗，用能效性和干效性的组合作为小蜂窝m的系统收益

式中y1、y2为常数系数；ηm为能量效率，ρ′m为发送信息时消耗的总功率，包括发送功率ρm和设备自身功率.

可见Rm与小蜂窝m的状态相关，故用Rim表示状态为i时所对应的收益.

用U表示所有可采取策略，其中任一策略u∈U是T×N阶矩阵，其中t行n列为an（t），表示次用户n在决策时刻tk的动作.在每个tk至tk+1的时隙内，移动用户的数量为NUSER.

本文优化目标为最大化整个时间轴的系统整体折扣收益，设折扣因子为β（0＜β＜1），则优化目标为

最优策略即为

2.5解Restless Bandits问题

目前，已有多种解Restless Bandits问题的方法被提出，首先是用松弛的线性规划解决 Restless Bandits问题.

用∏=｛（i，a）:i∈φ，a∈A｝表示状态-动作空间，则折扣收益可以写作

式中Raim为网络 m在状态 im、动作 a时的收益，表示使用策略u、状态为j、动作为a时，总的折扣时间.

因此Restless Bandits问题可以转换成线性规划问题

其中

解此问题的方法是构建一个多项的X，即线性规划的松弛.于是这个一阶松弛可以表示为一个线性规划问题

该方法需要基于马尔科夫决策过程（Markov decisionchain，MDC）的 线 性 规 划 （linear programming，LP）的建模，给定一系列的越来越紧的线性规划松弛，这一系列线性规划松弛的最后一个是完全紧密的，也就是准确的.

本文采用Primal-dual优先索引启发式算法，使用在一阶松弛的最优的primal和dual解中所包含的信息.式（14）的dual为

优先级-索引值的方法规则就是所有网络中具有最小索引值的网络作为活跃网络.

3　动态频谱决策过程

系统初始化时，每个小蜂窝中的基站依据状态转移概率矩阵、系统收益等计算所有可能的状态所对应的索引值δim，并将其存储在本地数据库的索引值表中［17］.初始化完成后，在每个决策时刻，完成如下过程:

1）依据多个小蜂窝基站的协作频谱检测结果，若有可用新增空闲子频带到达，更新小蜂窝的状态Im.

2）每个小蜂窝基站根据各自状态Im查表获得当前的索引值δim.

3）通过基站之间的有线或无线连接，共享各自的索引值.

4）每个基站判断自己是否具有最小的索引值.

如果是，占用新增的空闲子频带；如果否，不做任何操作.

5）循环进行上述步骤，直至网络关闭.

该方法不需要中心控制节点，小蜂窝基站以分布式的方式独立计算索引值并共享，即可进行最优的频谱管理决策.

4　仿真结果及分析

现有研究中尚未见考虑干效性的成果，因此本文将所提出的方法与现有未进行基于干扰效率和能量效率的最优频谱管理的方法［8］进行比较，以验证本文所提方法的性能.仿真中的基本参数依据文献［8］设置，其他参数nBAND，m∈ω，nUSER，m∈ξ，σm∈ψ，nBAND∈ζ.其中ω=ξ=｛1，2，3｝，ψ=｛0.05，0.07｝，ζ=｛1，2，3，4，5，6｝，y1=1，y2=0.1，hm=0.05，gm= 0.01.其中y1和y2用以调整干效性和能效性在系统收益中的比例，其取值一般应使两者占比大致相当.

图2描述了每个时隙的平均收益性能比较.在这100个时隙的收益中，从图中可明显看出，本文提出的方法所获得的收益显著优于文献［8］中未经优化时的收益，这是因为本文的方法能够根据系统状态选择最合适的小蜂窝基站使用新的可用频谱以优化能效性和干效性.

图3为子频带平均发射功率ρ*以及小蜂窝m的基站不同时，系统平均收益的比较结果.可见相对文献［8］中的方法，当ρ*取不同值时，本文的方法都可以显著提升系统收益.此外，随着ρ*的增加，系统收益首先上升，这是因为较高的发射功率可以明显提高小蜂窝的系统容量（数据传输速率），但当ρ*继续增加，小蜂窝的容量超过了需要传输的数据量，再继续增加发射功率只能造成功率的浪费和干扰的增加，故系统平均收益明显下降.

图4、5分别为子频带平均发射功率ρ*以及不同时，系统能效性和干效性的总收益比较结果.

类似于图2的结果，本文提出的方法的能效性和干效性明显优于文献［8］的方法.由于能效性干效性ξm，因此ηm和ξm越低，性能越好.同样，也存在一个最优的发射功率ρ*，使得系统的能效性和干效性达到最优.

5　结论

1）研究了小蜂窝认知网络中的频谱动态管理问题，考虑其中抑制干扰、降低功率的关键问题，定义了干效性的概念，构造了多目标系统收益函数，利用随机动态优化理论中基于马尔科夫决策过程的Restless Bandits模型，提出了一种最优的动态频谱管理方法.

2）该方法能显著提升系统收益，改善能效和干效性能.

［1］NAKAMURA T，NAGATAS.Trendsinsmallcell enhancementsinLTEadvanced［J］.IEEE Communications Magazine，2013，51（2）:98-105.

［2］NI W，COLLINGS I B.A new adaptive small-cell architecture［J］.IEEE Journal on Selected Areas in Communications，2013，31（5）:829-839.

［3］WILDEMEERSCH M，QUEK T Q S，RABBACHIN A，et al.Energy efficiency design of cognitive small cells［C］∥Proc IEEE ICC.Budapest:Hungary，2013:2701-2706.

［4］ASHRAF I，BOCCARDI F，HO L.Sleep mode techniques for small cell deployments［J］.IEEE Communications Magazine，2011，49（8）:72-79.

［5］HUANG L，ZHOU Y Q，HAN X.Distributed coverage optimization for small cell clusters using game theory［C］∥Proc IEEE WCNC.Shanghai:IEEE，2013:2289-2293.

［6］BENNISM，PERLAZASM，BLASCOP.Selforganizationinsmallcellnetworks:areinforcement learning approach［J］.IEEE Transactions on Wireless Communications，2013，12（7）:3202-3212.

［7］MASO M，CARDOSOLS，DEBBAHM.Channel estimation impact for LTE small cells based on MU-VFDM ［C］∥Proc IEEE WCNC.Paris:IEEE，2012:2560-2565.

［8］WILDEMEERSCH M，QUEK T Q S.Cognitive small cell networks:energy efficiency and trade-offs［J］.IEEE Transactions on Communications，2013，61（9）:4016-4029.

［9］ELSAWY H，HOSSAIN E.HetNets with cognitive small cells:useroffloadinganddistributedchannelaccess techniques［J］.IEEE Communication Magazine，2013，51 （6）:28-36.

［10］LIU Y K，CAI L X.Deploying cognitive cellular networks under dynamicresourcemanagement［J］.Wireless Communications of IEEE，2013，20（2）:82-88.

［11］WHITTLE P.Restless bandits:activity allocation in a changing world［J］.Journal of Applied Probability，1988，25（1）:287-298.

［12］BERTSIMAS D，NIÑO-MORA J.Restless bandits，linear programmingrelaxations，andaprimal-dualindex heuristic［J］.Operations Research，2000，48（1）:80-90.

［13］SI PB，FRICHARDY，ZHANGYH.Optimal transmission behavior policies of secondary users in proactive-optimization cognitive radio networks［J］.China Communications，2013，10（8）:1-17.

［14］HAN C，ARMOUR S.Energy efficient radio resource managementstrategiesforgreenradio［J］.IET Communications，2011，18（5）:2629-2639.

［15］XU Y Y，XU X D，LI Y，et al.Energy-efficient power control for fractional frequency reuse［C］∥Proc IEEE PIMRC.London:IEEE，2013:2962-2966.

［16］HANSAN Z，BOOSTANIMEHR H，BHARGAVA V K. Green cellular networks:a survey，some research issues and challenges［J］.IEEE Communications Surveys& Tutorials，2011，13（4）:524-540.

［17］SI P B，FRICHARD Y，JI H，et al.Optimal cooperative internetwork spectrum sharing for cognitive radio systems with spectrumpooling［J］.IEEETransactionson Vehicular Technology，2010，59（5）:1760-1768.

（责任编辑 杨开英）

Dynamic Spectrum Management Based on Interference and Energy Efficiency for Small-cell Cognitive Networks

SI Pengbo，LIU Jia，YU Fei，ZHANG Yanhua
（College of Electonic Information and Control Engineering，Beijing University of Technology，Beijing 100124，China）

With the introduction of interference efficiency（IE），which represents the interference introduced by the transmission of each data bit，an optimal dynamic spectrum management scheme was proposed to deal with the problem of reducing both interference and power consumption in small-cell cognitive radio networks working on unlicensed spectrum bands.Both the multi-objective reward function with energy and interference efficiency and spectrum management decisions to maximizing their long-term discounted reward were established and optimized by the cognitive radio base stations in the small cells. The restless bandits problem based on the Markov decision process in the dynamic stochastic optimization theory was used for the optimization schemes，and the process of dynamic spectrum management was presented.The proposed scheme has low computation complexity with distributed and dynamic features. Simulation results are provided to demonstrate the significant performance improvement of the proposed scheme.

small-cell cognitive radio；dynamic spectrum management；interference efficiency（IE）；energy efficiency

TN 929.53

A

0254-0037（2016）02-0223-07

10.11936/bjutxb2014090002

2014-09-01

国家自然科学基金资助项目（61372089，61101113）；北京市自然科学基金资助项目（4132007，4132015）

司鹏搏（1983—），男，副教授，主要从事认知无线电网络、异构无线网络、绿色通信技术方面的研究，E-mail: sipengbo@bjut.edu.cn