基于学习策略的动态频谱接入信道选择及系统性能

叶芝慧 冯 奇 王 健

(南京大学电子科学与工程学院，南京 210023)

基于学习策略的动态频谱接入信道选择及系统性能

叶芝慧 冯 奇 王 健

(南京大学电子科学与工程学院，南京 210023)

为了提高认知无线网络的丢包率和吞吐量性能，运用基于学习策略的动态频谱接入方法感知授权信道.在已知主用户先验信息的条件下，认知用户根据主用户信号忙闲的统计特性，按照空闲状态概率从高到低的顺序依次对目标授权信道进行频谱感知，并接入第1个检测到的空闲信道.针对固定速率和可变速率2种业务类型，分别考察了认知无线网络的丢包率和吞吐量性能.在未知主用户先验统计特性的条件下，认知用户的平均错误预测概率直接影响着系统性能.仿真结果表明，与随机频谱感知性能相比，基于机器学习和预测的频谱感知的丢包率和吞吐量性能均有所提高.认知用户基于学习策略的动态频谱接入信道选择方法可以有效利用频谱空穴，提高系统频带利用率.

认知无线电;动态频谱接入;信道选择;丢包率;吞吐量

随着信息化时代的到来，无线通信正发挥着越 来越重要的作用.然而，无线通信需求的不断增长导致频谱资源的日益短缺.为了有效缓解这一矛盾，出现了一种新的智能无线通信技术——认知无线电(cognitive radio，CR)［1］.认知无线电是指无线终端具有足够的认知能力，能够对周围无线环境的历史和当前状况进行检测、分析、学习、推理和规划，以使其内部状态适应外界环境的变化.

机器学习(machine learning，ML)是人工智能领域的重要研究方向［2］.在认知无线电中，观察和学习是认知循环的2个重要方面.常用的频谱检测算法包括能量检测法、匹配滤波法以及循环平稳检测法等［3］.运用机器学习理论进行频谱认知和管理是实现认知无线电技术的必然要求［4］.文献［5］提出了一种基于遗传算法的认知引擎，能够及时跟踪外界环境的变化，但仅局限于移动Ad-Hoc网络的具体功能实现，普适性较差.文献［6］运用连续时间Markov模型对WLAN的频谱占用进行了建模，实测数据表明，采用指数分布来拟合频谱占用和频谱空闲时间分布，可以得到良好的拟合效果.文献［7］提出了一种认知无线电中快速发现频谱空穴的方法，用于提高系统吞吐量.文献［8］采用基于机器学习的主动频谱感知思想，优化检测周期以期最大化频谱接入机会.然而，在实际系统中，认知用户无法确知主用户的统计特性，只能通过观测值进行估计.因此，采用Markov模型来描述目标授权信道空闲和占用2种状态间的交替更具有普遍意义［9］.

针对上述现状，本文运用Markov模型，针对不同的业务类型，分别讨论了固定速率和可变速率业务下认知用户的丢包率和吞吐量.根据认知用户是否包含主用户先验信息，分别研究了基于机器学习和预测的动态频谱接入策略.仿真结果表明，与随机频谱感知相比，认知用户基于机器学习和预测的频谱感知丢包率和吞吐量性能均有所改善.

1 系统模型

假设无线频谱环境中的授权信道相互独立，认知用户在每个时隙都会根据机器学习的结果对N个目标授权信道进行预测.文献［6］的实测数据表明，主用户空闲和占用的时间长度相互独立且均服从指数分布，其均值分别为1/α和1/β.后验概率可采用Markov模型进行计算［10］，即

式中，U表示信道忙闲状态;O表示感知结果;Q表示状态转移概率矩阵;I表示示性函数;π表示初始状态概率.根据最大似然概率准则，空闲和占用时间分布参数α和β的统计特性为

式中，A，B分别表示参数α，β的所有可能取值的集合.

空闲状态概率P=X/(X+Y)的概率密度函数为f(p)=αβ/［αp+β(1－p)］2，0≤p≤1.认知用户根据主用户信号忙闲的统计特性，采用最大似然估计准则估计下一个时隙目标授权信道的空闲状态概率，即

为了客观评价基于机器学习和预测的无线信道频谱感知策略的性能，针对不同业务类型的认知用户，设定了丢包率和吞吐量2种评价标准［11］，它们分别是开展固定速率业务和可变速率业务的认知用户性能评估参数.图1分别说明了在已知和未知主用户先验信息条件下认知用户动态接入目标授权信道的2种情况.图中，Pi为自然顺序下第i个信道的空闲概率，Pξi为重新排序后第i个信道的空闲概率，且i=1，2，…，N.

图1 认知用户动态接入目标授权信道的2种情况

2 已知先验信息的信息选择模型

在下一个时隙到来前，认知用户运用Markov模型计算后验概率，并根据最大似然概率准则估计主用户忙闲的统计特性，进而得到各目标授权信道的空闲状态概率.然后，认知用户按照空闲概率从高到低的顺序依次对目标授权信道进行感知，并在检测到的第1个空闲信道上传输数据.认知用户接入授权信道的具体过程如图1(a)所示.

2.1 丢包率

对于开展固定速率业务的认知用户，每个时隙内传输的比特信息是一定的.信道时间检测门限S定义为在不发生丢包的条件下，单位时隙内认知用户能够检测的信道数的最大值.如果在检测完S(1≤S≤N)个目标信道后仍未找到空闲信道，为了保证可靠传输，认知用户不会在该时隙传输数据［12］.在认知用户已知主用户忙闲统计特性的情况下，假设N个目标授权信道的空闲状态概率分别为P1，P2，…，PS，…，PN.

当认知用户随机选择目标授权信道时，将按照信道自然顺序依次进行感知.此时，认知用户的平均丢包率

当认知用户通过机器学习选择目标授权信道时，将下一个时隙的空闲概率按照从高到低的顺序排列，即Pξ1，Pξ2，…，PξS，…，PξN.此时，认知用户的平均丢包率

2.2 吞吐量

对于开展可变速率业务的认知用户，每个时隙内传输的比特信息是变化的.因此，该情况下认知用户发生丢包的唯一可能是所有目标信道均被占用.与丢包率研究中的重要参数信道时间检测门限S不同，在针对吞吐量的研究中，认知用户检测到第1个空闲信道所消耗的时间将直接决定比特信息的有效传输时间.假设无线频谱环境中授权系统的时隙长度为TS，认知用户在目标信道上的平均检测时间为tS，该时间与具体的频谱感知技术有关.并假设无线频谱环境中N个目标授权信道的信道容量均为Ct.

当认知用户随机选择目标授权信道时，可按照信道自然顺序依次进行感知.此时，认知用户的平均吞吐量

当认知用户通过学习选择目标授权信道时，根据统计特性按照空闲概率从高到低的顺序进行感知.此时，认知用户的平均吞吐量

3 未知先验信息的信道选择模型

当认知用户不含先验信息时，目标授权信道的空闲状态概率是未知的.在这种情况下，认知用户一般假设无线频谱环境中N个目标授权信道的空闲状态概率均为P.由于认知用户不可能完全准确地预测未来时隙信道状态，故定义PE为认知用户的平均错误预测概率，它是衡量认知用户学习和预测水平的重要参数.如果认知用户对于目标授权信道状态的预测结果只依赖于该信道的空闲状态概率P，则平均错误预测概率PE=2P(1－P).

考虑到实际信道状态和预测结果间存在如图1(b)所示的4种对应关系，为了便于研究，对无线频谱环境下的相关参数进行了详细定义(见表1).

表1 无线频谱环境参数定义

3.1 丢包率

当认知用户随机选择目标授权信道时，无需对下一个时隙目标信道的状态进行学习和预测.认知用户能否在规定的时间检测门限之前接入空闲信道，取决于目标授权信道的空闲状态概率.此时，认知用户的平均丢包率可以表示为

当认知用户通过机器学习来预测目标授权信道的状态时，将会根据预测的结果安排下一个时隙频谱感知的顺序.对于给定的时间检测门限S，认知用户的丢包率是随机变量K，L，M的联合概率分布FK，L，M(k，m，l)的函数.当K＞N－S时，认知用户在选择了N－K个占用状态信道后，必然会选择空闲状态信道，该情况下认知用户不会发生丢包.根据K，L，M三者之间的相对关系可得平均丢包率，其中，PL1，PL2，PL3分别为以下3种情况下的丢包率:

1)当K≤N－S，M=K，L≥S时，认知用户根据预测结果检测到的S个信道状态均为占用状态，在该时隙必然发生丢包.此时，认知用户的丢包率为

2)当K≤N－S，M=K，L＜S时，认知用户在选择了被错误预测为空闲的L个目标信道后，需要在剩下的N－L个信道中选择S－L个信道，而这其中有N－K－L个信道是被占用的.如果在时间检测门限S到来之前未找到空闲信道，则仍有可能发生丢包.此时，认知用户的丢包率为3)当K≤N－S，M＜K，L≥S时，认知用户从被预测为空闲状态的K－M+L个目标信道中进行选择，其中的L个信道是被错误预测的.如果在时间检测门限S到来之前正好选择的都是被错误预测的信道，则仍有可能发生丢包.此时，认知用户的丢包率为

3.2 吞吐量

当认知用户随机接入目标授权信道时，无需对下一个时隙目标信道状态进行学习和预测.认知用户检测到第1个空闲信道所消耗的时间依赖于目标授权信道的空闲状态概率.此时，认知用户的平均吞吐量可以表示为

当认知用户通过机器学习来预测无线频谱环境中目标授权信道的状态时，将会根据预测结果安排下一个时隙目标信道频谱感知的顺序.为了计算认知用户用于频谱检测所消耗的时间，根据K，M两者之间的相对关系可得平均吞吐量I″lave=Ct{［1－(1－P)N］TS－(γL1+γL2)tS}，其中，γL1和γL2分别为以下2种情况下的平均目标信道数:

1)当1≤K≤N，M=K时，认知用户在选择了被错误预测为空闲状态的L个占用信道后，将从剩下的N－L个信道中进行选择，直到检测出第1个空闲信道时才接入该信道.认知用户在发现第1个空闲信道之前所检测的平均目标信道数为

2)当1≤K≤N，M＜K时，认知用户在被预测为空闲状态的K－M+L个目标信道中进行选择，其中的L个目标信道是被错误预测的.认知用户在发现第1个空闲信道之前所检测的平均目标信道数为

4 仿真与分析

假设目标授权信道具有相同的业务模型，信道的空闲和占用状态时间服从指数分布，空闲状态概率是采用最大似然估计从目标信道的统计数据中估计获得的.本文分别考察了目标授权信道随机频谱感知以及基于机器学习和预测的目标授权信道频谱感知2种情况下的丢包率和吞吐量性能，并给出了目标授权信道频谱感知性能的理论上界.

首先，考虑认知用户已知主用户先验信息的情况下不同业务类型认知用户的丢包率和吞吐量性能.假设信道时间检测门限S=5，归一化信道容量Ct=1 bit/s，时隙长度TS=1 s，平均检测时间tS=0.05 s.图2和图3分别为丢包率和吞吐量随目标授权信道数的变化曲线.

由图2可知，丢包率随目标信道数的增加而减小.当目标信道数增加时，如果新增的空闲状态概率较高，基于机器学习和预测的认知用户会将其安排在靠前的位置进行检测.因此，与随机频谱感知相比，基于机器学习和预测的频谱感知丢包率性能有所提高.由图3可知，吞吐量随目标信道数的增加而增加，但增速逐渐趋缓.同时，基于学习策略的频谱感知由于能够快速接入空闲信道，其吞吐量性能优于随机频谱感知.

图2 丢包率与目标授权信道数的关系曲线

图3 吞吐量与目标授权信道数的关系曲线

图4 平均丢包率的特性曲线

图5 平均吞吐量的特性曲线

然后，在认知用户未知主用户先验信息的情况下，比较随机频谱感知以及基于学习和预测的频谱感知的平均丢包率和平均吞吐量性能.对于开展固定速率业务的认知用户，目标信道总数N=20，信道时间检测门限S=5.图4为平均丢包率随空闲状态概率的变化曲线.对于开展可变速率业务的认知用户进行频谱感知，其目标信道总数N=20，归一化信道容量Ct=1 bit/s，时隙长度TS=1 s，平均检测时间tS=0.05 s.图5为平均吞吐量随空闲状态概率的变化曲线.

由图4可知，认知用户的平均丢包率随着目标授权信道空闲状态概率的增加而减少.基于机器学习和预测的目标授权信道频谱感知的平均丢包率特性曲线始终位于目标授权信道随机频谱感知曲线和目标授权信道频谱感知性能的上界之间.例如，当目标授权信道的空闲状态概率为0.2时，与随机频谱感知相比，基于学习策略的频谱感知的平均丢包率降低了62%.由图5可知，认知用户的吞吐量随着目标授权信道空闲状态概率的增加而增加.基于机器学习和预测的目标授权信道频谱感知的平均吞吐量特性曲线始终位于目标授权信道随机频谱感知曲线和目标授权信道频谱感知性能的上界之间.例如，当目标授权信道的空闲状态概率为0.2时，基于机器学习和预测的无线信道频谱感知的平均吞吐量较随机频谱感知提高了12%.

5 结语

本文提出了一种基于机器学习和预测的信道选择方案.针对认知用户有、无主用户先验信息的情况，分别建立了不同的数学模型.当已知主用户信号统计特性时，认知用户将根据目标授权信道的空闲状态概率按照从高到低的顺序进行频谱感知，并在第一时间接入信道.当认知用户不含先验信息时，只能假设目标授权信道的空闲状态概率均相同，此时，认知用户的平均错误预测概率成为影响系统性能的重要因素.对于固定速率和可变速率2种业务类型，分别设定了认知无线网络的丢包率和吞吐量2种评价参数.仿真结果表明，与随机频谱感知相比，基于机器学习和预测的无线信道频谱感知性能有所改善.下一步的研究重点是将模型推广到多用户多信道场景，通过用户协作提高认知无线网络的频带利用率.

［1］ Mitola J，Magurire G Q.Cognitive radio:making software radios more personal［J］.IEEE Personal Communications，1999，6(4):13-18.

［2］ 李凡长，钱旭培，谢琳，等.机器学习理论及应用［M］.合肥:中国科学技术大学出版社，2009:1-10.

［3］Haykin S，Thomson D J，Reed J H.Spectrum sensing for cognitive radio ［J］.Proceedings of the IEEE，2009，97(5):849-877.

［4］ Clancy C，Hecker J，Stuntebeck E，et al.Application of machine learning to cognitive radio networks［J］.IEEE Wireless Communications，2007，14(4):47-52.

［5］Yu F R，Huang M，Tang H.Biologically inspired consensus-based spectrum sensing in mobile Ad-Hoc networks with cognitive radios［J］.IEEE Network，2010，24(3):26-30.

［6］Geirhofer S，Lang T，Sadler B M.Cognitive radios for dynamic spectrum access-dynamic spectrum access in the time domain:modeling and exploiting white space［J］.IEEE Communications Magazine，2007，45(5):66-72.

［7］Kim H，Shin K G.Fast discovery of spectrum opportunities in cognitive radio networks［C］//Proceedings of2008IEEE Symposium on New Frontiers in Dynamic Spectrum Access Networks.Chicago，IL，USA，2008:1-12.

［8］Kim H，Shin K G.Efficient discovery of spectrum opportunities with MAC-layer sensing in cognitive radio networks［J］.IEEE Transactions on Mobile Computing，2008，7(5):533-545.

［9］ Wang X，Wong A，Ho P H.Extended knowledgebased reasoning approach to spectrum sensing for cognitive radio［J］.IEEE Transactions on Mobile Computing，2010，9(4):465-478.

［10］Vijay G，Ben A B E，Ibnkahla M.Cognition in wireless sensor networks:a perspective［J］.IEEE Sensors Journal，2011，11(3):582-592.

［11］ Yuan G，Grammenos R C，Yang Y，et al.Performance analysis of selective opportunistic spectrum access with traffic prediction［J］.IEEE Transactions on Vehicular Technology，2010，59(4):1949-1959.

［12］沈连丰，叶芝慧.信息论与编码［M］.北京:科学出版社，2004:113-123.

Learning-based channel selection and system performance of dynamic spectrum access

Ye Zhihui Feng Qi Wang Jian
(School of Electronic Science and Engineering，Nanjing University，Nanjing 210023，China)

To improve the performances of packet loss rate and throughput in cognitive radio network，an approach for learning-based dynamic spectrum access is put forward for spectrum sensing.A channel selection scheme is proposed under the condition that the priori information of primary user is known.Based on the idle and busy state statistical properties of the primary user signal，secondary user performs sensing on the objective licensed channel in accordance with the vacancy state probability in descending order，and then accesses to the first channel detected to be idle.For the fixed rate and variable rate services，the performances of packet loss rate and throughput of cognitive radio network are analyzed.As for the channel selection scheme in the case of the unknown priori information to the secondary user，the system performances are influenced by the mean probability of error prediction.Simulation results show that the proposed dynamic spectrum access scheme based on learning and prediction achieves better performances in packet loss rate and throughput than the random spectrum sensing.Learning-based channel selection of dynamic spectrum access can exploit spectrum holes efficiently and improve the channel utilization in cognitive radio systems.

cognitive radio;dynamic spectrum access;channel selection;packet loss rate;throughput

TN92

A

1001－0505(2012)06-1041-06

10.3969/j.issn.1001 －0505.2012.06.004

2012-06-13.

叶芝慧(1967—)，女，博士，教授，zhye@nju.edu.cn.

国家自然科学基金资助项目(60932002)、江苏省自然科学基金资助项目(BK2010380)、江苏省科技支撑计划资助项目(BE2012155)、江苏省高校优势学科建设工程资助项目.

叶芝慧，冯奇，王健.基于学习策略的动态频谱接入信道选择及系统性能［J］.东南大学学报:自然科学版，2012，42(6):1041-1046.［doi:10.3969/j.issn.1001 －0505.2012.06.004］