基于认知的自适应控制机制

朱　江　王　军　李少谦

摘要：基于认知的自适应控制机制是以认知无线电(CR)系统的基本功能与基本目标为基础，对该系统研究方法与研究内容的总概括，因此可以用一种认知环结构来描述这种机制。认知环包括了几大构件，即环境、智能系统的内部结构、观察、行为等。

关键词：认知无线电；自适应控制；人工智能；认知环

Abstract:According to the basic functions and objectives of Cognitive Radio (CR) systems, cognition based adaptive control mechanism is the generalization of research content and approach for cognitive radio systems. Therefore, the mechanism is described by a cognition cycle, which contains several components, namely, environment, structure of intelligent systems, observation, action, and so on.

Key words: cognitive radio; adaptive control; artificial intelligence; cognitive cycle

针对将认知的基本概念引入无线通信系统而形成的这一门新的交叉学科，世界知名的专家Simon Haykin在其参与编写的《Cognitive Wireless Communication Networks》中研究了人类的智能与无线通信系统之间的关系，从通信系统的角度描述了认知无线电(CR)系统的基本功能：观察、学习、记忆、决策，即CR系统能够根据从历史信息中所获得的先验信息以及当前观察结果，对所处环境的信息产生响应。这些基本功能具体归纳为：感知环境，包括无线电环境、系统内和系统间的信息等；从环境中学习；根据策略来达到控制系统参数(功率、编码调制方案、接入方案、路由选择等)的目的；节点以自组织、协同的方式实现它们之间的通信；通过资源的合理分配来控制节点之间的通信过程；产生意图和自我意识。CR系统的基本目标：复杂通信系统中满足用户需求的灵活可靠通信；频谱资源的有效利用。总之，无线电系统中的认知也是一种为获取客观环境中所蕴含知识而进行的信息获取、分析、存储、响应过程。

1 基于认知环的自适应控制机制

根据对CR系统基本功能和基本目标的归纳，可以看出该系统本质上是一种全局闭环反馈控制系统，从控制论和人工智能的角度讲，这种系统是通过基于认知的自适应反馈控制机制来实现的[1]。因此，可以用一种环状框图结构描述此类系统的基本功能、目标及系统内部实体之间的依存关系。当Joseph Mitola III于1999年提出CR的基本概念时，就从软件计算机的角度用认知计算机环来描述CR的实现过程[2]。Simon Haykin从信号处理和信息论的角度，用认知信号处理环来描述CR系统的信号处理、学习、自适应过程[3]。认知计算机环是一种高度抽象的概念化模型，没有具体的实现细节，所以需要实际的应用范例将其具体化。认知信号处理环是对认知计算机环的具体化，但主要是从单一收发对的物理层信号处理角度考虑，纵向的跨层设计参数以及横向的多系统协同、竞争场景并未纳入其中。为此，本论文中将根据近几年来CR系统的主要研究内容和研究方法，从两个方面对认知环模型进行扩充：将横向的系统间协同、竞争的概念纳入其中，考虑多系统共享无线电资源的场景；将纵向的分层、跨层设计概念纳入其中，不仅考虑了物理层参数配置的及优化目标，同时结合了链路层、网络层的问题，以实现联合优化与参数配置。

从认知科学的角度讲，一个认知系统由两大主要部件构成：环境以及处于环境中的智能系统。智能系统通过观察来得知环境对其自身的作用，同时智能系统通过其行为反作用于环境。如图1所示，在本文提出的认知环模型中，将智能系统定义为为实现某通信目标而互相依赖的网络节点，具体如物理层的通信收发对、网络层的源节点、目的节点及其中继节点；环境分为外部环境和内部环境，外部环境包括无线电资源、外部系统信息两方面，而内部环境为智能系统内部所触发的事件以及内部状态。智能系统通过感知以获取无线电资源的状态信息，外部系统将自身的信息以消息的形式表达给本系统，而智能系统内部的事件和状态可以直接获知。智能系统的行为由所学习到的策略所决定，而学习过程由分层或跨层的优化目标所确定的效用以及智能系统从环境中获取的信息共同决定。行为一方面作用于外部环境，另一方面也作用于内部环境。

2 环境建模

2.1 无线电资源的建模

无线电资源模型主要包括可用性模型以及质量模型两方面，前者包括时间、空间上的可用频段，后者用无线信道的衰落状态描述。

●可用性模型：无线资源的可用性模型可以由两种不同的模型确定：频谱机会(或被称为频谱洞、频谱白空间)模型[4]和干扰温度模型[5]。频谱机会模型主要由授权系统流量负荷的统计特性确定，通常可以被建模为符合某种分布的开关过程，而根据授权系统的流量特点，频谱机会可以分为分时隙和连续两类。干扰温度模型是指即使授权系统占用某频段时，只要CR系统引入的干扰不超过干扰温度限，CR系统就可以使用该频段。

●质量模型：无线资源(信道、频段)的质量模型由接收机端的信噪比决定，而信噪比的变化主要取决于无线信道的衰落。通常情况下，信道衰落大致分为由收发对之间距离决定的大尺度衰落和多径效应引起的小尺度衰落。大尺度衰落取决于收发对之间的距离，可以用二维坐标标明收发对所处的位置，而位置的变化可以建模为时齐的离散时间马尔科夫过程。小尺度衰落决定的信噪比可由一种比较通用的离散时间马尔科夫过程来描述[6]。这种模型下，落在不同区间的连续信噪比被量化为离散的状态，状态的转移概率由状态持续时间、多普勒频移、量化区间的上界值和下界值、平均信噪比决定。

2.2 外部系统的建模

当多系统共享无线电资源进行通信时，必然会引入对资源的竞争或合作使用的问题。如果有中心控制单元负责协调多系统的资源配置问题，则无需考虑系统间的信息互动，也就不必为各个系统建立其外部系统模型。另一方面，如果各个系统以自组织的方式共享资源，则每个系统就要面临其他系统组成的外部系统环境。外部系统的信息包括它们的策略、效用、环境等，这些信息不会被直接观察到，而是封装在协议内以消息的形式被本系统获得。

由于外部系统与本系统有效用(或回报、收益、利益)冲突的矛盾以及合作共赢的驱动力，外部系统反馈的消息中所蕴含的信息具有真实性和非真实性差异，此差异通常取决于多个系统的自组织方式，而自组织方式一般有3类：合作、合作加竞争、竞争。

●合作：在这种组织方式下，系统间没有效用冲突，或者会达成某种有约束力的协议以规避、弱化冲突，使得在各方都遵守协议的情况下，各个系统能获得比竞争更多的效用。当系统间构成合作关系，就比较倾向于向外部系统提供自身的真实信息。例如在某些无能量约束协同频谱感知问题的研究中，系统间没有效用冲突，为获得较大的频谱检测概率和较小的虚警概率，合作的网络节点都会将真实的感知信息通知给对方[7]。

●竞争：在这种组织方式下，系统间存在效用冲突的关系，没有具有约束力的合作协议来弱化冲突，也没有引入第三方协调机制。因此，在此情况下系统间更倾向于向彼此传递非真实信息[8]。

●合作加竞争：在这种组织方式下，某些系统会形成联盟或者小团体。联盟内部的系统间没有效用冲突会或达成某种有约束力的合作协议，因此它们之间会比较倾向于互相提供真实信息。而对于联盟以外的系统还是以竞争的方式共存，因此信息交互是倾向于非真实性。联盟的存在往往会提高联盟内部系统的效用，降低全部系统的总效用(或社会效用)，降低系统间的公平性。是鼓励联盟的存在还是限制联盟的存在与设计目标有关，比如优先保证某些级别较高系统的效用，则可以鼓励它们形成联盟，如果侧重于所有系统的公平性以及总体效用，则应该设计某种规则限制联盟的存在[9]。

值得注意的是，以自组织方式共享资源的系统间是否有意愿传递真实信息，取决各自利益获得可靠保证，而且传递真实信息要比传递假信息获得更好、至少是不会更差的效用，这就是要满足所谓的激励相容约束。一方面，如果系统间具无效用冲突或者有协议约束关系，则传递真实信息是能够提高效用的更好选择；另一方，如果有冲突，则可以引入某些第三方的协调机制、规则来惩罚传递虚假信息的系统，使得各个系统更倾向于传递自身真实信息，从而获得总体系统性能的帕累托改进。因此，可以将外部系统组成的环境看作社会环境，它受到外部智能系统的主观因素影响。

2.3 系统内部事件、状态的建模

就CR系统而言，系统内部有切换请求、呼叫请求、分组到达、路由请求等各层触发通信过程的事件。这类事件通常被建模为服从泊松分布、帕累托分布的随机过程。另一方面，通过引入队列、寄存器等设备，将连续的事件转变为离散的状态：队列里处于等待状态的请求个数、寄存器内分组的数目等。

3 智能系统的观察

CR系统对其内部事件、状态可以直接获知，因此不需要特殊的观察方法。对于无线电环境的感知、估计以及对外部系统信息的获取则需要通过特定的观察方法。

3.1 无线电环境的感知、估计

●可用性的感知

频谱感知的方法可以分为两类。在单节点频谱感知研究方面，有基于匹配滤波的检测，以及能量检测、周期特性检测、基于协方差矩阵检测等盲检测；另一方面，为提高感知灵敏度并克服隐藏终端问题而引入了多节点协同频谱感知。通过多节点协同检测还可以降低系统设计的复杂度，由于多节点检测提高了整个系统的检测准确性，所以可以在满足系统需求的前提下适当地降低对单个节点的检测性能的要求[10]。

●质量的估计

对于大尺度衰落信息可以通过接收机向发送机反馈的地理位置坐标来估计。为获得小尺度衰落信息，发送机首先要发送导频给接收机，接收机通过导频估计信道状态，并将信道状态信息反馈给发送机。为确保反馈信息的正确性和及时性，CR系统可划分专门的通用控制信道用于传输这些信息。

3.2 外部系统信息的获取

外部系统的信息不会被直接观察到，而是封装在协议内以消息的形式被本系统获得，因此协议设计是系统间信息交互的基础。基于消息传递的协议设计很大程度上取决于多个系统的自组织结构：

●分布式结构：在这种结构中，没有专门负责接收和转发消息的中心控制器，因此协议的设计可以借鉴IEEE802.11标准的CSMA/CA协议。由于CSMA/CA协议在设计时专门预留了字段用于协议的扩展，因此这些字段可以用来包装系统消息[11]。

●分散式结构：这种结构介于集中式和分布式之间，也就是决策或策略是分布式，并不依赖中心控制器，而协议、信令、控制信息则可以依赖于一个弱化的中心控制器来收集、转发[12]。

4 智能系统的结构

智能系统的内部由3种功能模块：推理、效用、学习，以及两种存储模块：信息库、策略库组成。

4.1 功能模块

●推理：如果环境是部分可观察或不可观察的，则需要通过推理获得环境的信息。所谓推理即由一个或几个已知的判断，推导出一个未知的结论的思维过程。其作用是从已知的信息得到未知的信息，特别是可以得到不可能通过观察获得的未知信息。比较常用的推理是基于概率分布的贝叶斯推理。

●效用：智能系统从环境中获得的与优化目标相关的满足感就是偏好，而效用是用来衡量偏好的尺度，也就是系统获得的积极或消极影响的衡量标准和参考。本质上讲效用也是一种函数，即从环境信息中归纳出在此环境下系统的满足程度[13]。

●学习：在学习过程中，智能系统获取环境的当前信息，对环境采取试探行为，并获取环境反馈的对此行为的评价和环境的迁移。如果智能系统的某一行为导致环境的奖赏(正效用)，那么智能系统以后产生这个行为的趋势便会加强；反之，产生这个行为的趋势将减弱。在系统的行为与环境反馈的信息及效用的反复的交互作用中，学习功能块不断地修改从系统信息到行为的映射，以达到优化系统性能目的[14]。

4.2 存储模块

●信息库：如果环境的观察结果真实、完整，则观察结果直接进入信息库，例如CR系统内部的事件、状态等信息。另一方面，部分可观察或不可观察的环境信息在经过推理以后以置信度的形式存储在信息库中。所谓置信度就是信息的所有可能取值上的概率测度，例如贝叶斯推理得到的结果就是以这种形式存在[11]。

●策略库：所谓策略就是智能系统在给定环境信息的情况下的行动规则，也就是说，它规定了系统在什么时候采取何种行为[15]。策略分为：确定性策略，即给定环境信息时对应的行为是唯一的；混合(或随机)策略，即给定环境信息时，采取何种行为依赖于概率分布，这种分布是此时环境信息决定的所有可能行为上的概率测度。由此可以看出，策略反映了环境信息和行为的对应关系。

对于CR系统而言，当考虑其实现时必然要面临存储代价的问题。因此两种存储模块内的信息或策略的表述形式及如何压缩存储规模是系统实现的关键问题之一。关于表述形式，目前有基于无线电扩展标识语言以及基于策略核心信息模型的策略描述语言等。关于存储规模的压缩，有基于特征抽取的方法和神经网络压缩存储法等。

5 智能系统的行为

智能系统的行为是给定环境信息的条件下系统的决策变量。行为可以分成两种：一种是负责处理通信事务的行为，例如发射功率、编码、调制、接入、调度、路由选择等，这种行为与跨层、分层的优化目标对应，例如能效传输对应自适应速率控制(编码、调制)；另一种负责确定以何种消息的形式向外部系统反馈本系统的信息，即确定反馈消息中本系统信息的真实程度，如前所述，这种行为与系统不同的自组织方式对应。行为一方面可以改变环境的迁移规律，另一方面向外部系统提供信息。

6 结束语

从前文中的分析中可以看出，CR系统具有感知、推理、学习、决策的能力，最终目的在于实现对复杂系统的频谱资源高效利用，减少复杂系统运维对人的依赖性，这些对系统的自适应性、智能以及系统之间的协调提出了更高的要求。同时，对系统依据环境状态迁移而自调整与自控制能力的研究必须在未来无线通信系统的体系架构设计中进行考虑。这一方面意味着新的技术革新，同时也对无线通信理论提出了新的研究挑战。目前学术界和工业界有关CR系统的理论研究及标准制定正在进行，并取得了一些成果。有理由相信随着科技的发展和用户需求的驱动，CR系统的研究将得到更大的发展，并被应用到实际当中。

7 参考文献

[1] HAYKIN S. Cognitive radio: brain-empowered wireless communications[J]. IEEE Journal on Selected Areas in Communications, 2005, 23(2): 201-220

[2] MITOLA J III. Cognitive radio architecture: the engineering foundations of radio XM[M]. New York, NY, USA: John Wiley & Sons, 2006: 134-138.

[3] HOSSAIN E, BHARGAVA V. Cognitive wireless communication networks[M]. New York, NY, USA: Springer, 2007: 1-43.

[4] HYOI KL, SHIN K G.Efficient discovery of spectrum opportunities with MAC-layer sensing in cognitive radio networks[J]. IEEE Transactions on Mobile Computing, 2008, 7(5): 533-545.

[5] CLANCY T. Formalizing the Interference Temperature Model[J]. Journal on Wireless Communications and Mobile Computing, 2007, 7(9): 1077-1086.

[6] WANG H S, MOSYERI N. Finite-state markov channel: a useful model for radio communication channels[J]. IEEE Transactions on Vehicular Technology, 1995, 44 (1): 163-171.

[7] GHASEMI A, SOUSA E S. Collaborative spectrum sensing for opportunistic access in fading environment[C]//Proceedings of 1st IEEE International Symposium on New Frontiers in Dynamic Spectrum Access Networks (DySPAN'05), Nov 8-11, 2005, Baltimore, MD, USA. Piscataway, NJ, USA: IEEE, 2005: 131-136.

[8] NEEL J, REED J H, GILLES R P. The role of game theory in the analysis of software radio networks[C]//Proceedings of 2002 SDR Forum Technical Conference: Vol.2, Nov 12-14, 2002, San Diego, CA, USA. NP-3-02.

[9] MATHUR S, SANKAR L, MANDAYAM N B. Coalitions in cooperative wireless networks[J]. IEEE Journal on Selected Areas in Communications, 2008, 26(7): 1104-1115.

[10] AKYILDIZ F, LEE W, VURAN M C, et al. Next generation/dynamic spectrum access/ cognitive radio wireless networks: A survey[J]. Elsevier Computer Networks, 2006, 50(13): 2127-2159.

[11] ZHAO Q, TONG L, SWAMI A, et al. Decentralized cognitive MAC for opportunistic spectrum access in ad hoc networks: A POMDP framework[J]. IEEE Journal on Selected Areas in Communications, 2007, 25(3): 589-600.

[12] GANDHI S, BURAGOHAIN C, CAO L, et al. Towards real-time dynamic spectrum auctions[J]. Elsevier Computer Networks, 2008, 52 (5): 879-897.

[13] JIANG ZHIMEI, GE YE, LI YE. Max-utility wireless resource management for best-effort traffic[J]. IEEE Transactions on Wireless Communications. 2005, 4(1): 100-111.

[14] CLANCY C, HECKER J, STUNTEBECK E, et al. Applications of machine learning to cognitive radio networks[J]. IEEE Wireless Communications Magazine, 2007, 14 (4): 47-52.

[15] ZHU JIANG, WEI NING, XU BINGYANG, et al. Optimal and suboptimal access and transmission polices for dynamic spectrum access over fading channels in cognitive radio networks[J]. Chinese Journal of Electronics. 2008, 17(4): 726-732.

收稿日期：2009-01-12

朱江，电子科技大学通信抗干扰技术国家级重点实验室博士研究生，先后参加国家“863”计划项目、“973”计划课题、国家自然科学基金项目等共4项。已录用和发表SCI检索论文2篇，主要研究方向为认知无线电系统、跨层设计与优化。

王军，电子科技大学通信抗干扰技术国家级重点实验室副教授、在职博士研究生，先后主持和参加国家“863”计划项目、“973”计划课题、国家自然科学基金项目等10余项。已录用和发表SCI/EI检索论文30多篇，申请发明专利10余项。主要研究领域为无线通信系统中的信号处理技术，包括MIMO、认知无线电等。

李少谦，电子科技大学教授、博士生导师，国家”863”计划通信主题专家组专家。主要研究方向为移动通信与无线通信、个人通信、抗干扰通信技术。