强化学习在协作频谱感知中的应用

摘 要：针对随着节点数量的增多，多节点协作频谱感知（Ｃｏｏｐｅｒａｔｉｖｅ Ｓｐｅｃｔｒｕｍ Ｓｅｎｓｉｎｇ，ＣＳＳ） 会产生大量本地数据，导致能耗变高和全局决策延迟的问题，提出节点评估与选择（Ｎｏｄｅ Ｅｖａｌｕａｔｉｏｎ Ｓｅｌｅｃｔｉｏｎ，ＮＥＳ） 和网格搜索（Ｇｒｉｄ Ｓｅａｒｃｈ，ＧＳ） 的强化学习（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ，ＲＬ） 算法。通过ＮＥＳ 算法在融合中心（Ｆｕｓｉｏｎ Ｃｅｎｔｅｒ，ＦＣ） 实时更新协作用户的信任值，对信任值大小进行排序，根据设定的阈值，阻止恶意用户（Ｍａｌｉｃｉｏｕｓ Ｕｓｅｒｓ，ＭＵ） 参与ＣＳＳ。通过基于ＧＳ 的ＲＬ 机制对处理后的数据进行标记，把信噪比（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ，ＳＮＲ） 和信任值作为输入参数，搜索出所有可能的参数组合。在相同环境参数时，ＦＣ 可以直接调用该环境下的节点，不需要再重新进行感知操作，如果有新用户加入时通过改变参数的范围重新搜索，新用户可以模仿其他用户ＲＬ 的经验，从而获得更加快速的信道占用情况。仿真结果表明，该方法与其他算法相比，在提高检测概率的同时，降低了能耗，减少重复计算的时间，解决了全局决策延迟的问题。

关键词：协作频谱感知；认知无线网络；融合中心；网格搜索；强化学习

中图分类号：ＴＮ９２５ 文献标志码：Ａ 开放科学（资源服务）标识码（ＯＳＩＤ）：

文章编号：１００３－３１０６（２０２４）０６－１３４６－０９

０ 引言

随着５Ｇ 进入商业阶段，云计算、网络功能虚拟化和软件定义网络概念的快速革命［１］，人们已经开始６Ｇ［２］移动通信的研究，在６Ｇ 网络中不再局限于传统的地面蜂窝架构，正在向地面－水下－空中－空间混合网络发展。６Ｇ 的频谱研究将集中在扩展频谱资源、频谱共享与动态分配、智能频谱管理等方面，以满足未来移动通信的需求，并提供更快速、可靠和高效的连接体验。认知无线电（ＣｏｇｎｉｔｉｖｅＲａｄｉｏ，ＣＲ）系统是针对射频环境中频谱稀缺［３］问题提出的一种解决方案，主要提高频谱的整体利用率。频谱感知是通信期间，次用户（Ｓｅｃｏｎｄａｒｙ Ｕｓｅｒ，ＳＵ）利用未使用的主用户（Ｐｒｉｍａｒｙ Ｕｓｅｒ，ＰＵ）频谱［４］，实现频谱共享、频谱动态分配和干扰检测等功能。由于地理位置对频谱感知的影响，单节点的感知精度低，而多节点协作频谱感知（Ｃｏｏｐｅｒａｔｉｖｅ ＳｐｅｃｔｒｕｍＳｅｎｓｉｎｇ，ＣＳＳ）可以克服由于多径衰落和阴影导致的频谱感知性能下降的问题。因此，在认知无线电网络（Ｃｏｇｎｉｔｉｖｅ Ｒａｄｉｏ Ｎｅｔｗｏｒｋ，ＣＲＮ）中，ＣＳＳ 是一种被广泛使用的感知技术，可以成功地提高感知精度［５］。但随着感知节点数量的增加，ＣＲＮ 中全局决策实时性降低且能量消耗也随之增加。

在ＣＳＳ 中，一些恶意节点可能会参与到频谱感知中，从而混淆检测系统，也可能因为传感设备错误或信道噪声，一些节点会向融合中心（ＦｕｓｉｏｎＣｅｎｔｅｒ，ＦＣ）发送不正确的结果，这些节点会干扰ＣＳＳ。为了实现高效的频谱感知，检测恶意用户（Ｍａｌｉｃｉｏｕｓ Ｕｓｅｒｓ，ＭＵ）是一个具有挑战性的问题，许多研究人员一直在研究这个问题［６］。文献［７］设计了一种以信誉值为基础的拍卖算法，用于分配感知收益。该算法不仅确保感知收益公平分配，降低了算法复杂度，还可以促进更多群智感知（Ｃｒｏｗｄ Ｓｅｎｓｏｒｓ）参与感知任务。利用区块链的去中心化和去信任化特性，提高了频谱感知的稳定性和可靠性。然而，该算法在考虑报价策略时没有考虑到环境的变化以及Ｃｒｏｗｄ Ｓｅｎｓｏｒｓ 在能量消耗方面的影响。文献［８］提出了一种双自适应阈值技术，以增强其信誉计算算法的鲁棒性。该技术计算每个用户的信誉分数，并计算一组可疑用户，利用自适应阈值对这组可疑用户执行第二信誉计算。未通过此双重检查的可疑用户将被归类为最终ＭＵ，同时在感知用户数增多时整个感知过程计算量也在变大。文献［９］提出了一种称为频谱感知策略选择的新算法，以协作或独立的方式选择更好的感知策略。为了推导节点频谱状态的最大后验估计，通过基于图割的ＣＳＳ方法构建了拓扑信息成本函数和感知结果成本函数。把信誉值应用于评估ＣＳＳ 和独立感知的性能，以最大限度地降低选择性能较差的感知方式的概率。文献［１０］提出了一种基于强化学习（Ｒｅｉｎ-ｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ，ＲＬ）的协同频谱感知方案，用于ＳＵ 确定信道扫描顺序和选择合作伙伴进行协同频谱感知。通过Ｑ-ｌｅａｒｎｉｎｇ 方法，每个ＳＵ 学习主要通道的占用模式，以生成动态的扫描优先列表，从而降低扫描成本并减少访问延迟。然而没有考虑阻止置信度低的用户参与协作感知，使其能耗偏高。文献［１１］提出的混合方案将差分进化（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｅ-ｖｏｌｕｔｉｏｎ，ＤＥ）优化方案与基于机器学习的增强树算法相结合以减轻ＭＵ 在ＣＳＳ 系统中的影响，根据使用ＤＥ 的ＳＵ 确定优化阈值和系数向量用于训练增强树算法，从而获得可靠的感知结果。虽然检测概率得到了提高，但感知时间和能量消耗的成本也在变大。在文献［１２］中，ＦＣ 根据从所有ＳＵ 接收到的硬二进制决策进行全局决策。遗传算法（Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ ，ＧＡ）采用一对多邻居距离和ｚ-ｓｃｏｒｅ 作为适应度函数，在有ＭＵ 的情况下通过选择和交叉来识别最佳感知结果，该方案能够在不识别ＭＵ 的情况下避免ＭＵ 在ＣＳＳ 中的影响，但整个网络的能量消耗也在增高。

针对以上问题，提出了节点评估与选择（ＮｏｄｅＥｖａｌｕａｔｉｏｎ Ｓｅｌｅｃｔｉｏｎ，ＮＥＳ）算法剔除信任值低的节点（ＭＵ），选择信任值高的节点（可靠节点）参与ＣＳＳ，从而在保证检测性能的情况下减少了能量的消耗。提出基于网格搜索（Ｇｒｉｄ Ｓｅａｒｃｈ，ＧＳ）的ＲＬ，在出现相同环境参数时，ＦＣ 可以直接调用当前节点，而无需再次进行感知操作，从而减少数据的处理，提高全局决策的实时性。

１ 系统模型

１． １ ＣＳＳ 模型

建立了由一个ＰＵ 和若干个ＳＵ 组成的模拟ＣＲ模型，各节点通过ＦＣ 通信，ＦＣ 通过各节点信息判断ＰＵ 通道是否空闲。ＣＲＮ 模型如图１ 所示。

１． ２ 能量检测模型

在频谱感知中，每个ＳＵ 独立执行一个能量检测［１３］过程。这是因为能量检测操作简单，且不需要ＰＵ 的先验信息。第ｊ 个ＳＵ 接收到的信号确定如下：

式中：ｑｎｊ是前一感知周期中第ｊ 个节点的信任值，ｑｎ＋１ｊ 是第ｊ 个结点的当前信任值，ｖ 是前一周期的综合返回值，τｎｊ是前一个周期的综合校正系数，Φ 是加权因子，值取１ 或０。Φ 的值取１ 的次数越多时，能量利用效率越高。反之，表明需要调整感知节点以提高感知性能和能耗指数。

调整感知节点的数量，再调用信任值大于阈值的节点参与ＣＳＳ，这里的阈值设置为信任值的平均值，当信任值大于等于平均值时节点是可靠的，当信任值小于平均值时节点是不可靠的，公式为：

ｑａｖｅ ＝ ｑｍａｘ ＋ ｑｍｉｎ／２ 。（２０）

ＮＥＳ 算法流程如算法１ 所示。

３ 基于ＧＳ 的ＲＬ

３． １ ＧＳ

ＧＳ［１５］是指事先在给定的超参数空间中定义一组候选超参数，然后进行排列组合，形成一个超参数的“网格”，按照“网格”依次搜索超参数空间中的各个组合。ＧＳ 的好处是能够对所有可能的参数组合进行搜索。可以使用搜索来获得信任值可靠的节点ｑｊ，为了提高搜索效率，进行了ＧＳ。训练搜索后的参数包括ＳＮＲ 和信任值，其中设置ＳＮＲ ∈（－２０，－１０）ｄＢ，ｑｊ ∈（０． ５，１）。通过搜索把这些信息作为先验知识保存到知识库中。ＧＳ 的过程如下：

① 当ηｉ 出现时，ＦＣ 将进行实时搜索，从而获得ｑｊ，并得到对应的Ｐｄ。其中ηｉ 是第ｉ（正整数）个出现的ＳＮＲ，如果ＳＮＲ 是新出现的，就设置新的参数重新搜索。最后搜索的结果将在Ｐｄ 和ｑｊ 返回时输出。此外，ｑｊ 和ηｉ 将成为ＦＣ 搜索的先验知识，搜索得到的数据存储库Ω 为：

Ω ＝ ｆ（ｑｊ，ηｉ）， （２１）

式中：ｆ 是一个搜索函数。

② 当ηｉ 不是新出现时，ＦＣ 将利用学习的知识直接选择ｑｊ：

ｑｉ ＝ ｆ －１（ηｉ，Ω）。（２２）

③ 在ηｉ 下，形成ｉ×ｊ 的网格，ｉ 是所设的ＳＮＲ 的步长，ｊ 是节点数，步长都为１。

④ Ｐｄ，ｊ 是第ｊ 个网格的节点检测概率，一直增加到所参与的协作的节点数，或当Ｐｄ，ｊ ＝ １ 时停止搜索时；否则将继续搜索。

⑤ 当实时搜索完成时，会得到概率Ｐｄ 的集合和相应的ｑｊ：

３． ２ ＲＬ 的过程

ＲＬ［１６］是一种机器学习方法，主要包括环境和智能体（ａｇｅｎｔ）两部分。而Ｑ-ｌｅａｒｎｉｎｇ 在ＲＬ 方法中经常被使用，其中处于状态ｓ 的智能体通过采取动作ａ 来与环境交互，目的是从行动的结果中学习环境。根据结果，智能体获得奖励值ｒ（ｓ，ａ），并更新Ｑ值。在每个时间点ｔ，智能体可能处于特定的状态ｓ，并且可以根据其在之前迭代中的学习选择一个动作。Ｑ-ｌｅａｒｎｉｎｇ 的历史可以用状态－动作奖励序列表示：＜ｓ０，ａ０，ｒ１，ｓ１，ａ１，ｒ２，ｓ２，ａ２，ｒ３，ｓ３，ａ３，ｒ４，ｓ４，ｓ４，… ＞，智能体在状态ｓ０ 时采取行动ａ０ ，并获得奖励值ｒ１ 。之后，进入状态ｓ１ ，以此类推。智能体从状态－行动－奖励历史中学习。一种状态－行动－奖励的经验（＜ｓ，ａ，ｒ，ｓ′＞）获得回报值Ｑ（ｓ，ａ），同时按照贝尔曼最优化准则进行Ｑ 值的更新来选择下一步动作，表达式为：

Ｑｔ＋１（ｓ，ａ） ＝ （１ － α）Ｑｔ（ｓ，ａ）＋α｛ｒｔ（ｓ，ａ）＋ ξｍａｘ［Ｑｔ＋１（ｓ′，ａ′）］｝，（２４）

式中：学习因子α 和折损因子ξ 取值都为（０，１），当α 接近于０ 时，智能体从状态－行动－奖励过程中学到的很少，历史占主导地位。如果环境是确定的，则α 的最优值为１。

在ＧＳ 后将ＲＬ 的理论运用ＳＵ 的状态和环境的学习。将ＳＵ 比作ＲＬ 中的智能体［１７］学习信道占用的模式，ｓｔ 表示信道的状态，在ｔ 时刻信道是否被ＰＵ 占用。当ＳＵｊ 出现时，通过扫描信道（ｃｉ ）来采取行动。使用Ｑ 学习方法，获得奖励值ｒｊｔ（ｓｔ，ｃｉ ）在时间ｔ 下信道的状态：

式中：ｓｊ（ｃｉ）＝ １ 表示信道空闲，ｓｊ（ｃｉ）＝ ０ 表示信道繁忙，ωｊｔ（ｃｉ）与式（７）一致表示权重。于是节点ｊ 在信道状态ｃｉ 时Ｑ 值的更新为：

Ｑｊ（ｓｔ＋１ ，ｃｉ）← （１ － α）·Ｑｊ（ｓｔ，ｃｉ）＋α·｛ｒｊ（ｓｉ，ｃｉ）－ ξ（ｅ－τｍ ）｝， （２６）

式中：τ 表示（０，１）的常数，ｍ 表示ＳＵ 第ｍ 次扫描信道。信息融合与前面的Ｅｚ 一致，信道的判决结果如下所示：

在融合阶段结束时，得出ｍ 个协作用户的测量值，将测量值存放于矩阵Ｚ 中。当ＣＲ 环境与存储矩阵Ｚ 的数据一致时，ＲＬ 采用直接从动作空间Ａ 中选择适当的动作来更新函数值，通过持续的迭代更新获得最优动作ａ* ，从而选出参与协作感知的用户。如果有新用户加入到ＣＲ 环境中，就需要重新设置网ＧＳ 的参数，在原来的矩阵扩充第ｍ＋１ 维数，协作结束时，将协作结果广播到所有协作用户。在矩阵Ｚ 中的第一列表示信任值可靠的节点Ｑｊ，第二列表示ＳＮＲ 的值。每行表示通过在特定无线电环境中执行ＧＳ 的ＲＬ 算法找到参与协作的节点。

在ＦＣ 完成ＧＳ 的ＲＬ 后，获得的矩阵Ｚ 表示如下：

算法结构框图如图２ 所示。

４ 算法仿真及分析

通过蒙特卡洛模拟进行实验，在ＣＲＮ 中所有节点的仿真结果都超过了２ ０００ 次迭代，建模的ＣＲＮ中有８ 个辅助节点［１８］和３０ 个感知节点。在加性高斯白噪声（Ａｄｄｉｔｉｖｅ Ｗｈｉｔｅ Ｇａｕｓｓｉａｎ Ｎｏｉｓｅ，ＡＷＧＮ）的信道下，感知场景范围为２００ ｍ，节点随机分布，ＰＵ在场景的边缘，所需的节点总数为３０（每１０ 个节点为ＳＮＲ ＝ －１２、－１０、－８ ｄＢ），８ 个辅助节点（ＳＮＲ ＝－８ ｄＢ），ＢＰＳＫ 信号功率为１００ ｍＷ，带宽为１００ ｋＨｚ。在此仿真环境中，ＭＵ 在２ 种不同情况下进行设置：第一种情况，如果有５ 个ＭＵ，其中在ＳＮＲ ＝ －１２ ｄＢ 下有２ 个；第二种情况，如果有９ 个ＭＵ，在ＳＮＲ ＝ －１０ ｄＢ 下有４ 个ＭＵ。为了验证本文算法的性能，将其与ＤＥ 和ＧＡ 进行比较。在考虑ＮＥＳ 时，设置９ 个恶意节点，在其他２ 种算法中，设置５ 个恶意节点，其他参数都相同。仿真场景如图３ 所示。ＮＥＳ 与其他２ 种算法感知性能比较如图４ 所示。检测概率随协作用户数变化曲线如图５所示。

从图４ 可以看出，在ＳＮＲ 低于－１２ ｄＢ 时，ＮＥＳ算法的检测概率高于ＤＥ 和ＧＡ 算法，这是因为ＮＥＳ算法考虑了ＣＲＮ 中ＭＵ 的存在，并阻止了ＭＵ 参与ＣＳＳ，所以使整个网络具有更强的可靠性。当ＳＮＲ为－ １５ ｄＢ 时，ＮＥＳ 算法比ＧＡ 算法检测概率高０． ４６。通过图５ 可以发现，随着协作用户数的增加，３ 种算法的检测概率都呈现增加的趋势，在Ｍ ＜７０时，ＮＥＳ 算法检测概率比ＧＡ 和ＤＥ 算法检测概率高，这是因为ＮＥＳ 算法剔除了ＭＵ，参与协作感知的都是可靠用户。

ＮＥＳ 算法与ＧＡ 和ＤＥ 算法在相同条件下的能耗对比，其他仿真实验参数与上实验相同，感知周期与能耗的变化曲线如图６ 所示。从图６ 结果可以看出，ｍ＜６０ 时随着感知周期数的增加三者能耗都在增加，但ＮＥＳ 算法效果比ＧＡ 和ＤＥ 算法优益，但当感知周期数ｍ＞６０ 时，三者能耗基本趋于稳定，此时ＮＥＳ 算法与ＧＡ 算法能耗接近，但整个周期中ＮＥＳ算法比ＧＡ 算法节能效果好。

在ＮＥＳ 后，加入ＧＳ 算法与随机搜索算法［１９］和固定－双阈值算法［２０］作比较，如图７ 所示。由图可以看出，相同的ＳＮＲ 下，ＧＳ 算法的检测概率比随机搜索和固定－双阈值算法都要高，在－１７ ｄＢ 时ＧＳ 算法比随机搜索检测概率高了０． １，比固定—双阈值算法检测概率高了０． １６。这是因为ＧＳ 算法可以在遍历指定的参数组合时，保证在任何环境下可以找到最优的参数，而随机搜索和固定－双阈值会出现无效或者冗余取值的情况。

奖励值随协作用户的数量变化曲线如图８ 所示。可以看出，随着协作用户的增加奖励值也在增加，在达到一定用户数时收敛于１，这也符合协作感知的规律；协作用户Ｍ＜６０ 时，ＧＳ 算法后的ＲＬ 奖励值高于单独ＲＬ 下的值，这是因为ＧＳ 算法得到了最优的协作用户。图９ 显示了ＰＵ 在频带使用率不同时，Ｑ 值随着时间的变化，ＰＵ 占用的频带越低Ｑ 值通常较高。此外，在感知期间随着时间的推移Ｑ 值在减小，并在某个时间趋于稳定。不同ＳＮＲ 下感知时间比较如图１０ 所示。可以看出，在相同ＳＮＲ 情况下，基于ＧＳ 算法的ＲＬ 比没有ＲＬ 加入时感知时间更短，因此，提高了全局决策的实时性。如果没有使用ＲＬ，那么每个频谱感知过程都需要使用ＧＳ 算法来查找可靠的节点，这将导致感知时间增加。当ＳＮＲ 增加时，感知时间减少，这是因为随着ＳＮＲ 的提高，存储的信息更少，更容易做出判断。

５ 结束语

提出了一种基于ＲＬ 的ＣＳＳ 算法。利用ＮＥＳ 算法解决了ＣＲＮ 中可能存在ＭＵ 参与ＣＳＳ 导致能量消耗高和感知精度低的问题；通过ＧＳ 的ＲＬ 算法解决了在相同ＣＲ 环境下重复计算的时间，减少了计算量，缩短了感知时间，提高了频谱感知速度，为全局决策的实时性提供了保障，使频谱动态分配成为可能。后续在此基础上评估网络的平均生存周期，根据仿真结果，对网络模型和频谱感知算法进行优化改进。

参考文献

［１］ ＪＡＧＡＤＥＥＳＡＮ Ｎ Ａ，ＮＡＣＨＩＫＥＴＨＡＳ Ｂ ． ＳｏｆｔｗａｒｅｄｅｆｉｎｅｄＮｅｔｗｏｒｋｉｎｇ Ｐａｒａｄｉｇｍｓ ｉｎ Ｗｉｒｅｌｅｓｓ Ｎｅｔｗｏｒｋｓ：Ａ Ｓｕｒｖｅｙ［Ｊ］． ＡＣＭ Ｃｏｍｐｕｔｉｎｇ Ｓｕｒｖｅｙｓ，２０１４，４７（２）：１－１１．

［２］ ＪＩＡＮＧ Ｗ，ＨＡＮ Ｂ，ＨＡＢＩＢＩ Ｍ Ａ，ｅｔ ａｌ． Ｔｈｅ Ｒｏａｄ Ｔｏｗａｒｄｓ６Ｇ：Ａ Ｃｏｍｐｒｅｈｅｎｓｉｖｅ Ｓｕｒｖｅｙ［Ｊ］． ＩＥＥＥ Ｏｐｅｎ Ｊｏｕｒｎａｌ ｏｆｔｈｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｏｃｉｅｔｙ，２０２１，２：３３４－３６６．

［３］ ＳＡＡＶＥＤＲＡ Ｅ，ＭＡＳＣＡＲＡＱＵＥ Ｌ，ＣＡＬＤＥＲＯＮ Ｇ，ｅｔ ａｌ．Ａ Ｕｎｉｖｅｒｓａｌ Ｔｅｓｔｂｅｄ ｆｏｒ ＩｏＴ Ｗｉｒｅｌｅｓｓ Ｔｅｃｈｎｏｌｏｇｉｅｓ：Ａｂｓｔｒａｃｔｉｎｇ Ｌａｔｅｎｃｙ，Ｅｒｒｏｒ Ｒａｔｅ ａｎｄ Ｓｔａｂｉｌｉｔｙ ｆｒｏｍ ｔｈｅ ＩｏＴＰｒｏｔｏｃｏｌ ａｎｄ Ｈａｒｄｗａｒｅ Ｐｌａｔｆｏｒｍ ［Ｊ］． Ｓｅｎｓｏｒｓ，２０２２，２２（１１）：４１５９．

［４］ ＰＥＲＡＲＡＳＩ Ｔ，ＮＡＧＡＲＡＪＡＩＮ Ｇ，ＧＡＹＡＴＨＲＩ Ｒ，ｅｔ ａｌ．Ｅｖａｌｕａｔｉｏｎ ｏｆ Ｃｏｏｐｅｒａｔｉｖｅ Ｓｐｅｃｔｒｕｍ Ｓｅｎｓｉｎｇ ｗｉｔｈ ＦｉｌｔｅｒｅｄＢａｎｋ Ｍｕｌｔｉ Ｃａｒｒｉｅｒ Ｕｔｉｌｉｚｅｄ ｆｏｒ Ｄｅｔｅｃｔｉｎｇ ｉｎ ＣｏｇｎｉｔｉｖｅＲａｄｉｏ Ｎｅｔｗｏｒｋ ［Ｊ］． Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｅｍｅｒｇｉｎｇ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｔｅｃｈｎｏｌｏｇｉｅｓ，２０２２，３３（７）：ｅ４４７８．

［５］ 李叶． 基于单节点及多节点频谱感知的认知无线电网络资源分配研究［Ｄ］． 成都：西南交通大学，２０２１．

［６］ ＨＷＡＮＧ Ｊ，ＫＩＭ Ｊ，ＳＵＮＧ Ｉ，ｅｔ ａｌ． Ｆａｓｔ ａｎｄ ＡｃｃｕｒａｔｅＤｅｔｅｃｔｉｏｎ ｏｆ Ｍａｌｉｃｉｏｕｓ Ｕｓｅｒｓ ｉｎ Ｃｏｏｐｅｒａｔｉｖｅ ＳｐｅｃｔｒｕｍＳｅｎｓｉｎｇ Ｎｅｔｗｏｒｋ［Ｊ］． Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，２０２１，１１８（２）：１７０９－１７３１．

［７］ 吕培，赵杭生，张建照． 一种基于信誉值拍卖的区块链下的感知收益分配机制［Ｊ］． 电讯技术，２０２１，６１（１）：１－７．

［８］ ＪＩＢＲＡＮ Ｍ，ＫＩＭ Ｊ，ＫＯＯ Ｊ，ｅｔ ａｌ． Ａ Ｄｏｕｂｌｅ ＡｄａｐｔｉｖｅＡｐｐｒｏａｃｈ ｔｏ Ｔａｃｋｌｅ Ｍａｌｉｃｉｏｕｓ Ｕｓｅｒｓ ｉｎ Ｃｏｇｎｉｔｉｖｅ ＲａｄｉｏＮｅｔｗｏｒｋｓ［Ｊ］． Ｗｉｒｅｌｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｍｏｂｉｌｅ Ｃｏｍｐｕｔｉｎｇ，２０１９，２０１９：２２１４－２２２３．

［９］ ＳＵＮ Ｚ Ｇ，ＸＵ Ｚ Ｙ，ＣＨＥＮ Ｚ Ｍ，ｅｔ ａｌ． ＲｅｐｕｔａｔｉｏｎｂａｓｅｄＳｐｅｃｔｒｕｍ Ｓｅｎｓｉｎｇ Ｓｔｒａｔｅｇｙ Ｓｅｌｅｃｔｉｏｎ ｉｎ Ｃｏｇｎｉｔｉｖｅ ＲａｄｉｏＡｄ Ｈｏｃ Ｎｅｔｗｏｒｋｓ［Ｊ］． Ｓｅｎｓｏｒｓ，２０１８，１８（１２）：４３７７．

［１０］ ＮＩＮＧ Ｗ Ｌ，ＨＵＡＮＧ Ｘ Ｙ，ＹＡＮＧ Ｋ，ｅｔ ａｌ． ＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ Ｅｎａｂｌｅｄ Ｃｏｏｐｅｒａｔｉｖｅ Ｓｐｅｃｔｒｕｍ Ｓｅｎｓｉｎｇ ｉｎ Ｃｏｇｎｉｔｉｖｅ Ｒａｄｉｏ Ｎｅｔｗｏｒｋｓ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄＮｅｔｗｏｒｋｓ，２０２０，２２（１）：１２－２２．

［１１］ ＧＵＬ Ｎ，ＫＩＭ Ｓ Ｍ，ＡＨＭＥＤ Ｓ，ｅｔ ａｌ． Ｄｉｆｆｅｒｅｎｔｉａｌ ＥｖｏｌｕｔｉｏｎＢａｓｅｄ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｓｃｈｅｍｅ ｆｏｒ Ｓｅｃｕｒｅ ＣｏｏｐｅｒａｔｉｖｅＳｐｅｃｔｒｕ Ｓｅｎｓｉｎｇ Ｓｙｓｔｅｍ ［Ｊ ］． Ｅｌｅｃｔｒｏｎｉｃｓ，２０２１，１０（１４）：１６８７．

［１２］ ＧＵＬ Ｎ，ＱＵＲＥＳＨＩ Ｉ Ｍ，ＥＬＡＨＩ Ａ，ｅｔ ａｌ． Ｄｅｆｅｎｓｅ ＡｇａｉｎｓｔＭａｌｉｃｉｏｕｓ Ｕｓｅｒｓ ｉｎ Ｃｏｏｐｅｒａｔｉｖｅ Ｓｐｅｃｔｒｕｍ Ｓｅｎｓｉｎｇ ＵｓｉｎｇＧｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ ［Ｊ］． Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ａｎｔｅｎｎａｓａｎｄ Ｐｒｏｐａｇａｔｉｏｎ，２０１８，２０１８：１－１１．

［１３］ 王聪，刘雄厚，孙超，等． 基于频率着色的被动声呐宽带能量检测方法［Ｊ］． 哈尔滨工程大学学报，２０２１，４２（４）：４５６－４６２．

［１４］ ＰＡＧＥ Ｅ Ｌ，ＰＥＩＧＮ？ Ｍ，ＰＨＡＭ Ｄ Ｃ． Ｃｅｎｔｒａｌ ＬｉｍｉｔＴｈｅｏｒｅｍ ｆｏｒ ａ Ｃｒｉｔｉｃａｌ Ｍｕｌｔｉｔｙｐｅ Ｂｒａｎｃｈｉｎｇ Ｐｒｏｃｅｓｓ ｉｎＲａｎｄｏｍ Ｅｎｖｉｒｏｎｍｅｎｔｓ［Ｊ］． Ｔｕｎｉｓｉａｎ Ｊｏｕｒｎａｌ ｏｆ Ｍａｔｈｅｍａｔｉｃｓ，２０２１，３（４）：８０１－８４２．

［１５］ ＦＡＹＥＤ Ｈ Ａ，ＡＴＩＹＡ Ａ Ｆ． Ｓｐｅｅｄ ｕｐ Ｇｒｉｄｓｅａｒｃｈ ｆｏｒＰａｒａｍｅｔｅｒ Ｓｅｌｅｃｔｉｏｎ ｏｆ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ ［Ｊ ］．Ａｐｐｌｉｅｄ Ｓｏｆｔ Ｃｏｍｐｕｔｉｎｇ，２０１９，８０：２０２－２１０．

［１６］ ＨＡＮ Ｋ，ＹＥ Ｃ Ｙ． Ｐｏｗｅｒ Ｃｏｎｔｒｏｌ Ｒｅｓｅａｒｃｈ ｆｏｒ ＤｅｖｉｃｅｔｏＤｅｖｉｃｅ Ｗｉｒｅｌｅｓｓ Ｎｅｔｗｏｒｋ Ｕｎｄｅｒｌｙｉｎｇ ＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ［Ｃ］∥ Ｇｌｏｂａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ，ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ． Ｃｈｉｃａｇｏ：ＩＥＥＥ，２０２２：３５１－３５４．

［１７］ 李冠雄，李桂林． 基于强化学习的合作频谱分配算法［Ｊ］． 电波科学学报，２０２２，３７（１）：８－１４．

［１８］ 曹龙，赵杭生，鲍丽娜，等． 基于辅助节点的安全协作频谱感知［Ｊ］． 计算机工程，２０１４，４０（２）：１２３－１２７．

［１９］ ＫＯＳＴＥＮ Ｖ Ａ，ＳＥＬＥＺＥＮＥＶ Ｌ Ｅ． Ｒａｎｄｏｍ Ｓｅａｒｃｈ Ａｌｇｏｒｉｔｈｍｗｉｔｈ Ｓｅｌｆｌｅａｒｎｉｎｇ ｆｏｒ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｔｒａｉｎｉｎｇ［Ｊ］． ＯｐｔｉｃａｌＭｅｍｏｒｙ ａｎｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，２０２１，３０（２）：１８０－１８６．

［２０］ ＨＵＡＮＧ Ｔ，ＹＩＮ Ｘ Ｄ，ＣＡＯ Ｑ Ｊ． Ａ Ｎｅｗ Ａｌｇｏｒｉｔｈｍ ｆｏｒＣｏｎｓｉｄｅｒｉｎｇ Ｇｒｅｅｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ａｎｄ Ｅｘｃｅｌｌｅｎｔ ＳｅｎｓｉｎｇＰｅｒｆｏｒｍａｎｃｅ ｉｎ Ｃｏｇｎｉｔｉｖｅ Ｒａｄｉｏ Ｎｅｔｗｏｒｋｓ ［Ｊ ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｄｉｓｔｒｉｂｕｔｅｄ Ｓｅｎｓｏｒ Ｎｅｔｗｏｒｋｓ，２０２０，１６（６）：６４５－６４９．

作者简介

刘春玲 女，（１９７１—），博士，教授，硕士生导师，ＣＣＦ 会员。主要研究方向：信号检测与信号处理。

许 军 男，（１９９６—），硕士研究生。主要研究方向：认知无线电与压缩感知。

郭楷文 男，（１９９７—），硕士研究生。主要研究方向：机器人路径规划。

基金项目：辽宁省教育厅面上基金项目（ＬＪＫＺ１１８４）