边缘环境下基于移动群智感知计算卸载的数据汇聚

摘 要：当前“云-端”式移动群智感知（mobile crowd sensing，MCS）系统面临负载过重的问题，导致数据汇聚过程中时延和能耗显著增加，从而降低了数据汇聚的效率。针对该问题，提出了一种基于AP-DQN的“云-边-端”MCS计算卸载算法。首先，考虑时延和能耗的均衡优化建立效用函数，以最大化系统效用作为优化目标。其次，优化P-DQN算法，提出一种联合资源分配的计算卸载算法AP-DQN，结合MCS优势，将空闲用户作为卸载设备之一。最后，使用该方法求解问题。实验结果显示，与已有算法相比，该方法能有效提高数据汇聚效率，并具有很好的稳定性。

关键词：移动群智感知；边缘计算；数据汇聚；计算卸载；资源分配；深度强化学习

中图分类号：TP393 文献标志码：A 文章编号：1001-3695（2024）09-020-2705-07

doi：10.19734/j.issn.1001-3695.2024.01.0007

Data aggregation based on mobile crowd sensing and

computation offloading in edge environment

Yang Guisong，Sang Jian

（School of Optical-Electrical & Computer Engineering，University of Shanghai for Science & Technology，Shanghai 200093，China）

Abstract：The conventional“cloud-end”MCS system currently faces problems of excessive load，leading to a significant increase in delay and energy consumption during the data aggregation process，inevitably causing a decrease in data aggregation efficiency.To tackle this issue，this paper proposed a“cloud-edge-end”MCS computation offloading algorithm based on AP-DQN.Firstly， it established a utility function considering the balanced optimization of delay and energy consumption，with the maximization of system utility as an optimized goal.Secondly，improving the P-DQN algorithm，it proposed a computational offloading algorithm AP-DQN for combining resource allocation.This algorithm，leveraging the advantages of MCS，designated idle users as one of the offloading devices.Finally，the problem was solved using the proposed method.Experimental results show that，compared to existing algorithms，the proposed method significantly improves data aggregation efficiency and maintaines excellent system stability.

Key words：mobile crowd sensing;edge computing;data aggregation;computing offloading;resource allocation;deep reinforcement learning

0 引言

移动群智感知（MCS）作为一种新的感知环境、收集数据和提供信息服务的模式，逐渐成为当前的研究热点之一［1，2］。在MCS网络中，数据的高效汇聚是提升MCS性能和服务质量的前提与保证，它的作用是对所收集的数据进行有效评估和高效的汇聚融合，并据此生成高质量的感知结果或决策，从而提供更有用的信息［3］。与此同时，随着5G通信技术的兴起和计算密集型、时延敏感型任务的不断涌现，MCS应用规模和复杂度不断扩大，导致传统“云-端”式MCS系统面临终端计算能力受限、云-端通信量大幅增长、任务服务质量的实时性难以保障、数据汇聚能耗较高以及移动无线网络的负载过重等问题［4］。将移动边缘计算引入MCS中，构成以“云-边-端”为核心的MCS系统，将高性能的边缘服务器部署在MCS系统中，可以增强计算能力，实现跨层数据融合汇聚［5，6］。然而，由于MCS中感知用户具有时空动态变化特性［7］，用户数量和感知任务具有多变性，并且感知网络中的计算和带宽资源也具有有限性［8，9］。所以如何在MCS系统中利用云-边-端网络架构在上述动态变化的环境下实现对感知数据的高效汇聚和资源的合理分配是一个重大挑战。

近年来，关于MCS结合边缘计算的研究一直是一个热门话题，文献［10］提出了一种名为ParticipAct的边缘MCS平台，该平台使用边缘节点计算可能出现的危险人群情况。文献［11］重点研究了边缘辅助MCS背景下的动态用户招募，解决了随着数据量增长而增加的云平台计算消耗的挑战。文献［12］提出了一种基于区块链的框架来改进移动边缘计算环境下MCS的数据质量管理。尽管上述工作均采用边缘计算范式来提高MCS的性能，但都没有考虑在动态变化的移动感知网络环境下，如何进行资源分配和计算卸载来保证感知数据汇聚的效率；也没有考虑利用MCS的用户优势，将用户空闲设备作为“云-边-端”架构中端的一部分。

现如今，计算卸载相关的研究已经相当成熟。文献［13］将计算卸载问题定义为混合整数非线性问题，旨在减少整个网络的总延迟。文献［14］提出一种基于竞争的接入保留协议的卸载策略，通过找出最小化任务完成延迟的最佳卸载因子。然而，文献［13，14］都属于单目标优化问题，而在卸载过程中往往需要同时考虑优化多个目标，如时延、能耗、任务完成数、上行速率等，以获得符合多方利益的卸载方案。文献［15］基于SDN技术的数据服务编排机制，提出了一种云边协同任务卸载方案文献，该方案考虑了时延以及能量消耗。文献［16］针对区域内用户的任务卸载方案部署优化问题，提出一种基于多任务多目标进化的算法，以降低设备的平均延时和能耗。虽然文献［15，16］考虑了多目标优化，但是没有考虑资源分配对于系统的影响，所使用的方法也比较传统。文献［17］提出了一种基于遗传算法的分布式多跳计算任务卸载框架，在有限的资源下减小任务的延迟。文献［18］提出了多领导者多追随者的Stackelberg博弈算法，以确定服务器的最优定价策略和用户的最优数据卸载策略。文献［17，18］使用了启发式算法和博弈论来解决计算卸载优化问题，但是，启发式算法需要消耗大量的时间和计算资源来达到最终的近似最优解，博弈理论通常涉及到多个参与者之间的相互作用和关联决策，导致求解问题的复杂性较高。因此，上述方法不适用于实时性要求高的MEC应用场景。

为了增强计算卸载策略的实时性和自适应性，文献［19～22］致力于研究基于强化学习的计算卸载方案。文献［19］提出了一种基于深度强化学习的计算卸载策略，旨在考虑计算资源和能耗等约束，同时解决卸载问题并最小化延迟。文献［20］提出了一种基于Actor-Critic网络的深度强化学习物联网应用计算卸载方案，以实现低延迟和控制能耗。文献［21］提出了一种基于DDQN的方法以确定计算卸载和资源分配的联合策略来降低系统能耗。文献［22］提出了一种基于DDPG的时间注意力确定性策略梯度来解决计算卸载和资源分配的联合优化问题。上述研究考虑了多目标优化问题的同时也考虑了资源分配，但是所使用的强化学习算法没有兼顾离散和连续的动作空间，也没有应用在MCS数据汇聚的场景。

本文设计了“云-边-端”的MCS网络系统架构，综合考虑了系统时延和能量消耗的多目标优化问题，利用联合资源分配的计算卸载方式解决传统优化方法在时变网络资源优化问题上存在的不足。考虑感知用户的时空动态变化特性、用户数量和感知任务的多变性和感知网络中的计算和带宽资源的有限性，本文提出一种基于AP-DQN的“云-边-端”MCS计算卸载算法，通过兼顾离散和连续的动作空间，合理分配网络资源将感知数据卸载到最优的边缘节点或边缘服务器中来保障感知数据的高效汇聚。此外，通过模拟实验验证了AP-DQN的优越性。

1 MCS计算卸载模型

1.1 MCS系统模型

本文的云-边-端MCS架构如图1所示。感知层由用户及其设备组成，主要负责将产生的计算任务以及任务携带的感知数据上传；边缘计算层的主要任务是管理区域内的用户及其携带的感知设备、物联网设备等，在靠近用户端进行数据收集、处理和优选，从而减少大规模低质量数据传输到云端的情况，提高数据质量并优化系统计算效率；云计算层位于边缘计算层之上，将计算力下沉，无须直接处理底层终端采集的数据，主要汇聚和处理边缘计算层传输上来的数据，提供边缘计算层无法实现的算力，实现复杂数据分析、计算和存储。

本文MCS计算卸载模型由几个5G基站、边缘服务器、边缘节点和执行感知任务的用户及其设备组成。边缘服务器部署在基站上，与基站集成在一起。边缘节点是从空闲的、没有执行感知任务的感知设备中选取的，相比于其他感知设备具有计算能力较强、位置距离其他设备相对平均等特点。为了满足大量MCS数据汇聚的需求，需要基站和边缘节点同时提供卸载服务。BS={BS1，BS2，BS3，…，BSN}定义为基站集合，E={E1，E2，E3，…，EH}定义为边缘节点集合，共K（K>H）个感知用户，故用户集合为U={U1，U2，U3，…，UK}，任务集合为T={T11，…，Tij，…，TKM}，Tij定义为用户i（1≤i≤K）进行感知任务产生的第j（1≤j≤M）个需要卸载的任务数据。

如图2所示，具有云计算和存储能力的移动基站分布在移动用户附近，用户设备可以将数据卸载给边缘服务器或者其周围被筛选出来的感知设备。由服务器进行数据的初步处理和汇集后，再传输到云服务器进行总的汇集、计算和存储。实际上，边缘服务器可以看作是云的替代品。对于任意时隙t上的每个应用程序产生的任务，移动设备要决定其应该卸载到哪个服务器。例如，用户U2在基站B1、B2以及边缘节点E1的覆盖范围内，那么用户U2可以选择在本地执行任务或者将其卸载到B1、B2和E1其中之一。

1.2 MCS任务模型

本文用一个集合描述任务Tij，定义为{Dij，tmaxij，Yij}，其中Dij定义为计算任务Tij所需的计算资源量，tmaxij定义为任务完成的最大时延，Yij定义为感知数据大小。此外，由于用户可以卸载任务到自身设备、空闲的用户边缘节点和基站，所以引入决策变量o，oij=1时任务在本地计算，否则卸载到用户边缘节点和基站；接着再引入决策变量w，wij=1时任务卸载到用户边缘节点，其他情况则wij=0；引入决策变量u，uij=1时任务卸载到基站，反之uij=0。

1.3 通信模型

a）任务卸载到用户边缘节点：需要进行任务卸载的用户使用一跳自组织网络与路边有计算能力的用户边缘节点，通信范围内使用正交频谱，且可同时卸载多个任务，分配给K个用户边缘节点合适的带宽，任务Tij卸载到用户边缘节点El（1≤l≤H）的速率为［21］

其中：αt和βt分别是t时刻评估网络Q（ω）和目标网络x（θ）的更新步长；ωlQt（ω）和θlΘt（θ）分别是t时刻评估网络Q（ω）和目标网络x（θ）的随机梯度。

AP-DQN算法的网络结构如图3所示。

通过上述一系列的改进，相较于传统的P-DQN算法，AP-DQN可以实现比原P-DQN更稳定、更快的训练过程。本文AP-DQN训练过程如算法2所示，根据算法2的伪代码分析可知，算法的时间复杂度受到训练周期episode和时间步T的影响，因此算法的时间复杂度为O（nTnepisode），其中nT表示每个episode中时间步的数量，nepisode表示episode的数量。

算法2 基于AP-DQN的MCS计算卸载优化算法

输入：终端设备、边缘节点、基站和感知任务数据的状态信息。

输出：所有任务的动作和奖励，训练网络并更新网络。

使用专家样本初始化经验回放池D。

初始化评估网络权重ω

初始化目标网络权重θ

初始化探索参数ε，小批量大小B

for each episode do

初始化状态St

for 1≤t≤T do

根据算法1选择动作at=（kt，xkt）

终端设备执行动作at，获得奖励rt和下一时刻状态st+1

将［st，at，rt，st+1］存储到D中

从D中随机采样含有B条经验数据{sb，ab，rb，sb+1}b∈［B］的小批量

根据式（30）训练B个样本得到目标yb

使用数据{yb，sb，ab}b∈［B］计算随机梯度ωlQt（ω）和θlΘt（θ）

根据式（32）更新评估网络权重和目标网络权重

end for

end for

3 实验与结果分析

3.1 参数设置

本文的模拟实验可以从一个真实的MCS场景迁移。假设感知用户执行视频采集等实时视频分析感知任务，用户的感知设备可能同时接收来自不同摄像头的照片和视频。在一段时间内，MCS感知任务执行结束，感知用户需要将感知到的数据卸载到合适的边缘服务器上执行分析和数据聚合任务。假设在MCS计算卸载场景中，系统由多个感知用户、多个边缘节点、两个基站和一个云计算中心组成。每个终端设备感知任务收集的数据大小在100 kb～500 kb，任务所需的计算负载大小为1～10 cycles/bit，任务处理所需的最大时延为1～10 ms，终端设备的计算能力为100 MHz，边缘节点的计算能力为500 MHz，边缘服务器的计算能力为10 GHz，系统中用户与边缘节点之间的总上传带宽为5 MHz，用户与基站之间的总上传带宽为10 MHz，传输功率为10～100 mW，实验中的默认参数如表1所示。为有效消除偶然误差，提高实验结果的可信度，实验结果为每组20次运行的结果取平均值，每次实验训练的episodes为10 000。

此外，需要为训练定义各种模型超参数，经验复用池大小为20 000，奖励衰减设置为0.9，网络权重更新频率设置为0.02，每次训练采用数据大小为128的小批处理，初始探索率设置为0.9，随着训练的进行而逐渐减小，直到缩小为0.1。详细参数如表2所示。使用两层全连接神经网络来训练模型，AP-DQN、P-DQN、DDQN和A3C的神经网络由PyTorch框架实现。

3.2 结果分析

本文将AP-DQN与仅卸载边缘节点策略（FEN）、仅卸载到基站的策略（FBS）、P-DQN、DDQN、A3C的性能进行比较。其中，FEN算法是所有感知数据都通过边缘节点进行卸载，FBS算法是所有感知数据都通过基站进行卸载，以上两种算法都利用AP-DQN进行卸载决策和资源分配。DDQN和A3C算法是现如今强化学习中的先进算法，DDQN的动作空间是离散的，智能体只能选择预定义的离散动作，而A3C的动作空间是连续的，智能体可以在连续的动作空间中选择任意数值。

图4显示了AP-DQN算法在不同学习率下的收敛情况，其中用户数量设置为5，用户产生的任务数量设置为5。由图4可知，随着训练轮数的增加，算法趋于收敛，且更高的学习率并不一定导致更快的收敛速度和更高的奖励。在本算法中学习率为0.001时，算法收敛效果更好。

为了评估专家经验对本文算法性能的影响，通过设置不同的专家经验池对算法进行评估。图5显示了专家经验池对模型奖励的影响。结果显示，增大专家经验池不一定会导致更高的奖励。例如，在本实验中，最优的专家经验池大小为2 000，优于3 000、4 000和5 000的实验结果。由于相关的高成本和观察到的递减收益，所以应该仔细确定专家经验池的大小。

本实验的评价指标设置为系统总消耗、时延和能量消耗。其中系统总体消耗是指时延与能量消耗之和，在本实验中将上述三种指标进行取平均操作，以便更好地衡量MCS数据汇聚的效率和算法的效果。

为了验证不同的MCS用户数量对于三种指标的影响，本文采用不同的用户数量对6种算法进行了实验。图6表明，随着用户数量的增加，所有算法的平均消耗都在增加。这是因为任务处理需要系统中的各种资源，随着任务数据量的增加，终端设备之间对资源的竞争会不断加剧，从而增加了任务处理的平均消耗。图7显示了随着用户数量的增加，所有算法的时延也都在增加，这是由于用户数量增加会占用大量的带宽资源，然而新到达的计算任务得不到相应的资源分配，导致时延增加。图8表明随着用户数量的增加，所有算法的能量消耗都在增加。这是由于用户数量的增加，所需要分配给用户的计算资源相应增加，导致系统的能量消耗增加。由图6～8可知，在不同的用户数量下，AP-DQN在三种指标的表现上始终优于其他对比算法。其中，相较于P-DQN，系统总消耗降低了12%，时延减少了11.11%，能量消耗降低了13.52%。

为了验证不同的任务数量对于系统的总体消耗、时延和能量消耗的影响，本文将任务数量从5增长到25，增量为5，分别对6种算法进行了实验。

图9表明，随着任务数量的增加，所有算法的平均消耗都在增加。这是因为随着任务数据量的增加，分配给每个任务的资源会相应地增加，从而增加了任务处理的平均消耗。图10显示了随着任务数量的增加，所有算法的时延也都在增加，这是由于大量的任务导致带宽资源紧张，进而导致时延增加。图11表明，随着任务数量的增加，所有算法的能量消耗都在增加。这是由于随着任务数量的增加，系统中处理任务的计算资源会被大量消耗，导致系统的能量消耗增加。

由图9～11可知，在不同的任务数量下，AP-DQN在系统总消耗、时延和能量消耗三种指标的表现上始终优于其他对比算法。其中，相比于P-DQN，系统总消耗降低了16%，时延减少了8.33%，能量消耗降低了21.73%。

4 结束语

本文主要针对MCS在数据汇聚方面的挑战，为此设计了一种基于AP-DQN的“云-边-端”MCS计算卸载算法。首先考虑到时延和能耗的均衡优化，设立了一个以最大化系统效用为目标的效用函数。然后对P-DQN算法进行改进，提出了一种联合资源分配的计算卸载算法AP-DQN，并通过模拟实验，证明了该算法在求解MCS计算卸载方案上能够取得比对比算法更高的精度和更好的稳定性，并且在不同用户数量和不同任务数量的情况下，该算法相比于其他对比算法在系统总消耗、时延和能量消耗方面表现优异。本文算法充分考虑了感知用户的时空动态变化特性、用户数量和感知任务的多变性以及感知网络中的计算和带宽资源的有限性，有效解决了这些因素带来的问题。未来，笔者将考虑用户隐私保护和多智能体强化学习来进一步优化本文算法和系统设计，以便更好地适应复杂的实际环境，为边缘计算和MCS的研究和应用提供更强大的工具和解决方案。

参考文献：

［1］Ray A，Chowdhury C，Bhattacharya S，et al.A survey of mobile crowdsensing and crowdsourcing strategies for smart mobile device users［J］.CCF Trans on Pervasive Computing and Interaction，2023，5（1）：98-123.

［2］Cicek D，Kantarci B.Use of mobile crowdsensing in disaster management：a systematic review，challenges，and open issues［J］.Sensors，2023，23（3）：1699.

［3］Zhang Mingwu，Chen Shijin，Shen Jian，et al.PrivacyEAFL：privacy-enhanced aggregation for federated learning in mobile crowdsensing［J］.IEEE Trans on Information Forensics and Security，2023，18：5804-5816.

［4］Attaran M.The impact of 5G on the evolution of intelligent automation and industry digitization［J］.Journal of Ambient Intelligence and Humanized Computing，2023，14（5）：5977-5993.

［5］Feng Hailin，Qiao Liang，Lyu Zhihan.Innovative soft computing-enabled cloud optimization for next-generation IoT in digital twins［J］.Applied Soft Computing，2023，136：110082.

［6］Seo H，Oh H，Choi J K，et al.Differential pricing-based task offloading for delay-sensitive iot applications in mobile edge computing system［J］.IEEE Internet of Things Journal，2022，9（19）：19116-19131.

［7］Marchang N，Tripathi R.KNN-ST：exploiting spatio-temporal correlation for missing data inference in environmental crowd sensing［J］.IEEE Sensors Journal，2020，21（3）：3429-3436.

［8］Coluccia A，Fascista A.A review of advanced localization techniques for crowdsensing wireless sensor networks［J］.Sensors，2019，19（5）：988.

［9］程文辉，张乾元，程梁华，等.空地协同移动群智感知研究综述［J］.计算机科学，2022，49（11）：242-249.（Cheng Wenhui，Zhang Qianyuan，Cheng Lianghua，et al.Review of mobile air-ground crowdsensing［J］.Computer Science，2022，49（11）：242-249.）

［10］Foschini L，Martuscelli G，Montanari R，et al.Edge-enabled mobile crowdsensing to support effective rewarding for data collection in pandemic events［J］.Journal of Grid Computing，2021，19：1-17.

［11］Zhang Yanlin，Li Peng，Zhang Tao，et al.Dynamic user recruitment in edge-aided mobile crowdsensing［J］.IEEE Trans on Vehicular Technology，2023，72（7）：9351-9365.

［12］An Jian，Wu Siyuan，Gui Xiaolin，et al.A blockchain-based framework for data quality in edge-computing-enabled crowdsensing［J］.Frontiers of Computer Science，2023，17（4）：174503.

［13］Sarkar I，Adhikari M，Kumar N，et al.A collaborative computational offloading strategy for latency-sensitive applications in fog networks［J］.IEEE Internet of Things Journal，2021，9（6）：4565-4572.

［14］Kim T，Kim Y，Adu E，et al.On offloading decision for mobile edge computing systems considering access reservation protocol［J］.IEEE Access，2023，11：40457-40468.

［15］Huang Mingfeng，Liu Wei，Wang Tian，et al.A cloud-MEC collaborative task offloading scheme with service orchestration［J］.IEEE Internet of Things Journal，2019，7（7）：5792-5805.

［16］孔珊，柴争义，郑玉琦.基于进化多任务多目标优化的边缘计算任务卸载［J］.计算机应用研究，2024，41（4）：1164-1170.（Kong Shan，Chai Zhengyi，Zheng Yuqi.Task offload in edge computing based on evolutionary multi task multi objective optimization［J］.Application Research of Computers，2024，41（4）：1164-1170.）

［17］Liu Hui，Niu Zhaocheng，Du Junzhao，et al.Genetic algorithm for delay efficient computation offloading in dispersed computing［J］.Ad hoc Networks，2023，142：103109.

［18］Mitsis G，Tsiropoulou E E，Papavassiliou S.Price and risk awareness for data offloading decision-making in edge computing systems［J］.IEEE Systems Journal，2022，16（4）：6546-6557.

［19］Cao Mintao，Liu Lanyu，Wang Chao，et al.Computation resource offloading in mobile edge computing：a deep reinforcement approach［C］//Proc of the 3rd International Symposium on Computer Techno-logy and Information Science.Piscataway，NJ：IEEE Press，2023：360-364.

［20］Xiao Han，Xu Changqiao，Ma Yunxiao，et al.Edge intelligence：a computational task offloading scheme for dependent IoT application［J］.IEEE Trans on Wireless Communications，2022，21（9）：7222-7237.

［21］Zhou Huan，Jiang Kai，Liu Xuxun，et al.Deep reinforcement learning for energy-efficient computation offloading in mobile-edge computing［J］.IEEE Internet of Things Journal，2022，9（2）：1517-1530.

［22］Chen Juan，Xing Huanlai，Xiao Zhiwen，et al.A DRL agent for jointly optimizing computation offloading and resource allocation in MEC［J］.IEEE Internet of Things Journal，2021，8（24）：17508-17524.

［23］Osband I，Blundell C，Pritzel A，et al.Deep exploration via bootstrapped DQN［C］//Proc of the 30th International Conference Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2016：4033-4041.

［24］Van Hasselt H，Guez A，Silver D.Deep reinforcement learning with double Q-learning［C］//Proc of the 30th AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2016：2094-2100.

［25］Babaeizadeh M，Frosio I，Tyree S，et al.GA3C：GPU-based A3C for deep reinforcement learning［EB/OL］.（2016-11-18）.https：//doi.org/10.48550/arXiv.1611.06256.

［26］Hou Yuenan，Liu Lifeng，Wei Qing，et al.A novel DDPG method with prioritized experience replay［C］//Proc of IEEE International Confe-rence on Systems，Man，And Cybernetics.Piscataway，NJ：IEEE Press，2017：316-321.

［27］Xiong Jiechao，Wang Qing，Yang Zhuoran，et al.Parametrized deep Q-networks learning：reinforcement learning with discrete-continuous hybrid action space［EB/OL］.（2018-10-10）.https：//arxiv.org/abs/1810.06394.

收稿日期：2024-01-12

修回日期：2024-03-01

基金项目：国家自然科学基金资助项目（61602305，61802257）；上海市自然科学基金资助项目（18ZR1426000，19ZR1477600）

作者简介：杨桂松（1982—），男（通信作者），河南漯河人，副教授，硕导，博士，CCF会员，主要研究方向为物联网与普适计算等（gsyang@usst.edu.cn）；桑健（1998—），男，河北唐山人，硕士研究生，主要研究方向为移动群智感知和边缘计算.