边缘计算在优化远岛观测数据传输中的应用研究

2021-09-14诸茂华关月芝温玉波刘绮姮

海洋开发与管理 2021年6期

诸茂华，关月芝，温玉波，刘绮姮

(国家海洋局南海信息中心广州 510320)

0 引言

海岛在海洋经济发展中发挥重要作用，同时是优化海洋开发利用的重要载体。随着我国海洋经济和“一带一路”建设的快速发展，越来越多远离大陆的海岛被开发利用。远岛观测资料对于合理开发利用海岛资源、保护海岛生态环境和促进海洋经济可持续发展具有重要意义。目前国内外都在加大力度建设海洋观测系统，远岛观测数据传输是海洋观测系统建设面临的难题之一。由于在远岛建立海底光缆等电缆网络的工作量大且难度高，目前远岛观测数据传输主要依靠卫星通信技术，但卫星通信技术存在传输费用高、实时性差和网络接入复杂等突出问题。

本研究着重于海洋观测系统在优化远岛观测数据传输方面的创新，提出基于边缘计算的远岛观测数据传输优化方法，主要利用边缘计算模式可在靠近数据源头提供服务的特点，解决传统海洋观测数据传输依赖卫星通信技术而带来的问题。边缘计算主要侧重于将对传输可靠性和实时性要求高的原始数据的计算放在边缘侧，而不是将所有原始数据的计算都放在信息中心处理。本研究在网络中引入基于边缘计算MEC-SDN架构，以降低无线通信时延和提高无线网络服务效率，使网络资源可以动态灵活地调度和分配，从而达到优化整体观测数据传输网络的效果。相对于现有网络传输架构，该架构更适合远岛观测数据传输系统的数据实时分析和智能化处理。

1 远岛观测数据传输面临的挑战

1.1 海洋观测数据的特点

海洋观测数据具有类型复杂、来源广泛和数据量大的特点。目前海洋观测数据的获取主要依托于岸基观测仪器、浮标、志愿船、雷达和卫星遥感等观测手段，每种观测手段应用的设备类型不尽相同，如浮标观测设备包括浅海浮标、深海浮标、海啸浮标、波浪遥测浮标、Argo浮标和锚系浮标等。海洋观测数据类型以多种形式共存，如各类型的结构化数据、视频和遥感图像。数据量从GB级到PB级，目前遥感数据和雷达数据的数据量急剧增长。

由于海洋观测的应用多种多样(如潮水位预警、海啸预警和海浪预警)，大部分海洋观测数据具有不同的标准、质量控制和时效(如实时和延时)要求，数据传输频率各不相同(如每天或每小时)。

1.2 远岛观测数据传输的局限性

由于卫星通信技术具有局限性，目前远岛观测数据传输主要存在4个突出问题。

1.2.1 通信费用高

远岛观测数据通常通过海事卫星和北斗卫星传输，而卫星的数据传输成本普遍根据数据量计算，通信费用较高。原始数据中经常含有冗余信息，会增加数据传输量和浪费通信资源。随着海洋观测手段的增多，观测数据量越来越大，而卫星带宽有限，海量数据易在卫星通信网络产生通信“瓶颈”，造成通信网络不稳定。

1.2.2 数据易丢失

由于海洋环境恶劣，通信设备易出现信号和电源供应不稳定的情况，硬件设备也易发生故障，造成数据传输错误率提高，影响海洋观测工作。

1.2.3 数据源具有异构性

由于海洋观测设备类型众多，其中还包括一些自主研发设备，导致出现越来越多的新协议和越来越复杂的网络接入。在数据采集过程中，各管理系统通常只对单个设备或采集设备的数据信息进行管理，这些设备与对应软件之间的通信通常采用不同的数据交换协议和特定的驱动程序，因此在系统中往往存在驱动程序重复开发和适用性差等问题。

1.2.4 难以满足应用系统需求

随着信息化的发展，应用系统更加多样化和专业化，对数据质量和时效的要求越来越高，数据处理工作也越来越复杂。传统的观测数据传输方式会大大增加服务的响应时间，降低服务的时效性，难以满足现代应用系统对数据传输高质量和低延时的需求。

2 远岛观测数据传输的优化

2.1 边缘计算

边缘计算(Edge Computing，EC)是指在网络边缘执行计算任务的新的计算模型。网络边缘可以是从数据源到云中心的任何功能实体[1]。边缘设备不仅可以从云中心请求服务，而且可以执行不同类型的服务计算任务，如设备管理、数据存储、任务缓存、计算处理和隐私保护等[2]。

2.2 移动边缘计算

移动边缘计算(Mobile Edge Computing，MEC)是边缘计算模型的组成部分，利用先进的无线网络将计算任务迁移到就近的边缘服务器上[3]。由于MEC位于无线接入网中且距离移动用户较近，可以实现更多的低延迟和高带宽，从而提高服务质量和用户体验。通过在网络边缘部署缓存和服务，不仅可以减少拥塞，而且可以有效地响应用户请求。

2.2.1 MEC对网络的优化

边缘缓存和计算迁移是MEC的关键技术。有效使用MEC服务器存储资源进行边缘缓存，可以优化网络流量负载并提高传输性能。计算迁移可以将应用程序的计算任务转移到MEC服务器上执行，而MEC服务器的计算能力远胜于终端设备，因此应用程序可以获得更好的性能，同时减轻数据到数据通信的压力[4]。

2.2.1.1 边缘缓存的特点

不同的程序通常具有不同的性能要求，边缘缓存的优势主要体现在3个方面[5]。①提高系统容量。已有研究表明，网络边缘缓存可以显著提高系统的整体容量。②缩短服务延迟。由于边缘节点非常靠近数据源，使用边缘服务器执行内容缓存可以有效减少数据传输延迟。③减少传输开销。通过优化边缘缓存节点之间的传输协作，可以提高数据传输性能。

2.2.1.2 计算迁移的特点

计算迁移决策是错综复杂的过程，会受到设备性能、网络质量和用户偏好等因素的影响。其中，任务类型是影响因素之一，决定被迁移的计算任务可否被划分、哪些计算任务支持执行迁移以及如何进行计算任务迁移。在决定计算迁移策略前应主要确定3个事项。①确定可被迁移和不可被迁移的计算任务。②确定程序的连续性，计算迁移对于连续性任务会相当困难。③确定计算任务之间的关系是并行还是串行:对于并行任务，可以迁移；对于串行任务，由于计算任务之间具有相互依赖的关系，相对来说不适合迁移。

除上述影响因素外，计算迁移还应考虑时延的问题。通常而言，迁移延迟的计算包括从任务到边缘服务器的传输时间、边缘服务器上任务的计算时间以及接收任务计算结果的时间。

2.2.1.3 MEC的策略方法

现有研究成果已提出许多缓存算法和策略。例如:在边缘缓存中利用视频感知回程与无线信道调度技术，能最大限度地增加端到端网络和视频会话数量；与使用传统缓存相比，使用边缘缓存可以提高50%以上的容量[6]；在宽带受限的无线网络中，使用边缘缓存可显著提高视频容量，并具有非常低的延迟概率。

使用边缘缓存须兼顾缓存内容的多样性和冗余性。在网络边缘缓存使用频率最高的内容可减少负载，从而降低回程链路的成本。决定缓存哪些文件以及将其缓存到哪里非常重要，利用兼顾基站缓存内容多样性和冗余性的分布式缓存方案，寻找最优冗余缓存方法，从而决定在不同的基站缓存相同或不同的内容。该方法的目标是将网络的总传输成本最小化，包括无线接入网络内的成本以及通过回程链路传输到核心网络的成本。采用自适应粒子群算法(Particle Swarm Optimization，PSO)求解给定系统配置下的最优冗余度，结果表明最优冗余度主要受回程/无线电接入网(Radio Access Network，RAN)单位成本比和文件热度分布陡度2个参数的影响；当选择最优冗余度时，在给定回程/RAN单位成本比的情况下，总成本最高可降低54%，在典型的文件请求模式下最高可降低57%[7]。

对于多信道无线干扰环境下MEC的多用户计算迁移问题，可采用博弈论的方法实现分布式高效的计算迁移，即将移动设备之间的分布式计算迁移决策问题描述为1个多用户计算迁移博弈，且该博弈存在纳什均衡。随着用户规模的扩大，该方法能够获得较好的计算性能和可扩展性。实验证明，利用分布式计算迁移方案，边缘计算的性能比云计算提高30%；边缘计算的系统开销比云计算(所有任务在云端处理)减少51%，比本地计算(所有任务在本地用户处理)减少55%～68%[8]。

计算迁移策略的设计不可避免地会遇到具有挑战性的双时间尺度随机优化问题。对于较长的时间，应考虑在本地执行任务还是将任务迁移到MEC服务器计算；而对于较短的时间，任务输入数据的传输策略应与信道侧信息相适应。利用马尔可夫决策过程方法，应根据任务缓冲区的排队状态、本地处理单元的执行状态以及传输单元的状态来迁移计算任务。通过解析每种任务的平均时延和终端设备的平均消耗，采用一维搜索算法解决消耗延迟最小化的问题，并寻找最优化调度。实验证明，最优随机任务迁移策略比基准策略的平均执行延迟更短，最多可减少80%的延迟[9]。

综上所述，边缘缓存和计算迁移能有效地提高系统整体容量、缩短服务延时、减少传输开销和提高计算性能。

2.2.2 MEC在海洋观测数据传输中的应用

由于网络带宽有限且数据量较大，海洋观测数据的卫星通信易出现“拥堵”现象。对于数据传输排队导致的通信延迟问题，可通过MEC架构，根据随机任务迁移算法生成任务迁移策略，最小化终端设备资源消耗和执行时延，将部分计算任务迁移到边缘端，从而实现对整个系统的线性控制和优化。同一个协作集合内的边缘缓存节点能够与邻居共享其上下文信息，并根据这些信息指导本节点的缓存更新策略，通过边缘服务提供额外的存储和计算资源，从而提高应用的时效性。

海况视频、地波雷达和高精度遥感影像等大容量数据须耗费较多的带宽和通信费用，通信延迟的情况时有发生。①对于海况视频数据的传输，可依托MEC的边缘视频图像预处理技术，具有计算能力的边缘计算视频监控系统可以提高前端摄像头的智能计算能力[10]，通过对视频执行预处理任务，把视频中的冗余信息去除，并把部分或全部视频分辨率移至边缘，从而降低存储空间、带宽占用和通信费用；②对于地波雷达数据的传输，在边缘服务器中使用预处理算法，并通过边缘服务之间的互相协调提前进行部分数据矫正工作，将径向流数据合成为矢量流场数据，从而提高传输效率；③对于高精度遥感影像数据的传输，为压减上传的数据，利用基于行为感知的弹性存储机制，边缘计算可提供具有预处理能力的平台，实时解读影像中的行为特征，基于行为特征进行决策，并对影像数据进行动态调整，不仅可以缩小无效图像的存储空间，而且可以将目标影像数据的存储最大化，从而增强信息的可信度和提高存储空间的利用率。

2.3 软件定义网络

软件定义网络(Software Defined Networking，SDN)已逐渐成为网络技术发展的主流，其设计思想是将网络的数据转发与控制平面分开，从而实现编程控制。将SDN应用于边缘计算，可支持数量众多的网络设备接入，实现灵活扩展，提供高效率和低成本的自动化运维管理[11]。

2.3.1 SDN对网络的优化

SDN的目的是实现管理的集中化和智能化，其架构如图1所示。

图1 基于MEC的SDN架构

将边缘服务器合并到网络中，通过使用SDN机制，可将来自边缘的业务动态路由到可向用户提供最高质量服务的层和服务器。由于SDN模式将网络智能集中在基于软件的中央控制器，可使相对简单的边缘设备不必执行复杂的网络活动(如服务发现和协调)。SDN管理的多层边缘计算基础设施在减少边缘设备遇到障碍和限制方面具有较好的能力，能够满足性能和延迟等服务质量需求，并提高用户满意度[12]。

2.3.2 SDN在海洋观测数据传输中的应用

优化海洋观测数据网络的关键问题之一是解决信息管理系统与各观测点底层之间的协调问题，而SDN是很好的解决方案。SDN对用户尤其是应用程序开发人员和服务供应商隐藏所有的内部复杂情况，凭借其网络编程能力，通过向最终用户隐藏这种异构环境的复杂性，自然成为协调网络、服务和设备的候选方案；其将控制与数据平面分离，实现可编程控制机制[13]，以简化网络管理、清除网络流量、增加网络容量以及促进网络内的虚拟化。

SDN可满足海洋观测数据网络在多种异构设备管理、边缘计算资源管理和快速应用集成等方面的需求，降低边缘计算体系结构实现的复杂性[14]。

3 基于MEC-SDN的远岛观测数据传输网络架构

为满足海洋观测系统边缘计算服务对网络实时可靠和灵活可重构的要求，本研究基于MEC-SDN搭建海洋观测数据传输网络架构，主要实现高效网络和极简运维2个关键价值，分别带来的效益是网络稳定可靠和业务灵活调整。基于MEC-SDN的远岛观测数据传输网络架构如图2所示。

图2 基于MEC-SDN的远岛观测数据传输网络架构

由于MEC是开放架构的平台，可根据实际情况灵活地部署在不同的位置，以满足不同的服务需求[15]。把MEC服务器部署在海岛基站侧，传感设备负责获取各种异构数据，并发送到MEC服务器[16]；位于基站侧的MEC服务器对数据包进行解析，并与缓存中的内容进行对比，如果系统访问的内容已经在本地缓存中，则可直接将缓存内容定向推送给应用。此外，历史数据也可在边缘服务器中训练，根据不同的需求选择训练模型，并在边缘服务器对数据进行预处理。这样部分数据请求无须经过无线网关，可减少协议之间的转换，同时大大减少无线网关缓存的数据量，降低对无线网关能力的要求，并减少因TCP协议而造成的时延，提高网络资源利用率。

除添加边缘服务器外，无线网关也可作为边缘处理的组成部分。边缘网关具有联网能力，可将数据实时整合，在进行简单的逻辑运算后再把数据发送到中心网络。当网络不稳定时，传统网络架构不能及时反馈运算结果，网络时效性将大受影响；而边缘网关内置的逻辑保障网关可在网络不稳定时实现简单调度运算，从而提高网络的可靠性。

SDN部署于信息中心网络中，并提供统一的控制平面接口[17]。根据物理布局，SDN通常分为插入导入模式、核心SDN导入模式、边缘SDN导入模式和边缘Overlay导入模式等。根据远岛观测数据传输的实际情况和需求，将所有设备集约化显然不现实，而适合采取边缘SDN导入模式，即只需将边缘网络SDN化，允许原有网络和SDN网络并存，并在原有网络环境下按实际需求局部导入SDN模式。

使用边缘SDN导入模式，通过网络设备集约和虚拟租户网，把分散部门的网络进行统一配置和统一管理。虚拟租户网的管理员权限根据部门需求提供，保证各部门能够自由配置本部门的网络。在海洋观测工作中，有不少组织是工程指向型，即当项目或研究开始和结束时都须构建或解体网络，组织变化较为频繁。例如:开展某项海洋调查研究工作，各部门使用不同厂商的传感设备，其局域网都是物理隔离，同时还要与外部企业进行数据对接，造成网络配置复杂；使用SDN实现的虚拟租户网不仅能够方便地隔离各部门的网络，而且能够利用SDN控制器的操作接口迅速完成传感设备调度时的网络配置变更，减少用于网络配置的人工费用。