云计算在卫通网数据处理中的应用

董希泉，李荣荣,柳 强

(1.中国人民解放军63920部队，北京100094;2.中国电子科技集团公司第五十四研究所，河北 石家庄 050081;3.河北省武安市水利局，河北 武安 056300)

0 引言

网络管理中心控制卫星通信网络的组建和运行管理，通过对全网的工作状态监视、设备功能部件控制、故障诊断和告警、信息记录、业务量的统计、与通信元素的动态分配，实现网络资源的优化配置和可靠运行。

由于卫星通信网络的动态性、高时延性、异构性以及资源有限性，传统的资源存储方式和数据处理方式无法满足海量数据存储和数据快速处理的需求。因此，如何高效快速地处理海量数据成为亟待解决的问题，云计算可以很好地解决此类问题。

本文利用云计算解决卫通网中海量态势数据的存储和处理问题。首先搭建基于卫星通信网的云平台模型，解决卫通网数据处理问题；然后从3层架构展开研究，分别为系统应用层、系统管理层和底层基础设施层；其中底层基础设施层采用Hadoop搭建底层集群，为系统提供计算和存储，系统管理层用来管理底层数据和资源，系统应用层利用底层数据进行功能操作。

1 相关技术简介

1.1 云计算简介

云计算是分布式计算、并行处理、网格计算在互联网下的进一步发展，集成多台服务器和物理机的资源共同提供服务，并将大规模计算程序拆分成无数子程序分发给多台服务器处理，最大程度地利用资源，提高效率[1-5]。

云计算通过网络使用企业中每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散地存储在企业的各个角落，解决了大容量存储的问题;利用分布式计算把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，分配给许多计算机进行处理，解决了企业高性能计算的问题。本文利用云计算技术搭建基于卫通网的云平台，解决卫通网中海量态势数据的存储和处理问题，比如：综合态势查询、故障诊断等态势数据处理问题。

1.2 Hadoop集群简介

Hadoop是一个可部署在廉价硬件上的分布式计算框架，具有高容错性和可靠性，适用于大数据集应用程序[6-7]。其关键技术为HDFS文件系统、MapReduce编辑模型和HBase表单。

HDFS是由一个NameNode结点和多个DataNode结点构成的主从结构体系，NameNode为管理结点，DataNode存储实际的数据，负责按照NameNode命令执行用户请求[8]。

MapReduce是一种并行编程模型，可用于大数据计算，通过将海量操作分发给网络中各个结点以实现其可靠性，用户通过编写Map函数和Reduce函数进行并行计算[9]。适合MapReduce处理的任务特征为：待处理的大数据集可以拆分成多个独立的子数据集并行处理[10]，可将MapReduce编程模型应用于通信网的大数据处理和高性能计算，解决数据融合和高复杂度计算问题[11]。

HBase是一个分布式多维映射表，对其存储在其中的数据不做任何解析，一律看作字符串[12]，具有广泛的适用性、很强的高可扩展性、高可用性以及简单性，适合卫星通信网态势数据存储的数据种类繁多、数据量庞大的特点[13-15]。

本文利用Hadoop的3种关键技术进行集群搭建和态势数据处理工作。

2 基于卫星通信网的云平台模型

云计算在卫星通信网络管理下的架构模型如图1所示。本系统采用3层体系结构，包括系统应用层、系统管理层和底层基础设施服务层。

图1 基于卫星通信网的云计算模型

第一层，系统应用层，针对历史数据，进行一些功能操作，比如：综合态势评估、设备故障率统计、故障情景复现以及任务期设备状态统计。在推理机作用下，根据观测事实提取征兆信息，然后同知识库中的知识进行匹配，做出故障的诊断与决策，并提供给用户，进行一场决策级融合。

第二层，系统管理层，通过执行相应的应用程序将Web服务器与底层集群连接，主要负责用户的管理和访问控制、任务管理和资源分配、数据管理和集群管理。

第三层，底层基础设施层，采用廉价的物理机组成Hadoop集群，为系统提供计算和存储，其中分布式文件系统(HDFS)用于管理数据和分配任务。

2.1 系统应用层

系统应用层包括四大功能模块:

综合态势评估：采集卫通网、频谱监视系统、链路监测系统、计划接收系统等态势数据，并对这些设备参数和链路状态等态势数据进行汇总和处理，由此得到对系统综合态势的评估和呈现；

设备故障率统计：根据设备历史参数信息，对全站设备在某时间段内的故障率进行统计；

故障情景复现：保留故障发生时刻的设备参数和链路状态参数，方便后续进行故障排查；

任务期设备状态统计：通过对任务期间各个时刻数据的统计与处理，对设备状态进行统计，比如设备良好率等。

2.2 系统管理层

系统管理层包括三大功能模块：

数据管理模块：采用HDFS进行数据存储和处理，采用一次写入、多次读取的模式，客户端先把收据缓存在本地的一个临时文件中，当临时文件的大小累积到一个块大小(默认64 MB)时，客户端与文件系统联系并得到一个数据块空间。文件写操作关闭后，进入安全模式，数据只能进行读操作，不可以再修改数据。数据块损坏后，将被系统回收[16-18]。

用户管理模块：用户首先需要注册信息才可登录系统，进行相关操作，系统将用户信息录入并分配相应权限，监测并控制用户对系统的操作与使用。

集群管理模块：包括节点管理、作业监控和任务监控。

其功能模块如图2所示。

图2 系统管理层架构

2.3 底层基础设施层

底层基础设施层模型如图3所示。

图3 底层基础设施层架构

由数据代理监控卫星通信网、地面网以及光学网等网管站的设备参数以及链路状态信息，作为元数据存储在廉价物理机组成的Hadoop集群中。Hadoop技术将大量廉价物理机组成集群模式，共同提供存储和计算服务。将资源整合成一个虚拟池，以此实现将软件应用与底层设备隔离，扩展硬件容量，简化软件配置过程。

3 基于云计算的态势数据处理技术

基于卫星通信网的云平台模型中的关键技术是Hadoop集群技术，本文利用Hadoop来处理卫通网中的态势数据。

Hadoop的核心是HDFS(Hadoop Distributed File System)、MapReduce和Hbase。其中HDFS提供高吞吐量的分布式文件系统，解决卫通网络态势数据的存储和访问问题；MapReduce为大型数据的分布式处理模型，解决卫通网络态势数据的并行处理问题；Hbase支持结构化数据存储的分布式数据库，解决态势数据的管理和组织问题。

3.1 态势数据的存储

运行在HDFS 上的应用主要是以流式读为主，做批量处理，更注重数据访问的高吞吐量，这符合卫星通信系统流式数据的特点。将HDFS应用于卫星通信网络管理中的态势数据存储中，以存储设备参数态势数据为例，介绍HDFS的处理过程。

用户在客户端上存储收集的设备参数态势数据，当存储的数据超过64 MB时，登录网管系统申请资源块，首先和NameNode节点连接，获取存放DataNode的列表，客户端和DataNode连接，上传数据，NameNode不参与态势数据的传输。

3.2 态势数据分析处理

本文将MapReduce编程模型应用于通信网络管理中的大数据融合和高性能计算，解决态势评估问题，比如：统计设备故障率、链路态势回放、链路告警统计等。以统计设备故障率为例，介绍MapReduce在卫通网络管理态势评估中的具体应用。

设备参数包括：中心ID、站ID 、设备ID、设备类型、设备子类型、告警时间、告警级别。以站为单位，对全站设备进行统计。其表单如表1所示。

表1 设备参数表

字段名类型主键非空centerIDIntYESstationIDIntYESmodernIDIntYESYESModernypeStringYESModernsubtypeStringYESWarntimeDataYESWarndescIntYES

利用MapReduce设计一个统计全站设备故障率的程序。通过以下两个步骤完成：

① Map阶段输入的是原始数据，按照站点对其划分，输出一组键值对<中心ID+站ID，每个站点的设备>，因此Map的功能仅仅是划分出各个站点的设备；

② 对于Map之后得到的每个站点的设备数据，启动Reduce，每个站点的设备数据放在一个Reduce中处理，定义告警等级两级以上的设备为故障设备，故障设备数量与每个站点设备总数量的比值即为每个站点的设备故障率，输出结果<中心ID+站ID，设备故障率>。

具体代码段如下：

Public class ModernFailureRate{

Public static void main(string args[]){

n=1;

for(ModernID=1;ModernID<=ModenIDmax;ModernID++){

if(ModernID.AlarmLevel>=2){

n=n+1; }}

system.out.println(ModernFailureRate=”n/ModernIDmax”)}}

3.3 数据库管理

利用Hbase解决卫星通信网络管理中态势数据的管理问题。以任务期间设备状态为例，介绍Hbase存放数据的逻辑视图，其中行关键字为任务期间设备状态，时间戳采用倒排方式，列定义为3个属性：一级告警、二级告警和三级告警，如表2所示。

表2 数据存放逻辑视图

行关键字时间戳一级告警二级告警三级告警任务期间设备状态t7一次t6一次t5一次t4一次

4 实验仿真及分析

本文实验数据来源于卫通网历史态势数据。实验仿真环境设置和实验参数设置如表3所示。

比较单机和Hadoop(默认块复制数目为3，数据块大小为64 M)下系统的性能，定义执行时间为性能参数。为取得更准确的结果，采用多次实验取平均值进行比较，结果如图4所示。

表3 实验软硬件环境配置

硬件环境软件环境PC机:5台 双核CPU,2.8 GHz内存1 GB ,250 GB操作系统:Ubuntu8.04执行环境:Sun Java 1.6云开发平台:Hadoop-0.20.2

图4 单机和Hadoop对比实验图

由图4可知，当数据量较小时，Hadoop集群的处理速度小于单机，这是因为其具有分布式特点，当数据量较少时，Hadoop集群将很多时间用于系统的初始化和通信，集群不能发挥自身优势。

随着数据量不断增大，Hadoop集群的处理速度远大于单机处理速度，证明Hadoop集群适合处理大规模数据集，其性能要远高于单机的处理性能。

5 结束语

本文针对卫星通信系统现状，研究云计算在卫星通信网络管理中的应用，提出一种基于卫星通信网的云计算模型。分层次展开介绍该模型，利用Hadoop技术搭建底层集群系统，并介绍分布式文件系统HDFS、并行编程技术MapReduce和数据管理技术Hbase，最后进行仿真实验，结果证明其优于单机数据处理模式。理论和实验分析了云计算应用于卫星通信网络的必要性，为后续工程实践提供指导。