云计算在信令监测系统共享层中的应用

牛晓丹, 韦薇, 张扬, 李心恬

（中国移动通信集团设计院有限公司，北京 100080）

1 信令监测系统共享层架构介绍

目前中国移动定义的信令监测系统在架构上分为3层，第一层为信令采集层，由七号信令采集接入设备、IP信令采集接入设备和信令采集网关构成，完成移动通信网信令数据的实时采集，生成全量信令数据并向上传送；第二层为共享层，完成信令消息的解码合成、数据的计算、整理、统计，根据订阅需求生成CDR/TDR信令数据、业务信令数据，合理组织和存储数据，并通过接口对外提供信令数据的共享和传输；第三层为应用层，主要完成信令数据的应用处理、表示和呈现。

信令共享层是一个处于信令采集与信令监测应用之间的系统。主要包括信令处理模块、接入模块、管理模块3大部分。

信令处理模块主要完成对信令采集网关上报的全量信令数据进行预处理以及在此基础上的进一步分析、合成以及处理等操作，生成应用系统所需的业务信令数据、CDR/TDR信令数据或统计数据等；接入模块采用集群或负载均衡方式，主要负责根据应用系统的订阅请求，进行协议转换以及数据分发功能；管理模块主要负责订阅、查询、注册以及安全控制等业务管理，网管等系统管理功能。

2 信令监测系统共享层中的云计算特性

2.1 基于SOA的体系架构

信令监测系统共享层软件设计采用了SOA架构，对各类应用进行服务封装，通过数据、服务等总线，保证封装成SOA服务的各种应用模块能够协同工作，并进行灵活的构建。在信令监测系统共享层，所有资源包括计算资源、存储资源、网络资源以及应用都可以以服务的形式，按单个或是多个有机整合的方式向用户提供服务。这是运用云计算技术的必要条件，也使云计算技术应用于信令监测系统共享层成为可能。

2.2 分布式计算

信令监测系统共享层的计算功能主要包括对信令的解码合成、数据的整理统计、根据订阅需求生成CDR数据及业务信令数据等。采用分布式计算平台对各省上传的大量原始信令数据进行合成计算，并利用相关计算对各个计算资源进行统一管理和动态调配，充分利用各单位的服务器资源，满足大计算量的需求。

2.3 海量数据存储和处理

根据信令监测系统的架构，共享层需存储所有原始数据及大量的CDR、统计报表数据，存储量达到PB级。怎样保证上述大规模数据进行安全、可靠和高效的传输、存储和管理是信令监测系统迫切需要解决的关键问题。原有系统通过UNIX小型机+磁盘阵列的方式对上述数据进行存储，造成系统建设的投资过大等问题，如何根据应用频率、调用速度等因素合理部署上述数据是云计算技术在共享层部署的关键点。

3 云计算技术在共享层的部署策略

从云计算角度对信令监测系统进行逻辑上的划分，大体可以分为信令合成处理部分、原始信令数据及CDR存储部分和综合分析部分。经过分析，对于信令合成处理部分，能够较好的运用云计算的分布式计算技术，可采用若干台X86架构的服务器进行大规模的计算，并有良好的分发机制，保证流量在各个服务器之间做到良好的负载均衡；对于原始信令数据及CDR数据的存储，基本的存储要求如表1所示。

由表1可见，信令监测系统数据存储量很大，但对于长时间内的全量原始数据及CDR数据的调用频率较少，而这两部分数据量占到总存储量的75%以上，这部分数据可存储在分布式文件系统中，并在HDFS中建立CDR的索引，以便需要用到CDR数据时，能保证较少的查询时间；对于统计及报表数据，经常会用于生成KPI等指标，对这部分数据查询的相应时间要求较高，可将时间段较长（如一年）的数据存储在HBase中，关系型数据库中仅保存部分热数据，以节省关系型数据库的占用量。各部分具体部署策略如下。

表1 存储设备配置要求

3.1 信令CDR合成功能与处理方案

信令合成处理系统总架构如图1所示。

信令共享平台通过IF1口接入采集层全量原始信令，全量数据按流量分配进入负载均衡机，负载均衡机根据CDR合成集群各节点负载情况，动态分配全量原始信令到各CDR合成处理机， CDR合成后进行预统计、用户订阅数据分发、实时跟踪等业务应用处理， 同时将CDR存入分步式存储系统。

3.1.1 负载均衡机功能

图1 信令合成处理系统架构

监控所有CDR合成机负载情况，动态分配全量原始数据，监控所有CDR合成机运行状态，如果发现CDR合成机出现问题，那么就把分配给这台机器的全量原始数据，重新分配到其他CDR合成机，以消除单点故障，提高系统可靠性。

负载均衡机采用Paxos 算法解决一致性问题，集群在某一时刻只有一个Master负责均衡能力，当Master宕机后，其他节点重新选举Master。保证负载均衡机不会存在单点问题，CDR合成机负载一致性。

3.1.2 CDR合成处理机功能

将全量原始信令进行信令解码、合成处理。生成后的不完整CDR进入关联合成模块，补充完整CDR所有信息，合成完整的CDR。合成后的CDR分别进入预统计模块进行1分钟粒度统计、CDR分发模块进行按订阅条件分发CDR 到各应用系统、实时跟踪模块按条件分发CDR到用户端、将CDR存入分步式存储系统。

3.1.3 实时业务

对于实时性要求高的业务应用，如：实时跟踪、网络指标分析、告警等业务，走实时专道。

3.1.4 自管理系统

提供集群自管理功能，包括：拓扑管理、告警管理、用户权限管理等。

图2 数据存储处理架构

3.2 数据存储功能与处理方案

数据存储处理总架如图2所示。

数据存储系统提供如下功能。

3.2.1 CDR数据处理

接收来自CDR 合成系统的CDR数据， 索引模块实时生成索引文件，以提高查询速度。生成的索引文件存储到HDFS中，以供查询CDR使用。

专题业务分析，通过MapReduce并行计算，同期提取业务数据，将结果分存两路，一路存入Hbase或日志详单存储， 一路存入关系型数据库。

3.2.2 KPI指标数据处理

CDR合成系统生成的1分钟粒度的KPI统计数据分存两路，一路存入分步式数据Hbase中， 一路存入关系性数据库中，关系性数据库保留近期数据，以供客户实时查询。 存入Hbase的KPI数据，周期的统计大粒度数据存入再分写两路，一路存入数据库，另一路存入Hbase中。同样的存入数据库中的数据，也只保留近期数据。历史数据全部保存在Hbase中，周期为一年。

3.2.3 原始全量信令数据处理

CDR合成系统生成的原始全量信令数据及其索引文件，存入资源池分布式存储服务中，以供CDR查询使用。

3.2.4 信令事件数据处理

CDR合成系统生成的信令事件数据处理，存入资源池分存式存储服务中。以FTP接口方式对应用层提供服务。

订阅系统产生的用户订单，存入分存式存储服务中。

系统管理系统数据，存入日志详单类数据存储服务中。

3.3 查询分析功能与处理方案

存储系统接入CDR合成系统，将CDR存入分步式文件系统HDFS，并同时建立索引，将索引文件存入HDFS。当客户发起请求后，客户端把请求发向查询接口服务器，查询接口服务器解析查询请求，后向Master任务调度机发送查询任务执行命令；Master回应执行命令节点信息，查询服务器根据节点信息将查询命令发向查询计算模块，进行具体查询操作，将查询结果返回给客户端，呈现给用户。

3.4 CDR订阅管理功能与处理方案

在数据存储集群中划分出订阅系统构成分组： 分为SDTP协议分发组、WebService协议分发组、Ftp协议分发组以及订阅接口服务器组。

订阅系统功能有：CDR、业务信令事件、指标等数据订阅功能、用户管理、系统配置管理、权限管理、日志管理等。

订阅系统所有管理数据存储在日志类分步式文件系统中，所有用户订单存储在资源池分存式存储服务中，以供数据分发服务器获取订阅信息。

用户订阅后的数据，其中SDTP、WebService数据通过各接口服务器主动推送给应用层。Ftp数据存入资源池分存式存储服务中， 用户通过FTP服务接口服务器主动获取数据。

4 运用的关键技术

4.1 负载均衡的实现方式

全量原始数据接入交换机，将数据发向指定IP的负载均衡机，负载均衡机向负载均衡Master节点请求CDR处理机，Master返回CDR合成的IP端口信息，负载均衡机根据CDR合成的IP端口信息将数据发向CDR合成机。

当某一台负载均衡机宕机后：

第一步 Master节点能过链接心跳得知宕机负载均衡机；

第二步 Master节点从所有均衡机中选出负载小的负载均衡机，启动虚拟IP及相关进程；

第三步 启动虚拟IP接收原始信令数据，进行负载均衡。

当Master节点宕机后：

第一步Master节点宕机， 负载均衡节点及CDR节点能过链接心跳得知Master宕机；

第二步所有负载均衡节点，重选举出Master节点，并通知CDR合成节点新Master节点，所有CDR合成节点，根据负载均衡IP列表，请求新Master节点，后向新Master节点上报负载状态；

第三步 新Master节点接管所有工作，对宕机的Master节点容错。

4.2 CDR索引的建立方式

按照数据存储处理方案的描述，需将CDR数据存入分布式存储系统中，但由此又将带来一个新的问题，以文本或二进制数据文件保存的CDR数据难以支持高效的数据查询。

对CDR数据建立查询索引是一个有效的解决方法，具体解决方案如下：

绕过HBase，在HDFS上直接构建针对各种查询方式的索引，且将索引直接存储在HDFS上。由于采用了这种索引方式，可以基本上做到索引的构建时间和查询时间只会随着数据量的增长呈对数增长，对于给定的数据流量和保存周期，每次检索的访问存储次数可以控制在几十次之内，因此可以保证实时性。具体设计实现方法如下。

首先，在HDFS文件中，通过READ按照各个号码建立First-level索引表，并在每一单元列出该号码所有CDR的offset，由于各用户通话次数不一，因而每个单元数据的长度不一，于是建立对应号码的Secondlevel索引表，其中的offset对应First-level的位置信息，该表的各单元的数据长度保持一致，可以通过二分法查找，最大查找次数为1bN (N为Second-level中所包含的号码个数，该对数曲线如图)，由于在Secondlevel中存有大量号码，故最大查询次数基本保持不变，以此保证了较高的查询效率。

但是当查询某一号码在一段时间内如一星期的通话记录时，就需要对许多个索引表去检索，这就会导致检索时间增加，假设某号码一个星期的通话记录，存在于K个检索表中，需要检索的最大次数为K×1bN，在K×N为常数的情况下，可以减小K值，由于N的增大对单个索引表的查询来说，最大查询次数变化很小（如对数图像所示），因此可采用归并First-level文件，重新建立Second-level索引表，这样大大减小了最大索引次数。目前采用的方案是将每一个小时生成的Firstlevel进行归并，然后重新建立该文件对应的Seccondlevel,当天过后，再将24个文件归并为一个文件，建立该文件对应的Second-level。

4.3 适应需求的混合存储策略

混合存储策略可以简述为HDFS分布式文件系统用来存储海量数据，可以根据存储的数据类型建立索引，HBase也可用来存储海量数据，其由查询条件建立索引表， Database对小型数据的存储处理。

分布式文件系统HDFS是一个开源云计算平台Hadoop框架的底层实现部分，适合运行在通用硬件上的分布式文件系统，具有高容错性，能提高吞吐量的数据访问，非常适合于大规模数据集上的应用。MapReduce在HDFS的基础上实现的并行框架，为用户提供容易使用的并行编程模式，MapReduce计算包括两个阶段，Map（映射）阶段和Reduce（规范）阶段。首先，Map函数把一组(Key,Value)输入，映射为一组中间结果 (Key,Value)，然后通过Reduce函数把具有相同Key值的中间结果，进行合并化简。MapReduce将计算作业分成许多小的单元，同时数据也会被HDFS分为多个Block，并且每个数据块被复制多份，保证系统的可靠性，HDFS按照一定的规则将数据块放置在集群中的不同机器上，以便MapReduce在数据宿主机器上进行计算。

HBase是一个分布式数据库，是一个稀疏的，长期存储的，多维的，排序的映射表.这张表的索引是行关键字，列关键字和时间戳。所有数据库的更新都是一个时间戳标记，每个更新都是一个新的版本，而HBase会保留一定数量的版本，这个值是可以设定的。客户端可以获取距离某个时间最近的版本，或者一次获取所有版本。

5 结束语

信令监测系统在保障移动通信网络高质量运行，快速响应用户投诉，提升用户感知等方面发挥着重要作用。目前全国共有6个省采用云方案进行共享层建设的试点工作，待试点结束后再向全国推广。采用云方案在降低信令监测系统造价的同时还能保证其较高的系统性能，使其与其他网络运维支撑系统合理分工、协作，共同成为中国移动“业务和服务双领先” 战略的有力支撑。

[1] 中国移动信令监测系统总体技术要求[S].

[2] 中国移动内部云资源池系统总体技术要求[S].

[3] 中国移动云存储系统设备规范[S].

[4] 中国移动云存储系统接口规范[S].