基于大数据的信令监测系统的设计与实现

胡为艳，艾　民，周光彬，胥大川

(中国人民解放军78088部队，重庆400039)



基于大数据的信令监测系统的设计与实现

胡为艳，艾民，周光彬，胥大川

(中国人民解放军78088部队，重庆400039)

摘要:随着计算机技术与通信技术的飞速发展，各种数据流量也随之急剧增加，这给信令数据的采集、存储、分析带来了巨大挑战。在传统信令监测系统的基础上结合大数据特征，设计了该信令监测系统建设方案，讨论了该方案的关键技术和功能架构，详细介绍了该方案在网络优化、业务经营、网络安全三方面的应用，为大数据时代下实现信令监测、提高网络安全，提供了理论支撑和实践基础。

关键词:大数据；信令监测系统；网络优化；业务经营；网络安全

随着大数据时代的来临，从电信运营商的角度，其面临越来越大的数据存储、处理和分析的压力。从用户的角度，层出不穷的业务，让用户越来越注重网络性能的个人体验[1]。在这样的背景下，建立一套基于大数据的信令监测系统以满足用户需求、解决运营商难题已成为现阶段电信运营商的迫切需求。

传统的信令监测系统往往以基于网元层面的客观评估方法对网络进行优化和故障诊断，并没有充分考虑网络安全和用户体验[2]。然而，在大数据时代，从用户的角度，海量数据中包含大量用户敏感信息，确保这些信息的安全已受到用户越来越多的关注；从电信运营商的角度，海量数据只是简单存储在服务器中，这些数据中隐含的价值没有得到利用，通过对海量数据的挖掘分析不仅可以按照用户不同需求实现差异化服务，也可以更精细的管理、经营业务。因此，建立一套基于大数据的信令监测系统对用户和电信运营商都具有重要意义。

本文在传统的信令监测系统的基础上，重点研究了大数据的关键技术和数据分析挖掘的方法，设计了一套基于大数据的信令系统监测方案，并详细介绍了该方案在网络优化、业务经营、网络安全3方面的应用。

1大数据在信令监测系统中的应用

1.1大数据环境下信令数据特征分析

相比于传统的信令数据，由于通信技术的快速发展和数据流量的急剧增长，现网数据包含信令面和业务面数据以及错综复杂的用户数据，从这些数据中挖掘出的信令数据对信令监测系统有着重要作用。现网信令数据具有大数据特征：

1)数据量巨大。存储的数据量十分庞大，通信技术的快速发展和智能终端的普及，使得信令数据的数据规模从TB级别跃升到PB级别甚至更大，因而对其分析的计算量也大。

2)数据类型多。数据类型非常复杂，不仅仅包括大量的像文本这种结构化和半结构化数据，还包括图片、音频、视频以及地理位置信息等非结构化的数据。

3)价值密度低。对数据的处理挖掘存在潜在的价值，但是大量复杂的不相关数据会导致价值密度低。

4)处理速度快。数据的增长速度快，那么处理速度也要快。处理速度越快，实时性越高，其价值就越大，发挥的效能也就越大，这是大数据区分于传统数据挖掘的本质区别[3]。

1.2大数据处理在信令监测系统中的应用

由于现网信令数据的大数据特征，不能运用传统的信令监测系统对其进行分析。面对大数据，传统的信令监测系统存在以下几个方面的问题[4]：

1)网络的运行质量在很大程度受数据量的影响，现网数据不仅包括结构化数据，还包括非结构化数据，传统的信令监测系统只适合于分析结构化数据，而不能分析视频数据等非结构化的数据。

2)由于网络链路和数据流量的飞速增长，传统的信令监测系统在海量数据的高效率读写、高并发读写、可扩展性等方面存在缺陷，无法满足海量数据在计算和存储等方面的需求。

3)现网大数据要求信令监测系统能够满足大规模数据挖掘、实时反馈分析结果、实时触点营销等需求，但是传统的信令监测系统因其垂直化的架构设计使得建设成本高，而且服务的响应时间长，难以满足大数据对信令监测系统的要求。

针对上述问题，本文提出的基于大数据平台的信令监测系统，实现了对多样化数据结构、海量信令数据的分析、挖掘和存储，具有建设成本低廉、数据实时处理高效、系统配置灵活、系统扩容平滑等显著优势。信令监测系统的大数据关键技术[5-7]主要包括并行计算、分布式数据库、分布式文件系统和云存储等。

1.2.1并行计算

并行计算是指利用多种计算资源来协同解决同一个计算问题的一种计算手段，能够有效地提高整个系统的处理能力和计算速率。其基本思想是将同一计算问题分配到若干个处理机同时进行计算，即将需要求解的计算任务分解成若干个子任务，各个子任务都由一个独立的处理机来完成并行计算。并行计算系统既可以是含有多个处理机的计算机，也可以是若干个通过某种方式相互连接的计算机集群。

1.2.2分布式数据库

分布式数据库系统一般使用较小的计算机系统，采用分布式架构对海量数据进行存取，并通过集中服务器对资源进行管理或调度。其基本思想是将原来集中式数据库中的数据分散地存储到多个网络互连的数据存储节点上，从而获取更大的存储容量和更高的并发访问量。由于关系型数据库在处理海量数据时存在一些很难克服的缺点，使得可扩展性和并发性高的非关系型数据库得到快速发展，传统的关系型数据库开始从集中式模型向分布式架构扩展。

1.2.3分布式文件系统

分布式文件系统是指资源存储在分布于各处且与网络互连的节点上，而不是一定连接在本地节点上的文件系统。其基本思想是通过网络互连的方式将各个节点的存储资源整合在一起，在提供大规模的文件存储能力的同时，还能降低高端服务器的使用成本。分布式文件系统通常采用C/S(客户端/服务器)的设计模式，将数据存放在一个可供多用户访问的服务器集群上。当用户访问分布式文件系统时，首先需要定位用户所需存取数据在集中服务器存放的节点，定位成功之后，分布式数据存取就与传统文件系统下普通的资源存取方式一致。

1.2.4云存储

云存储是指将存储资源放到云上供用户随时随地通过任何可连网设备存取的网络存储系统。其基本思想是利用网络技术、集群应用或分布式文件系统等技术，将网络中大量的类型各异的存储设备通过软件集合起来协同工作，实现数据存储功能和数据访问功能[8]。

2基于大数据的信令监测系统设计

在传统信令监测系统的基础上，基于大数据的信令监测系统如图1所示，整个系统采用集群架构和分层分布式的数据处理模式[9]。

2.1数据采集层

数据采集层主要功能是通过一个或者多个采集点的信令采集设备采集通信网的信令数据与业务数据，如GB接口、IUPS接口等接口的数据，并把这些接口的数据进行整合，即把数据进行过滤、复制、整合处理，实现数据的统一存储。信令采集点的位置一般设在信令转接点、长途局等信令链路比较集中的地方[10]。

2.2数据处理层

数据处理层主要功能是完成对采集层采集到的信令数据进行处理，包括协议解析、数据转换、批量计算等。该层根据功能可分为以下两大模块。

2.2.1信令预处理

该模块主要功能是把采集设备采集到的二进制数据流进行预处理，如接口适配、协议解析等，转化成用具有逻辑意义的数据结构并能提供给计算平台的调用。首先，整合后的数据经过接口适配，根据需求的不同选择相应的协议解析方案。协议解析分为两种：一种为只提取消息中的部分关键字段信息，跳过其他字段信息的简单解码；另一种为对信令数据或者业务数据整条消息的所有信息都进行解析并对某些关键字段生成解析说明的详细解码[11]。其中详细解码的流程如图2所示。

经过解码后，需要把同属一个CDR流程的消息进行关联匹配并合成[12]。合成流程如图3所示。

2.2.2分布式计算平台

经过预处理之后得到原始CDR文件，根据不同的需求经过数据分流分发到各个分布计算流程进行处理。若需要对现网数据进行流量统计、呼损分析、话务统计等实时处理，则选择实时数据流处理流程；若分析用户的群体构成及其偏好或者高精确度与高效率的大数据量处理任务，可以分流到批量式计算处理流程，并把相关数据存入分布式数据库，以供应用层各种业务需求调用[13]。

在批量式计算处理流程中，用户偏好等分析需要对用户使用的业务进行识别，故该流程采用了DPI技术进行业务识别。DPI业务识别流程如图4所示，具体流程如下：

1)读取DPI业务特征库，生成DPI数据字典；

2)读取数据文件，逐条地提取业务数据中的HOST，URL，Refer等字段信息；

3)根据HOST信息，通过DPI数据字典查找相关特征，并与URL、Refer等字段进行比对，若URL等信息与特征相匹配，则识别成功，并把业务信息与HOST等字段进行关联；否则业务信息为空。然后再进行下一条数据识别；

4)把识别的结果录入数据库[14-15]。

2.3应用层

应用层主要功能是把数据处理层处理得到的数据进行归纳、分析，按照不同的专题应用进行统计，如呼损分析、TOP业务统计、网络优化等。对于各种应用的结果，可选用柱状图、表格、折线图、饼状图等不同形式进行展示。

3基于大数据的信令监测系统应用分析

信令监测系统的大数据解决方案，实现了对海量数据的并行处理和深度挖掘，相对于传统的信令监测系统，在网络优化、业务经营、网络安全等方面具有显著的优势。

3.1网络优化

基于大数据的网络优化应用通过信令采集模块采集原始信令数据，并利用大数据平台的处理能力对移动网络各项KPI进行统计挖掘，从而找到影响网络质量的原因。由于我国各地区通信服务水平的差异，三大运营商需要综合协调发展不同的网络类型，如2G、3G、LTE等网络，各类型网络的统计KPI多达百余项，基于大数据的信令监测系统可以对网络问题进行高效处理和实时定位。

以某部专用网(SS7信令系统)中的实测数据作为数据来源，对专用网络下的ISUP呼叫接通率进行统计，统计结果如图5所示。

由图5第一行可得到源信令点和目的信令点之间的呼叫接通率为98.29%，呼叫应答率为74.36%，通信状态良好。

以重庆移动某地区公用网络中采集的数据作为数据来源，对该地区公网网络下的附着成功率和路由区更新成功率进行统计，统计结果如图6、图7所示。

从图6和图7可以得到该地区附着成功率只有40%，路由区更新成功率为90%，网络通信质量较差。

3.2业务经营

随着OTT应用的爆发式发展，从电信运营商的角度，三大运营面临越来越大的管道压力，并逐步从语音业务转向流量经营。基于大数据的信令监测系统通过对用户海量业务数据的挖掘统计，可以实现用户偏好分析、业务TOP分析、用户流量分析以及夜间高流量用户等分析。通过以上分析，不仅可以提高用户体验，还可以实现业务的精细化经营和用户的差异化服务。

图8展示了在客户端页面中查询出的2015年1月视频用户对3G门户-NBA直播中心的偏好程度分析情况。

从图8中可以看出，通过对当月视频用户使用时长、使用流量和访问次数3个指标的统计分析后可知：行号为1，IMSI为“460026083440797”的用户被划分为强偏好用户；行号为6，IMSI为“460025083291428”的用户被划分为发烧用户。

图9展示了2015年1月—3月根据用户量统计出的电视剧Top10，从图中可以看出，用户量排名前三的都是网络热播剧。

3.3网络安全

随着业务综合化、开放化和网络融合化的发展，专用网络的安全脆弱性日益显露出来，传统的信令监测系统主要是实现网络优化和故障诊断，在网络安全防护方面相对比较薄弱。基于大数据的信令监测系统通过对各类攻击方式的深度挖掘，能够有效地对攻击行为进行识别，并制定相应的防护方案，从而达到保护网络安全的目的。

3.3.1骚扰电话拦截

骚扰电话是指攻击者通过合法用户接入，利用电话网资源，骚扰和欺骗合法用户，常见的骚扰电话形式有以下3种：

1)被叫用户听到电话振铃，用户电话振铃却无法正常通话；

2)被叫用户听到电话振铃，主叫号码显示为空号或是公共服务号码；

3)用户听到电话振铃，接通之后转至一段录音。

基于大数据的信令监测系统通过对各类攻击行为的深度挖掘，分析出骚扰电话具有以下攻击特征：

1)振铃时长短；

2)超频呼叫；

3)主叫占比门限高，号码作为主叫呼出的次数占所有呼入呼出次数比例高；

4)用户通常无法正常接听；

5)不产生话单记录。

根据以上骚扰电话的特征，基于大数据的信令监测系统网络安全防护方案如图10所示。

信令消息采集：从链路数据包中过滤出需要处理的信令消息。

呼叫状态恢复：对采集到的信令消息进行解码合成，从中得到每一条呼叫的用户序号、开始时间、结束时间、主被叫号码、接通时长、应答时长、通话时长等表征用户通话过程的行为参数，并为每条呼叫建立记录以供分析。

分析检测：对骚扰电话进行检测，若判断为骚扰电话，则通知系统进行拦截，并保存该号码至骚扰电话黑名单。

行为数据挖掘：将该条呼叫记录与数据库中的海量数据进行深度挖掘分析，如该呼叫主叫占比门限高达90%，则判断该条呼叫的号码为骚扰电话。

识别特征库设置：自动或人为调整分析检测环节中所设置的各种判决门限。

骚扰电话拦截：对骚扰电话进行拦截，并以短信形式预警被叫用户。

以某部队专用网(SS7信令系统)中的实测数据作为数据来源，对号码的接通时长、应答时长等指标统计分析如图11所示。

通过以上统计，基于大数据的信令监测系统可以对专网网络下的各个号码进行全面监控，结合骚扰电话拦截系统，可以全面防范并处理骚扰电话的攻击。

3.3.2虚假主叫号码识别

虚假主叫主要是通过改变主叫号码来实施欺骗或欺诈，基于大数据的信令监测系统可以通过在汇接层获取主叫号码的海量信令数据，然后通过大数据处理技术与现网识别规则库进行对比，从而最终判断来话路由是否正常。

以某专用网为例，整个虚假主叫号码识别步骤如下：

1)建立全网所有交换局下各用户号码与该信令点编码或IP地址之间的对应关系，形成识别规则库；

2)获取主叫号码和发送呼叫信令的交换局源信令点编码以及IP地址；

3)将提取的关系与识别规则库进行对比；

4)若识别为虚假号码则对用户进行预警。

整个识别流程示意图如图12所示。

以某部队专用网(SS7信令系统)中的实测数据作为数据来源，通过PL/SQL程序在监测系统数据库中查询到5月15日的虚假号码识别结果如图13所示。

从图13中可以看到，5月15日共查询到两个虚假号码，分别是“0603969774”和“0701014331340”。

4结束语

未来移动通信将迎来大数据时代，如何快速、高效地实现海量数据的处理与挖掘将成为未来建设信令监测系统的研究重点。基于此，本文提出了一套信令监测系统建设方案，该方案基于大数据分析，详细分析了该方案的业务需求和功能架构，重点介绍了该方案在网络优化、业务经营、网络安全三方面应用，验证了其合理性及可行性，为大数据时代背景下信令监测系统的建设提供了重要的理论支撑和实践基础。

参考文献：

[1]张海峰，张杰.TD-LTE数据业务发展趋势[J].互联网天地，2013(4)：12-14.

[2]杨丰瑞，吴在学.电信企业服务质量感知的评价指标体系和方法[J].北京邮电大学学报(社会科学版)，2012，14(5)：53-57.

[3]刘智慧，张泉灵.大数据技术研究综述[J].浙江大学学报(工学版)，2014，48(6)：957-972.

[4]苟小龙.信令监测系统迎接大数据时代的到来[J].通信世界，2013(20)：52-52.

[5]王秀磊，刘鹏.大数据关键技术[J].中兴通讯技术，2013，19(4)：17-21.

[6]TEKINER F，KEANE J A. Big data framework. systems，man，and cybernetics(SMC)[C]//Proc. 2013 IEEE International Conference on Manchester.[S.l.]：IEEE Press，2013：1494-1499.

[7]LIU Z Y，YANG P，ZHANG L X. A sketch of big data technologies[C]// 2013 Seventh International Conference on Internet Computing for Engineering and Science (ICICSE).Shanghai：IEEE Press，2013：26-29.

[8]梁军，谢文君.云存储技术的研究[J].信息系统工程，2013(9)：76-77.

[9]汤雅妃，魏进武，张云勇.基于大数据的信令监测系统研究[J].邮电设计技术，2014(7)：47-52.

[10]于振涛.七号信令监测系统的设计与实现[D].哈尔滨：哈尔滨工程大学，2015.

[11]肖寅东，王厚军，田书林.高速网络入侵检测系统中包头解析方法[J].仪器仪表学报，2012(6)：1414-1419.

[12]冉滴，张治中.基于LTE网络GTPV2协议的CDR合成方案研究与实现[J].计算机光盘软件与应用，2014(23)：291-292.

[13]DEANJ，GHEMAWATS.Mapreduce：simplifieddata

processingonlargeclusters[C]//Proc.OperatingSystemDesignandImplementation.USENIXAssociationBarkeley,CA,USA:ACMPress, 2008:10.

[14]YANGCS，LIAOMY，LUOMY，etal.AnetworkmanagementsystembasedonDPI[C]//Proc. 2010 13thInternationalConferenceonNetwork-BasedInformationSystems(NBiS).NewYork，USA：IEEEPress，2010：385-388.

[15]邓炳光，石志广，张治中.LTE网络S1接口用户行为分析系统的设计与实现[J].电视技术，2015，39(9)：84-87.

责任编辑：许盈

Design and implementation of big data based signaling monitoring system

HU Weiyan,AI Min,ZHOU Guangbin，XU Dachuan

(ArmyUnit78088，ChinesePeople’sLiberationArmy,Chongqing400039,China)

Key words:big data; signaling monitoring system; network optimization; business operation; network security

Abstract:With the rapid development of computer and communication technology, all kinds of flow data are increasing sharply, which brings great challenges to the signaling data collection, storage and analysis processing. On the basis of traditional signaling monitoring system and the big data features, a construction schema of signaling monitoring system is proposed, the key technologies and functional architecture of the schema are discussed, and the application in network optimization, business operation and network security are introduced. An important theoretical support and practical basis are provided to the realization of signaling monitoring and network security.

中图分类号：TN929.5；TP391

文献标志码：A

DOI：10.16280/j.videoe.2016.01.019

收稿日期：2015-08-03

文献引用格式：胡为艳，艾民，周光彬，等.基于大数据的信令监测系统的设计与实现[J].电视技术，2016，40(1)：95-101.

ZHANG W Y,AI M,ZHOU G B,et al.Design of low-cost optical network unit with four 100 Mbit/s ethernet port[J].Video engineering，2016，40(1)：95-101.