基于Hadoop和OGG技术的运营商装维数据传输分析

段鹏程+梁洪

【摘要】 以Hadoop框架为基础，建立了全量装维实例数据传输通道，以OGG技术为基础，建立了元数据及配置数据的传输通道，并设计了通道监控与管理模块，实际运营效果表明，基于Hadoop和OGG技术的运营商装维数据传输有着良好的可靠性和高效性。

【关键词】 装维数据 数据传输 Hadoop OGG

在电信行业市场竞争失去激烈的背景下，提升服务水平成为了各个运营商提升自身竞争力的重要手段，发挥装维服务作用对于客户价值挖掘、客户忠诚度提升等方面有着积极的意义，在此过程中，装维数据的有效传输至关重要。基于以上，本文以某运营商为例，探讨了基于Hadoop和OGG技术的装维数据传输，旨在为相关研究和实践提供参考。

一、全量装维实例数据通道建立

面对新业务要求，运营商OSS系统需要摆脱孤立系统的限制，并对专有应用进行消除。对于OSS系统来说，其不仅需要提供综合性报表，还应当具备端到端的实时多位分析视图及分析管理，这就对全量装维实例数据的传输提出了更高的要求，全量装维实例数据需要在短时间内实现省到集团的传输，并实现数据共享[1]。保障、开通、预处理等单实例数据、实体数据、平台上网记录数据及宽带测速数据等都属于全量装维实例数据的范畴，由此可见，全量装维实例数据量是十分庞大的，为了保证传输的有效性和及时性，需要建立全量装维实例数据通道。

在全量装维实例数据传输的过程中，省生产系统将统一转化为Key-Value模型，之后由两级数据总线互联网实现数据同步，将转化完成的Key-Value模型同步到集团数据总线，最后进行存储、整合及索引等数据处理，供集团应用系统使用。为了实现规定时间内海量全量装维实例数据的有效同步、传输、存储和共享，以Hadoop框架的复制数据同步架构技术为基础，主要包括两个部分：①并行计算及框架Map/ Reduce；②Hadoop分布式文件系统。

采用java语言开发Hadoop分布式文件系统，其主要功能是为应用程序提供API接口，保证分布式系统有着良好的扩展性与可靠性[2]。在不了解分布式底层细节的基础上，用户也可以实现对分布式程序的开发，并进行高速运算和存储。这种基于Hadoop框架的全量装维实例数据传输方案有着高效性、安全性及稳定性的优点。具体全量装维实例数据同步流程如下：①省内进行业务系统生产数据的Key-Value结构转化，并将其写入到数据总线中；②以Hadoop架构的数据传输通道为基础，将全量装维实例数据同步到集团装维前置库；③集团侧进行数据的切分、校验及索引等处理，之后将数据存储到集团装维统一库中，供集团应用系统使用。

二、元数据及配置数据通道建立

将装维数据中，元数据及配置数据同步到集团也是十分重要的，为了实现元数据及配置数据上传的稳定性和高效性，在建立数据互联通道的过程中采用OGG技术，即非插入行的结构化数据复制技术，其有着数据处理量大、传输效率高、安全性高及资源占用少等优点，能够实现元数据及配置数据传输的高效性、灵活性和稳定性。具体数据同步传输流程如下：①省侧对集团侧装维基库进行访问，以此来获取最新的标准元数据；②以标准元数据为基础，省侧对私有元数据、流程数据、人员组织数据及配置模型数据等进行上行传输，在集团侧装维元数据库中存储；③集团侧对存储于装维元数据库中的数据进行校验和整合处理，最后共享给集团应用系统，供集团应用系统使用。

三、配套两级数据通道监测与管理

3.1两级数据通道监测

结合装维业务的实际特点，在凌晨时段，装维数据传输存在周期时间没有数据传输的问题，为了实现对装维数据传输通道的有效监控，本文主要采用心跳架構模式，具体监控流程如下：①心跳写入：指的是省数据总线心跳写入，新建数据表，以实际业务需求配置周期为基础，周期性的将心跳数据写入到新建数据表中[3]；②心跳监控：指的是省数据总线的心跳监控，新建数据表，周期性接受与省内同步的心跳数据，并进行与上传数据的比对；③计算监测指标：计算通道可用性指标和通道数据传输及时性指标；④异常报警：监测指标数据出现异常则会以邮件及短信形式进行告警。

3.2两级数据通道配置管理

设计配置管理模块，对装维两级数据同步通道进行统一的配置和管理，实现可视化展示功能，可进行数据总线的新增、修改、网络拨测及删除等相关处理，保证装维两级数据同步通道的有效运营。

结论：本文提出了基于Hadoop和OGG技术的运营商装维数据传输方案，实际运行表明，装维数据传输有着良好的可靠性和高效性，为提升运营商装维服务奠定了坚实的数据基础，值得进一步推广和应用。

参 考 文 献

[1]谢翠琴，吴春. 基于Hadoop和OGG技术的运营商装维数据传输方案[J]. 电脑与电信，2016，06：71-73.

[2]林文辉. 基于Hadoop的海量网络数据处理平台的关键技术研究[D].北京邮电大学，2014.

[3]冯明丽，陈志彬. 基于电信运营商的大数据平台及去IOE应用研究[J]. 电信技术，2015，09：25-28+34.