Hadoop技术在联机采集系统改造中的应用研究

【摘要】 本文论述主要是围绕湖北电信联机采集系统直采改造项目的应用展开，其中Hadoop系统技术作为关键技术提出并进行重点分析，不仅仅是本文的一个特色，也在改造后的联机采集系统运行中发挥了重大的作用。

【关键词】 联机采集 Hadoop

一、联机计费采集系统发展趋势介绍

随着湖北电信业务的不断发展和管理水平的提高，联机采集系统呈现了从本地网联机计费采集模式，向全省集中联机采集模式的发展趋势。联机采集系统正逐渐从交换机前置采集，本地网汇聚，省中心上传三级模式，发展到全省集中采集的一级半模式。“一级半模式”就是对于具备可以直接采集的交换机，实施省中心直接一级采集，对于不具备条件的交换机，可以保留前置采集机，实现省中心的二次采集，两种模式的混合可以成为“一级半模式”。

二、关于湖北电信联机采集系统直采改造的需求分析

目前以湖北电信联机采集系统建设为例，联采系统完全根据中国电信集团公司《本地网联集计费采集技术规范》[1]的要求，采用各本地网集中、全省分散的混合组网模式，也就是计费数据先汇聚到本地网，再上传至省中心。随着网络条件的飞跃以及技术能力的发展，上述架构中计费数据需要采集经过的环节较多。计费数据从交换机到帐务主机的采集过程时间较长，无法满足计费的实时性要求，系统提速的需求比较迫切。根据上述分析，联采系统云平台建设的目标如下：全省集中采集，将原来的二级架构[2]改造为全省一级架构，节省维护成本；提高采集实时性，将采集频率由原来的15分钟提高到5分钟；增强管理能力，包括业务性能实时监控、Flex告警面板、WebReport网页报表等重要管理功能。

三、集中模式和云计算系统对于解决联采系统改造问题的帮助

目前以湖北电信为例，其全省的网关、NGN交换机采用二级架构：网关交换机采用各本地网集中采集，再上传至省计费集中处理；NGN交换机采用各本地网集中，再上传至省计费集中处理。全省集中后的一级架构中，联采系统通过3个环节完成计费采集，大大提高业务效率。具体流程如下：云采集平台采集文件；云采集平台校验&存储；生成数据分发索引&目录。由于系统改造中采集加速的目标要求，系统处理能力面临三重挑战，云平台是超强性能的最佳选择，有效提升系统处理能力。

四、云平台—Hadoop系统技术介绍

1、Hadoop系统是一个可以更容易开发和运行处理大规模数据的软件平台。其中，HDFS是一个分布式文件系统（Hadoop Distributed File System），有着高容错性的特点，并且设计用来部署在低廉的硬件上。MapReduce是一个分布式计算模型。与分布式文件系统相结合，它可以为程序员提供一个定义良好的用于描述计算任务的 API，从而帮助他们简化并行化问题的任务。MapReduce将应用程序的工作分解成很多小的工作小块。HDFS为了做到可靠性创建了多份数据块的复制，并将它们放置在服务器群的计算节点中，MapReduce就可以在它们所在的节点上处理这些数据了。

2、Hadoop系统主要特点：能可靠地（reliably）存储和处理千兆字节（PB）数据。可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。通过分发数据，hadoop可以在数据所在的节点上并行地（parallel）处理它们，这使得处理非常的快速。hadoop能自动地维护数据的多份复制，并且在任务失败后能自动地重新部署（redeploy）计算任务。

五、集中式云平台联机计费采集系统特点介绍

1、分发存储并行。云采集平台采用多主机的模式，可以在数十台数据节点上，配置高达数百G的ramdisk用于缓存数据；同时云计算采用作业均衡调度机制，可以动态检查ramdisk的使用情况，然后再进行作业分配；系统采用完整的稽查机制，可以保证计费文件100%准确地采集以及分发。

2、有效解决磁盘I/O瓶颈。全省集中采集模式，所有近百个节点的数据需要集中存储，而且并发访问，将导致磁盘访问瓶颈。云平台利用HDFS技术，实现多节点分散存储模式，每块磁盘保证独立访问，从而避免了磁盘I/O瓶颈，同时整个系统的I/O带宽扩展到数十G。

六、联采系统改造顺应发展需求

1、 符合业务发展的需求。联机采集云计算平台采用业务动态加载模式，同时提供强大的并行计算能力，可以满足电信业务不断发展的需求。2、 符合技术发展的需求。联机采集云计算平台符合云技术的发展趋势和层次定义。3、 符合节能减排的需求。以湖北省为例，采用联机采集云计算平台可以节省77台设备，节省能耗高达80%，完全符合国家倡导节能减排目标。4、 符合电信投资策略的需求。采用联机采集云计算平台可以获得低价格/高性能的性价比。

结束语：湖北电信通过对联机计费采集系统的升级改造，特别是采用集中模式和云计算平台等技术，能够充分提升系统性能，加快电信业务处理能力，满足用户及时了解自身费用情况的服务需求，从而有针对性的提高服务质量，提高企业核心竞争力。

简介：叶进，男，1976年9月出生，1998年6月毕业于中南民族学院，工程硕士，现就职于湖北电信公司业务支撑中心，工程师

通信地址：武汉市江汉区常青路158号湖北省电信公司业务支撑中心，主要研究方向是电信企业计费系统的解决方案、应用等。 联系电话：18907181367

参 考 文 献

[1]中国电信运维[2000]5号文件

[2]中国电信网络[2001]164号文参考文献