大数据时代电信运营商IT架构的转型与演进方案探讨

张晓航

【摘 要】分析了某电信运营商的IT系统架构现状及其在大数据时代面临的挑战，简述了电信运营商IT架构转型的原则，详细阐述了基于云资源池、Hadoop云平台和分布式数据库这3类核心平台的IT架构整体规划方案，提出了IT架构演进的各阶段工作重点及预期目标。指出探索非IOE架构、选择外围场景进行云化、逐步实现核心系统数据及服务轻量化，将成为运营商在大数据时代提升自身竞争力的必由选择。

【关键词】大数据 IT架构 IOE 云资源池 云平台 分布式数据库 Hadoop

长期以来，电信运营商核心支撑系统的解决方案主要依赖于小型机、高端磁阵及大型商业数据库，系统横向扩容困难、资源综合利用效率低、维护成本居高不下等矛盾日益突出。随着大数据时代的来临，数据量爆发性增长、客户感知要求日趋严苛给电信运营商的IT支撑能力带来严峻考验，电信运营商IT架构亟需转型与演进。同时，随着X86服务器处理性能大幅提升，系统虚拟化技术及基于Hadoop等开源软件解决方案的日趋成熟，电信运营商IT架构的转型优化在技术上已经可行。本文将以某电信运营商的实践为典型案例，提出一种适应大数据时代的IT架构转型和演进方案。

1 现状分析

由于历史建设原因，某电信运营商先前IT系统的建设多基于小型机、高端磁阵和商业数据库软件搭建，经过多年的不断建设，虽然目前已覆盖MSS、BSS、OSS、EDA和ITM域，并实现了省集中的IT架构，但目前IT系统主要是基于IOE（IBM、Oracle、EMC）设备的技术架构，存在以下问题：

（1）PC服务器整合度较低，大量服务器独立部署，云化程度较低，资源不能集约共享。

（2）传统IOE架构的新建扩容等周期长、硬件部署效率低、横向扩容困难。

（3）IOE设备和软件维保费用高。对IOE厂商依赖较高，维保价格居高不下，2013年IOE设备维保费过千万，占全部IT设备维护费用的50%之多。

（4）随着4G时代的开启以及当前数据包深度挖掘的需求，数据量爆炸性增长，每个月都有50T左右的增加，传统的计费系统以及数据仓储系统架构无法满足。

2 IT架构转型原则

一个完整的IT系统按照系统架构可分为Web层、应用层和数据层这3个层次，按照业务类型可以分为联机分析类应用和联机事务类应用，结合云计算和分布式计算技术的特点，该电信运营商推进IT系统架构优化转型，须做好3类核心平台的综合规划，如图1所示，分别承载架构转型后的系统应用层、分析及查询应用、联机事务处理类应用，并由浅入深推进现有应用迁移。

一是云资源池，主要用于承载架构优化之后的应用服务器、Web服务器等；二是分布式数据库，主要是用于承载架构优化后的联机事务处理应用的数据存储；三是分布式基础平台，主要适用于联机分析查询处理应用的数据存储和计算。

根据当前技术的成熟度，建议非IOE架构的复杂计算处理不宜云化，核心数据库3—5年内延续小型机部署方案。整个IT系统数据库演进路径如图2所示：

其中，适合云化的应用包括：Web、应用服务器适合去IOE，采用云计算部署；请求处理型、重复性任务、海量数据统计/查询/分析适合分布式计算。这类数据处理符合分布式计算的特点，即重复计算、海量计算、实时性要求不高。

不适合云化的应用包括：核心系统数据库和复杂任务计算处理，这类数据处理由于实时性要求过高，不适合分布式计算，必须依赖Unix环境的商业应用，不适合迁移到X86架构上来。

3 IT架构规划和演进

3.1 IT架构整体规划

（1）云资源池

云资源池平台建设主要在现有云资源池上逐步进行扩展，以满足后续应用服务器的迁移改造。当前投资成本主要由VMware的license扩容以及刀片服务器扩容费用构成。云资源池平台系统架构如图3所示：

搭建云资源池所需软件如表1所示，建议云资源池在中远期试点并推广KVM、Xen等开源虚拟化软件，减少VMware等商业软件的使用，减少投资。

云资源池平台能够实现资源的集约管理、按需分配和动态调度，可以实现对每个虚拟机、物理机以及存储设备的监控和告警。

（2）Hadoop云平台

Hadoop是一个能够对大量数据进行分布式处理的软件框架，其充分利用集群的威力进行高速运算和存储，可以满足海量数据存储和大规模数据集（大于1TB）并行运算的需求。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。Hadoop平台硬件集群多采用性价比较高的PC Server，通过高冗余度来保证系统的可靠性，具有高可靠性、高扩展性、高效性、高容错性、硬件扩容以及维护成本较低等优点。Hadoop架构下的分布式文件系统、离线/实时并行计算已达到可用阶段，但仍需完善，目前非常成熟的可直接运营的产品仍然较少，需要高素质的专业人才以及专业的技术运营体系进行保障。

该运营商Hadoop平台的软件架构全部采用基于Hadoop的开源软件（包括SUN-JDK、SSH和Hadoop）。Hadoop云平台系统架构图如图4所示：

Hadoop云平台基于Hadoop各个开源子项目搭建而成，所需软件如表2所示。

Hadoop平台可以实现多租户管理，多应用隔离情况下共享资源，形成资源池，并为应用提供弹性资源需求。同时，通过对Hadoop的开发和界面集成，能够实现主机、平台、应用性能数据的集中收集、统一监控视图、统一集群性能图表和异常告警。

平台具备能力需要在现有管理软件上进行二次开发。一是通过购买已有成熟案例厂家的产品，二是组织人员进行开发和界面集成，考虑到人才培养以及投资成本，该电信运营商选择进行自主开发。endprint

（3）分布式数据库

分布式数据库是指使用较小的计算机系统，通过网络互相连接，共同组成一个完整的、全局的大型数据库。分布式数据库通过对数据库进行数据分片，完成一个大型数据库的分布式部署。分布式数据库多采用性价比较高的PC Server，通过分布式中间件进行数据路由、负载均衡、读写分离，屏蔽客户端影响，实现数据库的横向扩容。分布式数据库通过对传统数据库的分片划小，可采用PC服务器及MySQL等开源数据库集群替代传统IOE设备架构，适用于联机事务类应用处理，但商用技术尚不成熟。

分布式数据库建设有2种方案：一是全部采用开源软件进行搭建，二是采用其他厂家的商业化软件。由于开源软件只支持开源数据库，开发维护难度过大，并且数据库的改造与相应IT系统是强相关的，涉及到数据的分库分表，因此建议该运营商采用其他厂家的商业化软件。对于分布式数据库平台对应的具体数据库，可以根据迁入应用软件的特点采用商用或者开源的数据库进行建设。

分布式数据库系统架构图如图5所示：

分布式数据平台可以支持数据库分库分片的横向扩展，实现跨库操作、数据库路由、Sql解析、连接管理等。同时，能够实现主机/数据库性能数据的集中收集、统一监控视图和异常告警。

3.2 IT架构演进

针对各种技术的成熟度以及商用化进度，该运营商IT架构主要分为3个阶段进行演进。

近期架构优化主要围绕以下4个方面开展：

（1）推进IT系统Web及应用服务器X86化，除计费应用服务器外，其他系统全部迁移。

（2）以现有系统主要需求和问题为切入点，逐步剥离外围应用，实现核心系统减负。

（3）对于联机事务类应用，由于技术成熟度不够，前阶段暂不宜推进核心系统改造，也不适合规模化推进，因此建议以试点为主。

（4）对于联机分析事务类应用，目前技术已比较成熟，新建系统原则上不再采用传统架构，对于原有系统，选取几个重点应用场景进行架构改造。

中期架构转型工作主要围绕以下3个方面开展：

（1）在云资源池试点KVM、Xen等开源虚拟化软件，减少VMware等商业软件的使用。

（2）对于联机事务处理类应用，在一阶段试点的基础上规模推进，推进CRM域外围系统数据库开源化或分布式化。

（3）对于联机分析类应用，在一阶段实施的基础上，将ODS及相关应用迁移到Hadoop云平台。

远期架构转型工作在前期工作的基础上，完成适宜系统的迁移，架构优化工作主要围绕以下2个方面开展：

（1）将目前独立部署的PC服务器全面迁移到云资源池。

（2）对于联机事务类应用，适宜云化的商业数据库全部实现开源化或分布式化。

3.3 小结

预计经过几年的架构转型工作，该电信运营商将实现把大部分现网小型机服务器、存储器以及Oracle等商业数据库转化为基于非IOE的新技术架构的总体目标。随着小型机、商业数据库和磁阵空间逐年减少，维护成本将逐年下降。完成远期转型工作后，小型机将减少75%，商业数据库将减少83%，系统占用磁阵空间将减少77%，X86服务器将增加98%，维保总费用将减少52%。

4 结束语

电信运营商在数据量爆发性增长，而IT投资无法大幅增长的情况下，探索非IOE架构，选择外围场景进行云化，逐步实现核心系统数据及服务轻量化，将成为运营商在大数据时代提升自身竞争力的必由选择。

参考文献：

[1] IT架构设计研究组. 大数据时代的IT架构设计[M]. 北京： 电子工业出版社， 2014： 2-9.

[2] 刘刚，侯宾，翟周伟. Hadoop开源云计算平台[M]. 北京： 北京邮电大学出版社， 2011： 1-28.

[3] 陆嘉恒. 大数据挑战与NoSQL数据库技术[M]. 北京： 电子工业出版社， 2013： 135-143.

[4] 姜伟. 电信运营商云计算发展策略分析[J]. 电信技术， 2011（1）： 9-11.

[5] 陈杰. 虚拟化资源池的设计与实现[J]. 电信技术， 2012（5）： 53-55.

[6] 何廷润. 电信运营商云计算战略布局与对比分析[J]. 移动通信， 2012（3）： 15-18.endprint

（3）分布式数据库

分布式数据库是指使用较小的计算机系统，通过网络互相连接，共同组成一个完整的、全局的大型数据库。分布式数据库通过对数据库进行数据分片，完成一个大型数据库的分布式部署。分布式数据库多采用性价比较高的PC Server，通过分布式中间件进行数据路由、负载均衡、读写分离，屏蔽客户端影响，实现数据库的横向扩容。分布式数据库通过对传统数据库的分片划小，可采用PC服务器及MySQL等开源数据库集群替代传统IOE设备架构，适用于联机事务类应用处理，但商用技术尚不成熟。

分布式数据库建设有2种方案：一是全部采用开源软件进行搭建，二是采用其他厂家的商业化软件。由于开源软件只支持开源数据库，开发维护难度过大，并且数据库的改造与相应IT系统是强相关的，涉及到数据的分库分表，因此建议该运营商采用其他厂家的商业化软件。对于分布式数据库平台对应的具体数据库，可以根据迁入应用软件的特点采用商用或者开源的数据库进行建设。

分布式数据库系统架构图如图5所示：

分布式数据平台可以支持数据库分库分片的横向扩展，实现跨库操作、数据库路由、Sql解析、连接管理等。同时，能够实现主机/数据库性能数据的集中收集、统一监控视图和异常告警。

3.2 IT架构演进

针对各种技术的成熟度以及商用化进度，该运营商IT架构主要分为3个阶段进行演进。

近期架构优化主要围绕以下4个方面开展：

（1）推进IT系统Web及应用服务器X86化，除计费应用服务器外，其他系统全部迁移。

（2）以现有系统主要需求和问题为切入点，逐步剥离外围应用，实现核心系统减负。

（3）对于联机事务类应用，由于技术成熟度不够，前阶段暂不宜推进核心系统改造，也不适合规模化推进，因此建议以试点为主。

（4）对于联机分析事务类应用，目前技术已比较成熟，新建系统原则上不再采用传统架构，对于原有系统，选取几个重点应用场景进行架构改造。

中期架构转型工作主要围绕以下3个方面开展：

（1）在云资源池试点KVM、Xen等开源虚拟化软件，减少VMware等商业软件的使用。

（2）对于联机事务处理类应用，在一阶段试点的基础上规模推进，推进CRM域外围系统数据库开源化或分布式化。

（3）对于联机分析类应用，在一阶段实施的基础上，将ODS及相关应用迁移到Hadoop云平台。

远期架构转型工作在前期工作的基础上，完成适宜系统的迁移，架构优化工作主要围绕以下2个方面开展：

（1）将目前独立部署的PC服务器全面迁移到云资源池。

（2）对于联机事务类应用，适宜云化的商业数据库全部实现开源化或分布式化。

3.3 小结

预计经过几年的架构转型工作，该电信运营商将实现把大部分现网小型机服务器、存储器以及Oracle等商业数据库转化为基于非IOE的新技术架构的总体目标。随着小型机、商业数据库和磁阵空间逐年减少，维护成本将逐年下降。完成远期转型工作后，小型机将减少75%，商业数据库将减少83%，系统占用磁阵空间将减少77%，X86服务器将增加98%，维保总费用将减少52%。

4 结束语

电信运营商在数据量爆发性增长，而IT投资无法大幅增长的情况下，探索非IOE架构，选择外围场景进行云化，逐步实现核心系统数据及服务轻量化，将成为运营商在大数据时代提升自身竞争力的必由选择。

参考文献：

[1] IT架构设计研究组. 大数据时代的IT架构设计[M]. 北京： 电子工业出版社， 2014： 2-9.

[2] 刘刚，侯宾，翟周伟. Hadoop开源云计算平台[M]. 北京： 北京邮电大学出版社， 2011： 1-28.

[3] 陆嘉恒. 大数据挑战与NoSQL数据库技术[M]. 北京： 电子工业出版社， 2013： 135-143.

[4] 姜伟. 电信运营商云计算发展策略分析[J]. 电信技术， 2011（1）： 9-11.

[5] 陈杰. 虚拟化资源池的设计与实现[J]. 电信技术， 2012（5）： 53-55.

[6] 何廷润. 电信运营商云计算战略布局与对比分析[J]. 移动通信， 2012（3）： 15-18.endprint

（3）分布式数据库

分布式数据库是指使用较小的计算机系统，通过网络互相连接，共同组成一个完整的、全局的大型数据库。分布式数据库通过对数据库进行数据分片，完成一个大型数据库的分布式部署。分布式数据库多采用性价比较高的PC Server，通过分布式中间件进行数据路由、负载均衡、读写分离，屏蔽客户端影响，实现数据库的横向扩容。分布式数据库通过对传统数据库的分片划小，可采用PC服务器及MySQL等开源数据库集群替代传统IOE设备架构，适用于联机事务类应用处理，但商用技术尚不成熟。

分布式数据库建设有2种方案：一是全部采用开源软件进行搭建，二是采用其他厂家的商业化软件。由于开源软件只支持开源数据库，开发维护难度过大，并且数据库的改造与相应IT系统是强相关的，涉及到数据的分库分表，因此建议该运营商采用其他厂家的商业化软件。对于分布式数据库平台对应的具体数据库，可以根据迁入应用软件的特点采用商用或者开源的数据库进行建设。

分布式数据库系统架构图如图5所示：

分布式数据平台可以支持数据库分库分片的横向扩展，实现跨库操作、数据库路由、Sql解析、连接管理等。同时，能够实现主机/数据库性能数据的集中收集、统一监控视图和异常告警。

3.2 IT架构演进

针对各种技术的成熟度以及商用化进度，该运营商IT架构主要分为3个阶段进行演进。

近期架构优化主要围绕以下4个方面开展：

（1）推进IT系统Web及应用服务器X86化，除计费应用服务器外，其他系统全部迁移。

（2）以现有系统主要需求和问题为切入点，逐步剥离外围应用，实现核心系统减负。

（3）对于联机事务类应用，由于技术成熟度不够，前阶段暂不宜推进核心系统改造，也不适合规模化推进，因此建议以试点为主。

（4）对于联机分析事务类应用，目前技术已比较成熟，新建系统原则上不再采用传统架构，对于原有系统，选取几个重点应用场景进行架构改造。

中期架构转型工作主要围绕以下3个方面开展：

（1）在云资源池试点KVM、Xen等开源虚拟化软件，减少VMware等商业软件的使用。

（2）对于联机事务处理类应用，在一阶段试点的基础上规模推进，推进CRM域外围系统数据库开源化或分布式化。

（3）对于联机分析类应用，在一阶段实施的基础上，将ODS及相关应用迁移到Hadoop云平台。

远期架构转型工作在前期工作的基础上，完成适宜系统的迁移，架构优化工作主要围绕以下2个方面开展：

（1）将目前独立部署的PC服务器全面迁移到云资源池。

（2）对于联机事务类应用，适宜云化的商业数据库全部实现开源化或分布式化。

3.3 小结

预计经过几年的架构转型工作，该电信运营商将实现把大部分现网小型机服务器、存储器以及Oracle等商业数据库转化为基于非IOE的新技术架构的总体目标。随着小型机、商业数据库和磁阵空间逐年减少，维护成本将逐年下降。完成远期转型工作后，小型机将减少75%，商业数据库将减少83%，系统占用磁阵空间将减少77%，X86服务器将增加98%，维保总费用将减少52%。

4 结束语

电信运营商在数据量爆发性增长，而IT投资无法大幅增长的情况下，探索非IOE架构，选择外围场景进行云化，逐步实现核心系统数据及服务轻量化，将成为运营商在大数据时代提升自身竞争力的必由选择。

参考文献：

[1] IT架构设计研究组. 大数据时代的IT架构设计[M]. 北京： 电子工业出版社， 2014： 2-9.

[2] 刘刚，侯宾，翟周伟. Hadoop开源云计算平台[M]. 北京： 北京邮电大学出版社， 2011： 1-28.

[3] 陆嘉恒. 大数据挑战与NoSQL数据库技术[M]. 北京： 电子工业出版社， 2013： 135-143.

[4] 姜伟. 电信运营商云计算发展策略分析[J]. 电信技术， 2011（1）： 9-11.

[5] 陈杰. 虚拟化资源池的设计与实现[J]. 电信技术， 2012（5）： 53-55.

[6] 何廷润. 电信运营商云计算战略布局与对比分析[J]. 移动通信， 2012（3）： 15-18.endprint