广电网络省级IT系统平台设计与实现

孙述阳

摘   要：文章介绍了福建广电网络IT系统平台的建设情况及现状，深入分析机房网络拓扑和各业务平台架构，通过搭建VMware虚拟化平台和数据库一体机，整合现有的计算、存储、网络和数据库资源，提高资源利用率，节省机柜空间，缩短系统建设周期。同时，大数据平台的建设，为广电网络产品开发和市场营销提供可靠的数据基础。福建广电网络IT系统平台的建成，将为集团搭建一个实时、准确、高效、稳定的综合业务运营支撑平台，为业务发展提供有力支撑，帮助企业降低运营成本，提高运营收益。

关键词：小型机;存储;VMware虚拟化;数据库一体机;大数据

1    福建广电网络业务介绍

福建广电网络主要承担各级电视台以及付费频道节目信号传输，经营高清互动电视、广电宽带、电子商务、视频点播、阳光政务、远程教育等增值业务。为党委政府企业提供专线传输业务，开展“互联网+”业务，是广播电视网络运营商和节目集成商。福建广电网络IT系统平台已经过4期建设，目前主要包括核心交换区域、公网区域、地市业务对接区域、部门互联区域、银行互聯区域、boss系统集群、呼叫中心、统一支付平台、虚拟化平台、数据库一体机、大数据平台和异地备份等部分，形成一个小型的数据中心。数据中心承载了BOSS系统（业务运营支撑系统）、呼叫中心、统一支付平台、微厅、报表经分、工单维系、ESB总线（企业服务总线）、OA系统、财务系统、工程系统和大数据等B域、O域、M域和D域的信息化系统，为广电业务的发展提供可靠的保障。

2    网络架构设计

按照结构化、模块化、扁平化的设计原则，整体网络拓扑采用扁平化两层组网架构，从核心交换区直接到服务器接入，省去了中间的汇聚层，有利于简化网络拓扑，降低网络运维的难度，便于后期的虚拟化改造和扩展。

2.1  核心交换区域

核心交换区域采用两台H3C S7608XV虚拟化成一台逻辑设备，在S7608XV上部署两块防火墙板卡和两块负载均衡板卡，两块相同业务板卡之间采用VRRP协议实现冗余备份，如图1所示。防火墙板卡作为核心设备，通过3层与公网区域、地市业务对接区域、部门互联区域、银行互联区域、呼叫中心和办公网系统区域等业务区域互联;负载均衡板卡作为BOSS系统、支付平台等业务的网关设备，同时启用4或7层的负载技术实现系统应用的均衡调度。负载均衡板卡与防火墙板卡通过H3C S7608XV内部互联接口进行3层互通，实现业务区域之间的互联互通[1]。

2.2  公网区域

公网区域采用两台H3C S7606-V虚拟化成一台逻辑设备，S7606-V上部署两块负载均衡板卡、两块IPS板卡和两块VPN板卡，其中，两块负载均衡板卡之间采用VRRP协议实现冗余备份，两块IPS板卡集成了入侵防御和抗DDOS攻击功能，两块VPN板卡采用热备方式，用于日常远程维护。两台H3C S7606-V通过3层接口与核心交换区域互联，同时上联到两台天融信NGFW4000公网防火墙。两台天融信防火墙采用主备冗余方式，通过访问策略对内外网地址访问，电信联通出口进行相应配置和管理。在安全防护方面，后期增加了入侵检测系统、日志审计系统和堡垒机，并通过等保二级备案。

2.3  部门互联区域

本区域采用华三防火墙与集团各部门的业务系统进行对接，主要涉及电视直播平台、互动点播平台、宽带认证平台和办公网等。通过路由和域间策略对访问IP和端口进行控制，保证内部系统互联的安全性。

2.4  银行互联区域

本区域采用10 Mb/s或100 Mb/s传输专线链路，通过防火墙与银联、中国银行、工商银行、农信社和招商银行等各大银行进行支付业务对接。

2.5  地市业务对接区域

地市业务对接区域主要包含地市CA授权、营业厅和呼叫坐席专线互联业务。地市CA授权专线采用10 Mb/s的SDH传输链路，营业厅和呼叫坐席专线采用IP承载网上VPN链路。地市机房放置一台H3C S5530交换机，提供互联地址用于业务接入，省中心机房放置一台H3C S7606，用于汇聚各地市流量，上联到核心交换区域的防火墙。各地市专线业务在防火墙上分域控制，进行域间策略控制，同时，通过入侵检测系统对地市专线流量进行镜像分析，监控异常攻击行为，确保该区域的安全性[2]，如图2所示。

3    业务平台设计

机房业务平台整体遵循高可用、低能耗、易管理和易扩展的设计原则，主要用于支撑业务域、运营域、管理域和数据域的业务系统。随着云计算技术的发展，除了核心业务系统、ORACLE数据库和大数据HADOOP平台外，其余业务系统逐步迁移到虚拟化平台。

3.1  BOSS系统集群

BOSS系统作为广电网络核心业务系统，为营业厅提供模拟电视、数字电视（标、高清）、互动电视和宽带等全业务流程受理，构建满足业务运营需要的核心功能和统一客户数据，提供一致客户服务和客户体验。BOSS系统包含客户关系管理系统、账务管理系统、资源管理系统、产品管理系统、服务开通系统、统一授权平台、系统管理和报表管理等子系统。系统采用“Web+应用+数据库”分离集群部署方式，整体架构如图3所示，两套HP C7000刀框部署两套集群应用，通过负载设备实现4层或7层应用负载均衡。4台IBM P750小型机通过POWERVM虚拟化技术，用于搭建ORACLE RAC集群、DG库、培训库、测试库、账管和计费应用等。两套V7000存储分别存放生产库和DG库数据，存储层面做7天快照，系统层面定期做RMAN备份并上传到FTP服务器，保证数据的安全性。

3.2  呼叫中心集群

呼叫中心主要负责全省广电客户服务工作，平台支持多种交互方式，为客户提供全方位、多渠道的业务服务，涵盖业务咨询、故障申告、投诉处理、业务受理、客户维系（回访）、电话营销、市场调查等，成为广电网络为客户提供综合性服务的无形窗口。两台汇聚交换机CE3000和4台接入交换机S5500通过虚拟化技术形成3台逻辑设备，两套华为E9000刀框、一套华为S2600存储、一台U2990排队机和数据库服务器分别接入到S5500交换机，如图4所示。系统采用主备模式和集群负载模式搭建，网络采用双链路互联，保证业务的可靠性。

呼叫中心包含话务系统平台、业务系统平台和坐席区域平台。话务系统平台通过电话方式作为主要渠道，由电信运营商提供40条E1中继线路接入，最大支持1 000路并发呼叫，包括语音排队机U2990、计算机电话集成（CTI）、互动式语音应答（IVR）等话务核心控制系统，主要部署在华为E9000刀框、U2990排队机和S2600存储上。业务系统平台包含客户信息管理、工作流管理、知识管理、报表管理等，为各业务受理提供支撑，主要部署在虚拟化平台上。坐席区域平台采用PC电脑+软终端+耳麦的接入方式[3]。

3.3  统一支付平台

统一支付平台通过与银联、公有银行、商业银行、支付宝和微信等支付渠道的对接，为广电业务提供统一支付体系。整体分为业务受理服务（包括TV网厅、PC网厅、手机网厅、微信网厅等多种接入渠道）、对账结算、支付平台和运营管理等子系统。统一支付平台采用“Web+APP+数据库”的分离集群部署方式，两台DELL R420服务器搭建外网Web应用，两台DELL R420服务器搭建内网Web应用，4台DELL R420服务器搭建APP应用、接口应用和MemCache应用，3台DELL R820服务器和两套DELL MD3600F存储搭建ORACLE 11g RAC和DG库。

3.4  虚拟化平台

机房采用VMware vSphere 6.5来构建虚拟化架构平台，实现计算、存储和网络的资源池化，并以此作为私有云和公共云的基础。目前虚拟化平台包含14台高性能X86服务器、4套存储、两台16 Gb SAN交換机、两台千兆交换机和两台万兆交换机。其中，千兆交换机用于ESXI主机的管理网络，万兆交换机用于业务网络和VMkernel网络，两套华为5300双活存储用于提供重要存储资源，两套DELL SC8000和SC4020主备存储用于提供非重要存储资源，4套存储总容量约200 TB，如图5所示。VMware虚拟化平台目前承载了BOSS系统、呼叫中心、工单系统、报表应用、实名认证系统、ESB总线、大数据应用、掌上营销、OA系统、人资系统和工程系统等业务系统，共计150多台虚拟机，为新系统的快速上线提供了坚实的硬件平台保障。

3.5  数据库一体机

数据库一体机由计算节点、存储节点以及分布式存储管理软件组成，节点之间通过高速InfiniBand网络互联，各节点均为x86架构服务器。通过二期建设数据库一体机共有10个节点，其中，两个计算节点搭建ORACLE 11g，两个计算节点搭建ORACLE 12c，6台存储节点每3台做一个分布式存储资源池，如图6所示。存储节点配置SSD固态盘、PCLe闪存卡和SAS硬盘，通过分布式存储管理软件，单台节点可以达到20万IOPS的性能。数据库一体机整合了业务系统的ORACLE数据库，包括报表经分库、大数据应用数据库、BOSS历史数据库、自助取数库和人资库等，云化数据库资源，便于DBA的日常运维和管理。

3.6  大数据平台

大数据运营支撑平台通过采集用户的直播、点播和宽带上网数据，结合3户信息，进行用户行为分析，为广电网络产品开发和市场营销提供可靠的数据基础。如图7所示，整体硬件平台包括HADOOP集群、数据采集、应用集群和数据库。星环HADOOP平台采用X86服务器搭建，包含一个主控节点、一个备控节点和12个计算存储节点，实现对采集的数据进行分布式计算。数据采集区域用于临时存放各业务系统传输过来的数据。大数据数据库搭建在数据库一体机上，与报表经分库共享数据。应用集群采用虚机部署，包括用户行为分析、掌上营销、水晶球、大屏展示等系统。

3.7  异地备份

目前在泉州搭建了BOSS系统数据库异地灾备平台，采用IBM P740小型机和IBM V3700存储的传统架构搭建DG库，通过1 Gbps的传输专线将福州生产库的数据同步到泉州。同时，在泉州搭建FTP服务器，将重要业务系统数据备份到泉州，确保数据的安全性。

3.8  监控平台

监控平台主要包含icinga监控软件、华三IMC网管和明御安全预警平台。Icinga软件用于监控主机、应用和数据库的性能和状态。华三IMC网管用于监控网络设备的状态和告警。明御安全预警平台用于监控地市专线和公网出口的异常攻击行为。

4    结语

福建广电网络省级IT系统平台的建成，将为全省搭建一个实时、准确、高效、稳定的基础平台，为完成业务转型及业务拓展提供有力支撑，帮助企业降低运营成本，提高运营收益。满足未来有线业务发展、运营管理、科学决策的迫切需要，为实现“管理架构集团化、产业发展多元化、经营运作市场化”的战略思想奠定基础，是有线行业迈向科学化、信息化运营管理的里程碑，它不仅能为业务体系的精细化管理提供有力保证，更将大大提高业务应变能力与市场竞争力，为全面提升有线行业多业务运营和管理水平、客户服务水平奠定坚实的基础。

[参考文献]

[1]谭文辉.利用VMware实现数据中心服务器虚拟化[J].舰船电子工程，2008（6）：162-165.

[2]奥斯本.深入理解Oracle Exadata[M].黄凯耀，张乐奕，张瑞，译.北京：电子工业出版社，2012.

[3]蔡斌，陈湘萍.Hadoop技术内幕深入解析Hadoop common和HDFS架构设计与实现原理[M].北京：机械工业出版社，2013.