“两型社会”先导区高校群大数据中心构建研究*
2010-08-15石良武
石良武
(湖南商学院,湖南 长沙 410205)
“两型社会”先导区高校群大数据中心构建研究*
石良武
(湖南商学院,湖南 长沙 410205)
在探索“两型社会”综合配套的改革实践中,长沙做出了“建设大河西,打造先导区”的部署。为高起点、高标准规划建设具有特色和示范意义的“两型社会”先导区,努力培养创新应用型人才,需要整体规划和布局信息化网络设施。构建大网络、打通微循环,先导区高校群大数据中心的构建符合资源节约理念,势在必行。文章就先导区高校群大数据中心服务范畴、标志性建设特点、基础架构以及安全需求等方面进行了研究。
两型社会;先导区;高校群;信息化;大数据中心
长株潭(长沙、株洲、湘潭)城市群获批全国资源节约型和环境友好型社会(简称“两型社会”)建设综合配套改革试验区。为高起点、高标准规划建设具有特色和示范意义的“两型社会”先导区,努力培养创新应用型人才,需要整体规划和布局信息化网络设施。构建大网络、打通微循环,先导区高校群大数据中心的构建符合资源节约理念,势在必行。大数据中心是在安全策略统一部署、应用设施和数据资源统一运维基础上数据大集中而形成的集成IT(Information Technology:信息技术)应用环境,是数据计算、网络、存储的中心。第二代中国教育和科研计算机网(简称CERNET2)主干网的建成和开通,在全国高校之间架起了一座纯IPv6(Internet Protocol Version 6:下一代互联网协议)的立交桥。当今网络基础技术的快速发展,为先导区高校群大数据中心的建设提供了强大的支撑和动力。
一、先导区高校群大数据中心服务范畴
先导区高校群大数据中心的构建,将基于CERNET2开放标准的 IP(Internet Protocol:网际协议),以功能分区、网络分层和服务器分级为特点,通过多种高可用技术和良好的网络设计,完成对大河西各高校网络资源的整合,实现数字化图书馆、跨校选课、网上统考、学分互认、学术交流、实名论坛等系统和共享数据资源的可靠运行和有效管理,保证教学科研水平的稳步提升及可持续性发展,降低IT建设的TCO(Total Cost of Ownership:总体拥有成本)。
二、先导区高校群大数据中心标志性建设特点
1.三网一体化
依靠融合增强型以太网(CEE)技术构建基于统一交换架构的先导区高校群大数据中心,将实现计算网络、存储网络和通信网络的三网融合,使数据中心在转发层面实现统一,性能瓶颈问题将不再出现,并为资源虚拟化做好准备。
2.资源虚拟化
目前虚拟化技术正从计算领域虚拟化过渡到数据中心整体虚拟化。先导区高校群大数据中心建设要实现计算、存储和网络资源内部的虚拟化以及三种虚拟资源之间的联动,从而让人们像使用水电一样获得大数据中心内部的各种资源。
3.管理自动化
当虚拟化技术在大数据中心实施后,高校群大数据中心会涌现出大量的虚拟资源,内部资源还会随着外部的请求而实时动态地变化,显然通过单纯的增加人力是不可能解决问题的。将先导区高校群各内网、网站、公网系统有机科学地合并成为一个功能强大、权限清晰、快捷实用的现代化网络,可实现先导区高校群大数据中心在任务调度、补丁管理、数据库自动化、动态容量管理、自动化诊断、配置与发行管理等方面的全自动管理。
三、先导区高校群大数据中心基础架构
先导区高校群大数据中心数据集中密度高,服务器存储数量大,故障影响范围扩大化。因此,先导区高校群大数据中心基础网络架构将直接面临持续的严格挑战。
1.超高带宽设计
以Google Earth(谷歌地球:在线电子地图)、网真系统(一种新技术,它为人们和各个场所以及工作生活各个方面的交互创造了一种独特的面对面体验,通过结合创新的视频、音频和交互式软硬件组件在网络上实现了这种体验)、Youtube(影响力颇广的在线视频服务)、iTunes(一个供 Mac和 PC使用的免费应用程序,能播放所有的数字音乐和视频、同步iPod上的资料、下载音乐和更多内容,且全年无休)、Facebook(只对高校学生开放的网站,它严格限制注册,需要在指定的大学IP地址范围内上网才能注册facebook.com帐号)、移动视频(当前运行在移动通信网络上,并面向未来3G移动网络开发的一种具有娱乐、传媒、商务多重功能的移动流媒体视频服务系统,其受众明确、表现多样、双向互动、时空无限等个性均表现出“第五媒体”的典型特征)等为代表的音频流、视频流、社交网络、多媒体、P2P(peer-to-peer:对等联网)等业务正以惊人的年增长速度发展,对网络提出了近乎无止境的带宽需求,让我们看到一个超宽带时代正在来临。先导区高校群大数据中心的应用是密集的,流量特征复杂,大量的终端用户访问,不仅带来密集的前置服务器流量吞吐,同时也引发应用服务器之间的数据交换、信息同步,即使平均的业务流量不会很高,但是在每一个吞吐瞬间,进入网络的流量都会以交换系统的线速能力在网络中流转,而高密的服务器布局会进一步加速基础网络上的流量冲突,先导区高校群大数据中心交换架构中承载的应用将如同浪涌。高带宽高性能成为大数据中心基础网络建设的必然准则。先导区高校群大数据中心的构建,将开启40G/100G的超高速纪元。
2.硬件化流量管理
先导区高校群大数据中心构建大容量缓存匹配密集的硬件调度队列,将调度能力扩展到上万个队列,一旦使上层应用数据流进入相应的硬件队列,则可实现大范围(远超过8个队列)的大数据中心级业务调度,从而在交换平台上提供硬件化的流量管理能力。
3.分布式缓存规划
先导区高校群大数据中心将改变传统交换系统的出端口缓存方式,采用分布式输入缓存架构。传统出端口缓存方式,整个系统的业务突发容载能力仅由出端口可分配的缓存大小决定,因此容量是固定的。流量达到一定的突发界限,即瞬时突发数据量超过了出端口缓存大小,整个系统便开始出现丢包。分布式缓存技术则采用区别于传统方式的架构,正常转发过程中,出端口是以万兆线速对外转发数据的,当出现多个万兆到一个万兆的突发流量即将超万兆拥塞时,输入端口缓存根据存储限额开始将突发流量缓存到本地并停止超过出端口速率部分的数据发送,同时出口仍然以万兆线速发送瞬时的突发流量。当出端口解除准拥塞状态后,输入缓存将保留的数据进行正常转发。整个分布式缓存机制由硬件进行分布式精确调度。
4.数据中心级核心交换与服务调度
先导区高校群大数据中心网络建设规划应是融合的统一交换架构,在一个交换平台上有效支撑业务的前端访问、服务器高速互联、存储访问。随着万兆、40G/100G技术的深入发展和终端万兆接口技术的成熟,以太网将成为服务器互联计算承载的主流平台。
对于先导区高校群大数据中心密集的应用环境,核心基础网络平台的应对故障快速恢复能力己经不是秒级指标能够满足的,快速收敛目标应设定在毫秒级,要以毫秒级恢复能力作为先导区高校群大数据中心的故障恢复指标。
四、先导区高校群大数据中心安全需求
随着IT应用程度的日益提高,先导区高校群大数据中心对于用户的价值将与日俱增,相应的安全建设规划也应同步进行。另外,信息安全等级保护、ISO27001(信息安全管理认证)等标准也对大数据中心的安全建设提出了技术和管理方面的要求。
1.校园网安全隐患
(1)面临的主要威胁
利用恶意代码或木马程序,对网络和操作系统以及应用系统进行攻击;有关内部人员未经授权接入外部网络、下载或拷贝软件和文件、打开可疑邮件时将病毒引入;攻击者利用应用系统、操作系统中的后门漏洞攻击系统;授权用户操作失误也会导致系统文件被覆盖、数据丢失或不能使用。
(2)安全建设规划
先导区高校群大数据中心的安全建设规划应确保对人员行为进行控制和规范并具有:对网络、系统和应用的访问进行严格控制的能力;检测、集中分析、响应、阻止对网络和所有主机的各种攻击的能力;对数据、文件或其他资源的访问进行严格控制的能力;网络边界完整性检测能力;恶意代码检测、集中分析、阻止和清除能力;防止恶意代码在网络中扩散的能力;对恶意代码库和搜索引擎及时更新的能力;切断非法连接的能力;防止未经授权下载、拷贝软件或者文件的能力。
(3)技术路线
通过在先导区高校群大数据中心前部署应用层防御,保证对 URL(Uniform Resource Locator:统一资源定位)请求的检测、实时阻止的能力,整合攻击事件日志进行安全分析,找出攻击源并对整网的安全设施进行调整;在网络核心部署防火墙进行访问控制,基于最小授权原则保证对网络、系统和应用的访问进行严格控制;将OA(Office Automation:自动化办公)互联网出口和大数据中心互联网出口相分离;所有终端都需要保证以正版杀毒软件进行全面监控,开启杀毒软件自动更新功能,保持对最新病毒的防御能力;保证终端及时打补丁;通过对终端的检查,杜绝非法内联和外联,保证边界完整性;通过全网联动,实现切断非法行为的功能,使得木马等程序不能和外界进行通讯,保证机密信息不会外泄。
2.校园网信息安全
(1)面临的主要威胁
利用各种工具获取身份鉴别数据,并对鉴别数据进行分析和解剖,获得鉴别信息;未经授权访问网络、系统,或非法使用应用软件、文件和数据;内部人员利用网络技术或管理漏洞,未经授权修改重要系统数据或系统程序;利用网络结构设计缺陷旁路安全策略,未经授权访问网络。
(2)安全建设规划
先导区高校群大数据中心的安全建设应规划有识别和记录对数据库操作的能力,包括插入、删除、存储等操作,并精确到SQL(Structured Query Language:数据库查询和程序设计语言)语句;有保证数据库被合法人员访问的能力。
(3)技术路线
实行先导区高校群大数据中心旁路部署:对数据库的访问流量进行镜像,能够在数据库感知不到的前提下完成关键数据库的审计。详细记录访问数据库的用户信息,包括用户访问时间、下线时间、用户名、访问服务器的IP地址以及用户的IP地址信息;记录下用户的所有操作。
3.网络服务品质保证
(1)面临的主要威胁
利用分布式拒绝服务攻击等拒绝服务攻击工具,恶意消耗网络、操作系统和应用系统资源,导致拒绝服务;缓慢的网络响应速度和不良的应用性能制约生产力提升,并有损于用户、开发商和高校群合作伙伴间的合作关系。
(2)安全建设规划
先导区高校群大数据中心的安全建设应具有:合理分配、控制网络、操作系统和应用系统资源的能力;限制网络、操作系统和应用系统资源使用的能力;检测、集中分析、响应、阻止对网络和所有主机的各种攻击的能力;降低服务器协议处理、减轻扩容压力的能力;在不同的出口链路之间平衡出入流量的能力;在不同的站点之间平衡流量的能力;在不同链路中基于一定算法进行最优选择的能力;在带宽资源成为瓶颈的情况下,提高响应速度的能力;在服务器之间平衡流量的能力。
(3)技术路线
先导区高校群大数据中心DDoS(Distributed Denial of Service:分布式拒绝服务)攻击防御方案:在防火墙、IPS(In-Plane Switching:平面转换)等设备上面完成防御;部署专业的抗DDoS工具,平时旁路部署,镜像流量进行分析,一旦发生攻击,通过路由进行引流清洗;通过在出口链路处部署链路负载均衡技术,对出入方向的流量,基于最小响应时间等实现方式进行处理;通过GSLB(Global Server Load Balance:全球负载均衡技术)实现不同数据中心之间的负载均衡,保证用户对于站点的访问最优;通过在数据中心服务器集群前部署服务器负载均衡,保证集群的整体处理能力最优;通过硬件实现TCP(Transmission Control Protocol:传输控制协议)处理、SSL(Secure Sockets Layer:安全套接层协议)卸载和TCP快启动等协议优化需求,降低服务器的 CPU(Central Processing Unit:中央处理器)占用率;通过基于GZIP(GNU zip:GNU自由软件文件压缩程序)等的数据压缩和解压缩,保证用户最短的等待时间。
4.网络安全建设绩效
(1)面临的主要威胁
因先导区高校群大数据中心的构建而产生的服务流量变化导致安全策略部署需要调整;服务种类变化导致安全部署需要调整;全网设备管理存在门户不同、管理分散现象,导致定位问题缓慢;缺乏整体的IT规划,缺乏有效的技术手段以制订IT规划与决策。
(2)安全建设规划
先导区高校群大数据中心的安全建设应具有:对网络、系统和应用进行统一管理的能力;预测业务流量变化的能力;保证在业务变化时安全策略部署不影响其他业务的能力;提供安全管理手段,有效处理网络、系统和应用的安全事件,一站式定位网络安全问题的能力。
(3)技术路线
通过网络流采集协议(NetFlow、NetStream、CFlowd、sFlow、IPFIX等)技术,从多角度对网络流量进行统计分析,如应用流量分析、节点(包括源 IP、目的 IP)流量统计、基于接口的总体流量趋势分析、会话流量等多种信息的分析,实现网络流量透明化,提前对亟需进行的业务调整做出准备。
采用虚拟化技术把网络资源化,业务增删时,通过虚拟防火墙等虚拟化技术保证每种服务都能资源独享,并且不会对其他服务造成影响;把网络资源简单化,如通过IRF(Intelligent Resilient Framework:智能弹性架构)等技术,实现服务的快速部署。
把网络内的所有资源作为嗅探器,通过收集网络、安全、主机、应用、存储的各种日志,以及对不同格式的日志信息进行归一化存储,保证全网的安全事件能够在同一个平台进行整合;采用数据挖掘技术提取有效信息,并通过安全拓扑等图形化形式进行直观表达。
通过对 SNMP(Simpl e Network Management Protocol:简单网络管理协议)、TR069(广域网管理协议)等的支持,保证对网络资源的统一管理;通过网络认证、审计等技术手段,以用户为本,灵活分配IT资源;基于业务需求,进行IT资源分配保证。充分考虑IT环境组成的三个要素:人、服务、资源,将各类资源进行整合并实行统一管理,使得IT系统实现端到端的全过程管理。
五、结束语
“两型社会”先导区高校群大数据中心构建的创新点在于:具有充分的开放性,面对先导区高校群提供资源与技术服务,而且尽可能提供免费服务;重视和积极开展科学普及工作,向全社会介绍“两型社会”先导区高校群在教学科研上对国家和社会的贡献和影响,提高大河西高校群的社会可接受性;积极开展网上教育工程,以促进先导区高校群的人才培养工作。
[1]陆荣秀,徐征.大数据中心的数据备份策略及实现[J].科技情报开发与经济,2004(11):272-274.
[2]姚书怀,刘兴伟.大型数据中心海量数据存储解决方案的设计[J].西华大学学报(自然科学版),2004(S1):27-30.
[3]汪益民,武咸春.建立数据中心,设计统一数据平台[J].电脑知识与技术(学术交流),2007(3):881-882.
[4]矫毅.从安全的角度分析数据中心建设[J].IP领航,2009(4):32-36.
[5]韩鲲等.基于数据中心的数据仓库结构设计[J].信息安全与通信保密,2007(12):78-82.
[6]王操等.基于XML和虚拟数据中心的网上城市数据集成[J].计算机工程,2003(21):61-63.
TP393.02
B
1673-8454(2010)03-0026-04
长沙市科技局软科学项目“两型社会建设发展理论及应用研究③两型社会先导区高校群大数据中心构建研究”(K0802190-41);应用型本科院校“十一五”国家课题“我国高校应用型人才培养模式研究”立项项目“高等学校信息资源优化整合与教学网络平台研究与建设”(FIB070335-A8-17)。
(编辑:杨馥红)