智慧城市数据中心建设研究
2023-02-24王晶晶WANGJingjing
王晶晶WANG Jing-jing
(中电桑达电子设备(江苏)有限公司,南京 210000)
0 引言
智能城市的建设,数据科学与技术发挥着重要作用。通过高效的网络建设,可以实现信息资源的交换、汇集,并利用现有的智能基础设施为有关单位提供信息服务。自六十年代至今,数据中心经历了三个阶段:计算中心、资讯中心、服务中心。维基百科把它称为“一个数据中心,是一个非常复杂的捐赠。”它不仅仅包括电脑、系统,也包括数据通讯、环境控制、监控及各种安保设备。数据中心在各行各业都扮演着举足轻重的角色,为客户提供视频、数据挖掘、高性能计算等服务。随着云计算技术的飞速发展,信息技术的应用与共享也在发生变化。云计算是传统计算机和网络技术发展的结果,包括网格计算、并行计算、分布式计算、虚拟化和负载平衡等,它是一种全新的计算与资源使用方式。在云计算的背景下,数据中心从最初的数据存储到基于服务和应用的信息技术。在海量的数据服务中,只有微软Azure、亚马逊EC2、谷歌搜索引擎、Facebook 等能够提供海量的云计算服务。
1 智慧城市数据中心组成
1.1 硬件基础设施
智慧城市的资料处理系统由电脑网路、伺服系统储存、负荷平衡等组成。在此基础上,以IRSAN 为核心的基于LAN 的系统,具有快速、安全、方便等特点。首先,对用户基础数据、主题数据和协作数据进行监控和过滤,以达到合理、高效的局域网、服务器存储、负载平衡等功能;其次,对相关的硬件进行了测试和校验,对服务器的存贮进行检验,并对系统的负荷进行测试,最终完成系统的装入,完成智能城市信息系统的每日运营与维修工作。如图1 所示为智慧城市数据规划中心,合理设计智能数据中心,将实际需求、现状评估、设计实施、运行维护等多个要素结合在一起,设计出指标和参数,实现对数据中心的网络服务器的实时监测,为数据中心工作提供了良好的保障。
图1 智慧城市数据规划中心
1.2 中心数据库
智慧城市的实质是对大量的信息进行智能化加工、收集、存储、分类、重组和再使用。从“经验治理”向“科学治理”转变,是智慧城市建设的一个重要手段。数据存储技术是数据存储、建模、分析等技术的关键技术,可以将大量数据以永久的形式存储和分析;通过对数据模型的重构,建立了雪花、星型等数据的解析逻辑,实现了多维数据的高效整合。通过使用数据模型技术,可以将多维数据的不同维度与实际的表格进行直接或间接的联系;它能够分析和建模数据,为实时分析、统计分析等工作提供了强有力的支持。
1.3 大数据中心
城市数据的组织方式有很多种,基于地图的空间结构是其中一种。都市生活节奏的加快,城市数据的时间尺度也随之变化。因此,时空的多维性成为城市数据研究的又一热点。在对数据进行分析和应用时,必须充分考虑数据的时空演化特征,并从多个角度进行数据之间的联系分析。
智慧城市的建设中,需要的资料主要有:互联网应用、行业应用、政府信息等。智慧城市建设通常采用政府、行业管理、大型企业等多种形式。因此,基于政府内网和外联网,充分利用数据交换平台,分析挖掘数据,建立一个支持各种智能系统的统一数据中心,实现数据之间的数据处理,为用户提供全面的数据服务和数据安全,见图2。
图2 智慧城市的数据中心拓扑结构
2 智慧城市数据中心建设
2.1 建设目标
智能城市数据中心的建设目的是建立一个共享和监控中心,实现数据采集、共享和监控等方面的应用。因此,在建设智慧城市时,应从四个层面展开:
②加强对大数据应用于城镇管理。在市政领域,包括运营方式、治安、电话、交通密度、突发事件处理、环境保护等;
③通过“生态孵化”促进产业发展,提高产业品质。通过对工业公司进行战略布局,通过科技孵化、人才培养等多方面的支持,最终达到产城融合、工业落地、资源聚集和经济发展的目的;
④要把群众对公共服务、交通和医疗等生活服务的需求结合起来,做到全面的智慧提升,主动服务,真正提升群众的满意度。
2.2 建设思路
数据中心的建设是一项既有软体又有硬体的综合系统。首先要掌握各个产业的经营需求,全面地对各个产业的发展现状及现实需求进行剖析,并依据信息需求,对各类公司进行归类,作出相应的规划。其次,数据中心的管理员(数据交流平台)设置数据中心的使用权,对数据进行管理;然后根据自身能力,将需要的资料从标准的数据中心中抽取出来,进行同步或异步的更新,再交给数据中心进行处理。
在网络体系的设计上,采用了以二叉树为基础的树型结构,以纵向扩展为基础,提高了系统的整体功能。但是,这种网络拓扑很难解决传统的树型网络在核心根节点中产生的海量信息流,导致网络的运行效率受到了极大的制约;采用高性能大容量的交换器,仅在一定范围内减轻负荷,无法从根源上解决网络的过载和热点问题;由于网络的频宽限制,采用高接口的高性能器件会产生大量的器件开销,使得大型的数据处理系统难以实现。因此,基于高带宽、低延迟、高可靠性、低运行开销、易于管理和管理的特点,数字中心系统中出现了许多新的拓扑。Fat-Tree 解决了热点问题,即向中心交换器增加了“粗”的连接,但是它仅限于中心交换机的数量;VL2 解决了网络中的热点问题、提高了系统的可扩充性,但其线路较多;DCell 架构可以很好地满足业务扩充,但其业务流的分配不均衡,且扩展的颗粒尺寸较大;BCube 架构以一个以数据为基础的容器为基础,它与当前“Data Center in aBox”的理念相一致,具有很好的性能,不过需要更多的扩充。
采用以太网技术、存储网技术和高性能计算网络技术,可以减少网络运营费用、减少操作复杂度、增强网络的安全可靠性。目前,支撑三大网络融合的技术有FCoE、DCB 和TRILL 技术。FCoE 是指利用FCoE 将FC 的信号传送到以太网,使I/O 的界面集成化,降低了数据处理的复杂度。数据中心(CEE)是实现“三网融合”的重要技术之一。它的关键在于使以太网具有低延迟、低延迟、可扩展性、可扩展性和FC 的可靠度。DCB 包含如下的一些标准:IEEE802.1 Qbb、CN (CongestionNotification)、IEE802.1 Qau、增强的 Transmision Select(ETS)、SPB 最小径桥(IEE802.1 aq)等。TRILL(Transmission Controller)是IETF推动的第二阶段,其关键问题是要克服STP 规模、拓扑重构等问题。TRILL 是一种以最少路由为基础的多跳协定,它的功能是将网桥与路由的优势结合起来,并在第二层路由中引进了链路状态路由技术,从而增强了对多路和单节点传输的能力。
2.3 建设方案
2.3.1 核心软硬件设施的构建
引黄灌区大部分农户有分散的手压井,由于部分群众饮水安全意识不强,集中供水工程建成后,个别村庄不愿意接自来水,影响工程效益发挥,存在工程实际用水量达不到设计供水量50%的现象。中部干旱带和南部山区大部分地区有分散的水窖,集中供水工程建成后,存在丰水季节群众不用水,而枯水季节或枯水年份用水紧张的现象,部分农村饮水工程成了应急工程。如何调节集中供水工程和分散供水工程供需矛盾,让其发挥最大效益,值得进一步去探讨研究。
第一,要包括目前的数据标准、交换标准、平台标准等;第二,要有网络、存储器、服务器、开关、传感器等硬件架构;第三,包括实体、网路、资料、应用、平台等。其中的安全条款主要有:实体、网路、资料、应用程式、平台等。建立一个协调高效的软件环境,保障数据中心的安全、稳定的工作环境。
2.3.2 数据的采集
通过数据交换平台、采集适配器、ETL 软件等采集接口,实现了ODS 数据库的数据采集和非结构数据的采集。
2.3.3 数据的处理
建立运行管理平台、数据管理平台等软件平台,实现对系统的关键数据、业务数据统一的标识和加密,实现全生命周期管理和过程监控,实现数据管理、入侵检测、身份认证等功能。数据加密、访问控制和安全审计是确保数据安全可靠的重要措施。
2.3.4 合并
建立了相应的数据交换平台,在此基础上,开发了多种业务接口,及时发布各类主要数据和业务数据,并与其他智慧城市的业务系统对接,实现了信息资源的最优化和最大限度的利用。
2.3.5 数据的处理与应用
根据智能城市决策分析的需要,收集、整理、建模、提取、分析等多种信息,以满足智能管理、控制、传输等方面的改进,提高智能决策和反应能力,有效促进城市管理。智慧城市数据中心的建成,进一步提高了城市的智能决策和快速响应能力,为城市整体管理做出了重大贡献。
随着时间的推移,网络的不断发展,人们的生活、学习、工作都变得更加便捷。在智能交通系统中,运用基于传感器、监控视频、GPS 等技术的大数据技术,为用户提供最优的出行路径。同时,通过对交通流量的统计,可以有效地分析和处理交通堵塞。大数据推动着城市的规划与建设。比如,在政府一级,可以通过数据为大学提供专业支持,既能加强政府间的协作,又能增强政府在城市管理中的作用。
3 云计算时代的城市数据中心建设展望
3.1 建设背景
云计算是一种将网格、分布式和并行计算相结合的技术,它是当前社会和经济发展的一种业务方式。云计算依赖于数据中心,没有了云数据,云计算将不能使用企业或单位的数据来制定产品的组织规则。从本质上说,云数据能够对各个企业、事业单位的数据进行采集,并将各个领域的数据资源集中起来进行运算,使其具有较高的代表性,对提高其应用价值具有重要意义。为了提高计算的安全性和可靠性,云计算在实际应用中需要满足分布式的数据处理需求。对使用者而言,每天消耗的资料都能被安全地储存在云端资料服务中,而不用担心资料遗失造成的个人资料泄漏。云计算必须对用户产生的数据进行去敏感处理,才能将其直接用于企业的生产和运营,从而避免用户的个人信息被侵犯。这种集约化的数据处理方法,不但提高了数据资源的使用效率,而且从根本上改变了数据的本质,使用户的数据资源具有更高的指导意义。
3.2 数据中心建设存在的问题
随着云计算技术的不断发展,在数据中心的建设上也遇到了一些问题,这些问题已经严重地制约了云计算的顺利发展和数据中心的建设。在云环境下,数据中心的建设面临着以下几个问题:首先是网络的架构问题。传统的三层结构会产生较大的时延,从而极大地影响到存储过程,所以必须对其进行改进和优化。第二,由于传统的数据中心系统的建设,导致了数据和存储网络的分离,从而限制了数据中心的资源集成,加快了其发展。第三点是虚拟化。为了更好地利用虚拟设备,提高数据中心硬件资源的利用率,本文提出了一种新的虚拟技术。第四点,就是安全性。云计算技术的不断发展,使得数据中心业务越来越不稳定,越来越开放,越来越安全。在当前的数据中心建设中,如何保证安全稳定的运行是一个迫切需要解决的问题。第五,过度使用能量。由于云技术的引进,大大增加了数据中心的能耗。为了促进数据中心的持续健康发展,需要寻找一条高效、绿色、节能的技术路线,以保证新数据中心的建设。
3.3 基于SDN 服务链的云技术数据中心
SDN 体系结构是SDN 的基础架构,是应用层、控制层和底层结构层三层结构。应用层是最上层,它包含了SDN的不同的服务,所以它还包含了许多与业务有关的应用逻辑。控制层是一种以SDN 为核心的中间层,它可以与底层的Open Flow 进行通讯,它的主要作用是调度数据面的资源,完成网络的拓扑,以及对信息的维护和更改。底层是底层,它包括了多种转发设备,它的主要作用是对数据进行处理、转发以及基于流量标签的状态采集。SDN 的体系结构,可以将SDN 业务链定义为“控制与转发分离”、“设备资源虚拟化”和“软件与硬件通用程序”。SDN 服务链可以为云技术的数据中心带来三方面的优势:首先,SDN 服务链可以整合设备的硬件和管理,使硬件设备仅承担数据的传输与存储;第二,让网路软体为资料中心网路的智能逻辑服务,网路装置的种类与功能,可以藉由软体设定,让使用者可以使用,提升云端科技资料中心之服务回应率、网路参数之个人化、网路专案开启时间。
重叠技术是一种在网络结构上进行重叠运算的一种虚拟技术,能够实现多种不同的应用功能,而不需要对现有的网络进行大量的改动,从而将相关的网络业务分割开来。Overlay 网络还拥有一个单独的控制和转发平面,使得除了Overlay 的边界之外的其他终端设备的物理网络更加透明。实际上,这是一个云和互联网的融合。另外,SDN业务链云技术在数据中心的诸多优点主要体现在Overlay技术上。首先,Overlay 技术把两个层次的信息包为IP 报文,然后在网络上支持IP 位址的路由时,Overlay 就能启动Overlay 网络的部署。首先,采用Overlay 技术将二层包的数据包封装在IP 包内,使得网络在支持IP 地址的情况下,可以进行Overlay 网络的部署,从而充分利用路由网络自身的优良业务扩展能力、故障自愈能力、负载平衡能力,从而实现二层网络结构,使得虚拟机的迁移不受任何约束。其次,利用Overlay 技术将虚拟机的数据封装到IP包中,仅对网络进行参数化,例如隧道端点等,从而极大地降低了MAC 地址的要求。最后,Overlay 技术将云技术中的隔离识别码扩展到16M,使隔离网的数目大大提高,不同于仅支持4K 的VLAN。
云技术的数据中心要处理海量的数据,这些数据中有许多是业务,因此必须在SDN 服务链上进行部署,以确保数据的安全性。首先,将NGFW 整合成为VXLAN 网关,利用网关对VXLAN 的业务进行管理,并开发NGFW 安全装置及物理拓扑服务,从而实现安全保护。其次,将多种安全虚拟装置添加到云技术的数据中心,建立多种安全服务库,供使用者根据自身需要进行选择。为了达到这个目的,可以将FW/LB 和IPS 技术应用到SDN 服务链的部署中,从而确保了网络的自主性,同时也方便了设备的复用,并且不会互相影响。
4 小结
在未来的生产和生活中,数据中心的重要性与日俱增,必须确保数据中心能够满足云计算时代的需求,提升服务的可靠性和效率,从而达到节能环保的目的。新一代数据中心的发展方向是:减少IT 运营成本,提高管理效率,提高业务灵活性,提高安全性,提高可靠性,减少能源消耗。