某银行数据中心弱电系统方案设计

2023-01-10秦国经韩银凤贾洋洋王超楠

现代建筑电气 2022年11期

秦国经, 韩银凤, 贾洋洋, 王超楠

(1.中国建筑第八工程局有限公司西北分公司工程设计研究院, 陕西西安 710082;2.西安空间无线电技术研究所, 陕西西安 710010)

0 引言

近年来,电气信息技术迅速发展,数据中心作为IT技术的支撑载体,也取得了巨大的发展。随着我国全国一体化大数据中心体系布局完成,“东数西算”工程全面启动,数字时代对数据采集、存储、传输、处理以及计算能力的需求将更高,电气系统作为数据中心非常重要的组成要素,其重要性不言而喻。本文从实际案例出发,分析存在的问题,提出多专业协同设计对电气系统以及数据中心整体规划设计的重要意义。

目前,数据中心电气设计所依据的规范和标准有:GB 50174—2017《数据中心设计规范》、T/CCUA 011—2021《数据中心绿色等级评价》、T/CCUA 001—2019《数据中心基础设施等级评价》、T/CCUA 002—2019《数据中心基础设施运维服务能力评价》、T/CCUA 016—2021《超级计算数据中心设计要求》等[1]。

1 实际案例

本工程数据中心为国家级银行数据中心,属于金融行业。规划建设6栋机房楼、4栋动力楼、2栋备件库楼、1栋生产运维支持楼、2栋110 kV变电站和4栋门卫。其中,生产运维支持楼(M1)民用公共建筑;建筑机房楼(A1～A3、B1～B3)为数据中心机房属工业建筑、动力楼(C1～C2;D1～D2)为柴油发电机房为工业建筑;110 kV电站(G1、H1)为工业建筑。A2、B2两栋机房楼参照国际UptimeInstitute发布的《Data Center Site Infrastructure TierStandard:Topology》中TierⅢ及TierⅣ标准进行设计,A1、A3、B1、B3按照GB 50174—2017《数据中心设计规范》中A级标准进行设计。总建筑面积约21万m2,其中地上总建筑面积约20万m2,地下总建筑面积约0.9万m2,机房楼建筑总面积约1.4万m2。

2 数据中心工艺

2.1 建设规模和容量规划

银行数据中心的安全运行关系到银行的重要数据和业务的正常运行。机房模块和机柜建设规模:规划建设78个机房模块,包括网络机房模块(业务网核心)、液冷机房模块、网络机房模块(楼汇聚)、服务器机房模块、屏蔽机房模块[2]。目前规划建设10 312台机柜,包括液冷机柜、服务器机柜(高密)、服务器机柜(中密)、网络机柜。

2.2 机架负载分析和机柜设施标准

考虑到项目的前瞻性,单机柜功耗需在满足现有部署情况的前提下,适度预留未来发展的余量。本项目按每台机柜配置16台服务器,以单台服务器功率为0.5 kW测算,每台服务器机柜需配置功率为8 kW。

机房模块内机柜排布以TOR架构机房为例。后续会设置MOR架构机房模块(简称MOR机房,如SAN、NAS、带库等整柜设备自带机柜),含非标设备。机柜内设备为前进风/后出风方式冷却,机柜采用面对面、背对背的布置方式。机柜面对面布置形成冷风通道,背对背布置形成热风通道,配合合理布置送回风口取得合理气流组织,提高空调设备的使用效率,降低空调设备的功耗。在机房模块内采取热通道封闭的措施,完全避免空气回流,降低PUE值。

机柜设施标准:机柜设施需符合ANSI/EIARS-310-D、IEC297-2DIN41491PART1、DIN41494PART7、GBT 3047.2标准,兼容ETSI标准。机柜参数要求。机柜典型尺寸(52U):高2 450 mm×宽600 mm×深1 200 mm。机柜后面应预留放置PDU的位置。机柜前面应预留布线配件方便布线。

2.3 综合布线设计目标和依据

银行数据中心建设项目综合布线的设计,依据国际布线设计规范及GB 50174—2017A级机房标准和ANSI/TIA-942-A—2014Tier4级机房标准进行设计,采用先进的结构化布线模式,模块化布线思路解决了以往机房直连布线存在的问题。弱电走线架的主干桥架应布置于机柜列的两端机柜外侧,封闭热通道以外,避免与热通道冲突。

各机房楼间互联需要2条路由。机房楼一层设置网络运营商接入间,满足楼间互联及运营商直接接入机房楼的条件。机房模块内机柜区域外配置“环形桥架”,每列机柜上部署2列桥架连通模块内环形桥架,供电缆和铜缆使用。

2.3.1 服务器机房模块内综合布线

(1) TOR方式。按照A/B路由分开方式,做TOR到IDA的综合布线,每个TOR预留6个40 G的多模MPO端口、24个LC双工单模端口、6个铜缆万兆端口。每个TOR和机房中部IDA光纤布线分AB路,分别采用1根24芯单模OS2预端接光缆和1根3×8芯多模OM4预端接光缆,另敷设6根超六类非屏蔽双绞线连接TOR与IDA,机房中第6排作为网络汇聚区-IDA,整排部署800 mm宽网络机柜。其他排机柜两两一组做一个TOR,每台机柜按照20台服务器配置,采用80根多模OM4光纤跳线和20根超六类非屏蔽铜缆跳线连接服务器与接入交换机。

(2) MOR方式。机房12列机柜中,中间1列为机房模块IDA,其余11列为服务器机柜,整柜设备(6列服务器,5列整柜设备)。服务器机柜列:中间3台网络柜(HDA),其余12个为服务器柜,每个服务器柜按照24电口,96网络光口,48存储光口考虑。24电口和96网络光口连接每列中间网络交换机(HDA),48存储光口直连机房中部IDA。整柜设备列:不设常规机柜,采用下挂式配线架,安装下挂式安装支架。每台整柜设备按24电口,48网络光口,48存储光口考虑。这种布置方式也能满足服务器柜需求。24电口和48网络光口连接每列中间网络交换机,48存储光口直连机房中部IDA。HDA到IDA:HDA的两个网络柜,每个网络柜到IDA分AB路,每路48芯多模OM4预端接光缆和24芯OS2单模预端接光缆。

2.3.2 服务器机房模块IDA至楼内汇聚综合布线-机房楼

按照A/B路由分开方式,做IDA到楼汇聚的综合布线,3层服务器机房和1层液冷机房的IDA分别预留24个40 G的多模MPO端口、96个LC双工单模端口;4层服务器机房的IDA分别预留48个40 G的多模MPO端口、192个LC双工单模端口。

2.3.3 楼汇聚机房模块IDA至网络核心机房综合布线

按照A/B路由分开方式,做楼汇聚机房模块到网络核心机房的综合布线,每个楼汇聚机房模块,到每个网络核心机房,预留4×24个LC双工单模端口。

2.3.4 服务器机房楼内楼汇聚模块之间互联

该机房楼内,楼汇聚机房模块之间交叉互联,每个楼汇聚至其他任一楼汇聚之间,互联线缆采用2×48芯单模OS2预端接光缆。每个汇聚机房预留48个LC双工单模端口。光缆跳线、铜缆跳线,暂时按照12.5%配置。

2.3.5 网络核心机房间互联及机房内综合布线

园区网络核心机房之间交叉互联,每个园区核心至其他任一园区核心之间,互联线缆采用144芯单模OS2预端接光缆或OS2室外铠装光缆。

3 智能化系统

3.1 智能化系统概述

依据GB 50174—2017《数据中心设计规范》中第11.1条,数据中心应设置总控中心、环境和设备监控系统、数据中心基础设施管理系统等智能化系统。结合本工程,弱电系统主要包括:火灾自动报警及联动控制系统、极早期火灾报警系统、消防应急广播系统、视频安防监控系统、安全防范系统、门禁系统、无线对讲、园区网和物管网综合布线、动环监控系统、蓄电池监控系统、BA监控系统等。弱电智能化系统如图1所示。各子系统可以通过园区网络接入智能化集成系统平台,也可以是独立的子系统。

图1 弱电智能化系统

3.2 数据中心弱电系统架构分级

弱电系统架构分为集中管理层、系统接入层和现场设备层。一级为集中管理层,分别设置在消防控制中心和智能控制中心,可以实现数据中心各类基础设施集中管理和控制的要求。二级为系统接入层,消防报警主机及公共区域安防设备主机设置于各个楼宇弱电设备间内;动环监控系统、BA监控系统、能源管理放置于各单体的值班室。主要实现本地系统设备与园区消防控制中心和智能监控中心的连接。三层为现场设备层,各单体内设置火灾自动报警系统;在公共区域设置摄像头、出入口装置、入侵报警探测器等;在机房、制冷站、动力中心等设置监控末端,主要实现设备信号采集和控制。

3.3 数据中心专属智能化系统

数据中心专属智能化系统包括数据中心IT综合布线系统、综合安防系统、冷热源自控系统、供回油控制系统、动力及环境集中监控系统、蓄电池监控系统、数据中心基础设施系统等构成[3]。

3.3.1 数据中心IT综合布线系统

在当前“大数据、大集中”的前提下,随着互联网+、三网合一、云计算、5G等技术应用的蓬勃兴起,数据中心已由以往简单的网络设备托管及维护功能演变成为目前多业务、多应用的分析和处理为主。通常来说,数据中心的网络架构与综合布线系统相互支持又相互影响,就整体结构而言可以分为三种布置方式:分散式、集中式、列头式。

3.3.2 数据中心综合安防系统

数据中心为各类数据业务提供7×24 h不间断的数据信息服务,必须具备高度的可靠性和安全性。其中依托入侵报警、安防视频监控和出入口控制等子系统组成安全管理系统,实现各子系统的有效联动、管理和监控,是数据中心机房安全运行的重要一环,属于各个行业重点安全防范的核心要地。其安全防护等级应按一级风险、一级防范等级设计,必须运用纵深防护体系设计原则进行严密布防。

3.3.3 数据中心冷热源自控系统

数据中心冷热源自控系统可以自动进行设备监测与操作,自动调节以适应室内环境的变化。对出现问题的设备自动报警,并可以通过设备状态记录反映出设备变化趋势,在出现问题前对设备进行维护。这极大地方便了设备的操作与维修,减少管理和维护人员。

3.3.4 数据中心供回油控制系统

燃油供给系统是数据中心柴油发电机组重要的组成部分,而供回油控制系统则是实现对数据中心柴油发电机组可靠安全运行的基础。供回油系统包括室外地下柴油储罐、日用油箱、供油泵、管道等。通常数据中心配套柴油发电机组的设置为N+1,地下油罐采用2N配置。地下油罐采用卧式钢制油罐(2N),并采用地下直埋的安装方式。为防止油品可能发生泄漏对环境造成影响,油罐设有混凝土隔离体。室外油罐设置磁悬浮就地指示和远传液位计,将油位信号接入对应的DDC网络控制器中。

3.3.5 数据中心动力及环境集中监控系统

动力与环境集中监控系统主要是对数据中心机房设备的运行状态、温度、湿度、水浸、供电的电压、电流等进行实时监控并记录数据,为机房高效的管理和安全运营提供有力的保证。系统监控数据为数据中心机房模块内温湿度、漏水、漏油、氢气、UPS、精密配电柜、机柜内的温度。动环监控系统拓扑图如图2所示。

图2 动环监控系统拓扑图

3.3.6 数据中心蓄电池监控系统

蓄电池设备是数据中心供电系统的重要组成部分,单只蓄电池的状态直接影响整套供电系统的性能。蓄电池的长时间运行会使箱体温度偏高,甚至会超过40 ℃,再加上周围有易燃的物品,非常容易发生火灾,烧毁连接线路,导致机房数据丢失。最常见的是电源线的不断延长,连接处留下安全隐患,当发生短路时,电流过大会烧毁电源及其零件,严重的会引发火灾。除此以外,还会发生散热不及时,引发火灾的状况。蓄电池监控系统的重要性可见一斑。数据中心应严格参照行业相关规范,正确安装。每一只蓄电池电压,内阻和温度都进行监控,能及时发现蓄电池组中的单只故障电池,并及时发出预警,有效避免故障发生。蓄电池监控系统一般由环境温度探头、电流传感器、采集器(采集模块)、控制器、监控主机等组成。蓄电池监控系统通常采用B/S或C/S架构,服务器和终端分开部署。该系统可监视辖区内全部电池监控模块及每一只电池的运行参数及工作状态,对故障信息进行报警或预警,并且可对监控主机下达监测和控制命令。蓄电池监控系统控制柜配置图如图3所示。

图3 蓄电池监控系统控制柜配置图

3.3.7 数据中心基础设施管理系统

数据中心基础设施管理系统(DCIM)是近几年在数据中心管理领域兴起的一个热点话题,旨在采用统一的平台同时管理关键基础设施(如UPS)、空调以及IT基础架构(如服务器),并通过数据的分析和聚合,最大化数据中心的运营效率,提高可靠性。数据中心基础设施管理综合管理系统需要实现整个数据中心的集中管理,实现与各个监控子系统对接,获取各个监控子系统的告警、实时监控等数据。