像搭积木一样拼装数据中心

王沛霖

你可能知道腾讯是国内互联网三巨头之一，可能是腾讯两亿多同时在线的QQ用户和4.38亿微信活跃用户中的一员，但是你可能并不了解是什么在支撑着这些亿级用户平台的顺畅运营，也不了解腾讯在研发IT基础架构方面的努力和已经拥有的成熟体系。

数据中心，这个与普通的互联网用户距离遥远的神秘所在，却是互联网业务的神经中枢，为互联网企业的各项应用提供源源不绝的动力。在越来越热门的云计算和大数据背后，数据中心的价值越来越得到人们的认同和重视。数据中心的布局和运营效率已经成为互联网企业重要的核心竞争力之一。

作为国内知名的互联网企业，腾讯伴随着数据中心的不断建设而发展壮大。从2006年开始在深圳租赁楼房自行建设数据中心，到2007年在天津自建超大规模数据中心，并开始在全国乃至世界各地快速布局，到目前为止，腾讯已经在全国13个城市拥有超过58个数据中心，里面的数十万台服务器为腾讯的各项业务提供强有力的支撑。

9月10日，腾讯在北京举办了一场主题为“开放创新，合作共赢”的数据中心分享日活动，并在第二天带领与会代表奔赴其自建的天津数据中心进行参观、交流。参与此次系列活动的都是数据中心领域的主管领导和资深专家：有的来自知名的互联网公司，有的来自国内外的电信运营商，有的来自服务器、存储、网络等设备厂商。据悉，这是腾讯第一次以如此公开的形式带领大家近距离接触腾讯的数据中心。腾讯在展示开放胸怀和创新研究成果的同时，也让大家更加清晰地了解先进的腾讯模块化数据中心解决方案——TMDC。

腾讯天津数据中心开门迎客

腾讯公司副总裁别洪涛告诉记者，作为互联网企业，腾讯因为业务的发展需求较早对数据中心提出诉求，因此数据中心建设起步也相对较早。差不多从2006年开始腾讯就系统地摸索，并快速更新自己的数据中心技术。位于天津经济技术开发区的腾讯天津数据中心，是腾讯于2007年启动自建的第一个超大规模数据中心，也是腾讯迄今为止自主规划、设计和运营的最大的数据中心。该中心共有4栋建筑，总建筑面积达8万平方米，满载可容纳20万台服务器。它也是目前亚洲最大的数据中心之一。

在进入腾讯天津数据中心大楼前，笔者按照要求关注了“腾讯数据中心”的微信公众号（腾讯每周通过该公众号平台分享其最新的数据中心技术和运营经验）。而此前，腾讯方面已经对参观者的申请资料进行了内部审核。该公众号给参观者发送进入腾讯天津数据中心的电子门票。保安人员通过扫描二维码门票即可完成授权进入的程序，省去了以前用本子登记的麻烦。

数据中心的一楼是基础设施层，这里有规模庞大的水冷系统。腾讯天津数据中心高级经理闫昆介绍说，当时大家所处的三号楼可承载10万台服务器，用电负荷约等于8万个城市家庭的总和。这么大的用电负荷，需要一套庞大的冷却系统来支撑。为了方便管理，机房中管道都用颜色标示：蓝色的代表供水管，黄色的代表回水管。环状管道上还有几百个大大小小的阀门。当管道上任何一个位置出现破裂或其他故障时，管理人员就可以通过关闭附近的阀门来隔离故障点，将故障对整个水系统运行的影响降到最低。这是一种高可用性设计。

据悉，当秋冬季来临，外界气温降低时，运营团队就会关闭最耗电的水冷机组，通过板式换热器和楼顶的冷却塔，利用室外冷空气对水降温，达到节能的目的。而所有这些转换和控制都是通过自动控制系统来实现的。天津运营团队的主要任务就是通过反复的实践，摸索出最优的变频调节参数，以及设备轮巡和故障切换的控制逻辑，以达到最优的能效，节约运营成本。

数据中心三楼是供配电系统机房。在腾讯第三代数据中心中，服务器供电采用了市电直供加上直流系统备份。和传统的双路交流UPS（不间断电源）供电技术相比，这种创新的供电方式大大简化供电的结构，提升服务器用电的稳定性和用电效率，初期投资成本也较低。在实际运营过程中，这种直流UPS技术节能省电效果显著。值得一提的是，这种新型的直流UPS技术运维方便，在降低工作人员的技术门槛的同时，保障了运行中的设备和人员的安全，而传统交流UPS是一种体型庞大、操作复杂的供电设备，还存在发生恶性事故的隐患。

微模块就是一个微型数据中心

微模块解决方案是腾讯第三代数据中心TMDC的核心。按照腾讯的设计，每个微模块都包含有IT系统、配电系统、空调系统、消防系统和监控系统等，可以简单地认为微模块就是一个微型数据中心。

这样的设计好处显而易见。微模块的所有组件都在工厂完成预制和测试工作，到数据中心现场，工作人员像搭装积木一样经过简单拼装后，系统即可投入使用。因此，微模块解决了传统数据中心建设周期冗长、配合复杂的问题，可快速、灵活地部署。这个特点使TMDC更容易安排分期建设，有效保护投资。当数据中心“退役”时，工作人员还可以很方便地将那些还可用的微模块拆卸下来，在其他数据中心组装后继续使用。

在腾讯天津数据中心，笔者参观了一个典型的微模块机房。这个机房由12个微模块组成，每个微模块占地仅20多平方米，却有12个服务器机架，每个机架上密密麻麻地排列着80台服务器（1U上有两台服务器）。也就是说，在一个很小的空间内，每个微模块竟然容纳了960台服务器。

每个微模块的外部都挂着一块液晶屏幕，运维人员可清晰地查询微模块的各种运行状况。通过名为“星云”的统一自动化运营管理平台，运维人员还可远程监控每个微模块。闫昆介绍，支持20万台服务器如此大规模的数据中心，腾讯的运营团队却只有15人。

据悉，TMDC是腾讯自己研发的、全球首创的数据中心技术，已申请近20项专利。TMDC从2008年开始研发，经过实验室阶段、小批量试点阶段后，从去年开始在全国范围内同步推广。除了应用在腾讯自建的宝安、天津数据中心外，TMDC也得到了运营商的全面肯定。目前腾讯已经和深圳联通、深圳电信、上海电信等在大型数据中心合作推广。在开放日当天，也是腾讯第一次向外界正式发布和展示自己的TMDC。

开放，让后来者少走弯路

涉足数据中心领域至今，腾讯的数据中心技术已经经历了三代。腾讯IDC平台部高级总监杨晓伟介绍说，最初采用传统的电信解决方案，数据中心PUE（能效比）仅为1.6左右；后来采用自然冷却技术的第二代数据中心，将PUE降低到了1.4。到2012年以后，随着技术积淀日益深厚，腾讯自行研发了基于微模块的更为节能的第三代数据中心解决方案——TMDC。

腾讯IDC平台部技术发展中心副总监朱华告诉记者，腾讯正在尝试应用很多最新技术，如用三联供技术来实现分布式供电、全自然风的冷却方式、提高机房温度、冷却系统去水化等。除此之外，在数据中心的自动化系统研发方面，腾讯也不吝成本，开始研发基于SDI（软件定义的基础架构）的控制系统，并将逐步向业界推出数据中心监管控系统的南向和北向标准。

别洪涛强调，在数据中心的发展过程中，腾讯一直秉承开放的心态，和大家分享自己的技术和经验。腾讯的技术人员每年都会在很多行业峰会、技术论坛上宣讲腾讯最新的技术，同时积极参与类似“天蝎”这样的开放项目，参与开放数据中心联盟等开源组织，在其中贡献自己的一份力量。“当然，以前这些实战经验的分享还比较零散，不成体系。到今天，腾讯在数据中心领域开始有了一些成系统的经验，包括从第一代到第三代数据中心的思考，我们希望把腾讯摸索出来的经验更多地分享给业界，可以让后来者少走一些弯路。” 别洪涛透露，腾讯目前正积极与相关政府部门共同推动数据中心运营标准化的制定。他希望能有更多的运营商、厂商参与其中，共同推动我国数据中心生态圈的完善。