盛大游戏G云2.0探秘

郭涛

从1999年成立至今，盛大游戏在游戏界创造了一个又一个传奇：2002年首创e-sales网游营销体系；2004年成为国内首个收购海外上市游戏公司的企业；2005年率先实现CSP免费模式转型；2009年在纳斯达克上市，成为当年美国规模最大的IPO案；其自研游戏《热血传奇手机版》、《传奇世界手游》、《龙之谷手游》等成为现象级作品……在云计算时代，盛大游戏采用先进的云计算技术助推游戏产业的发展，打造了私有云平台——G云。它是盛大游戏强大游戏运营能力的基石，能够让用户充分享受云平台带来的稳定、安全、高效和高性价比，同时有效降低了用户使用IT基础设施的技术门槛和成本。

作为游戏玩家，可能大多数人只是拥有云上游戏的良好体验，但是对于支撑游戏的云平台的内涵，特别是计算、存储、网络等资源的构建、使用和管理知之甚少。盛大游戏G云2.0探秘之旅将从计算开始，历经存储、网络，以混合云管理为终点。

ExpressVM超融合云平台

我们先来认识可以弹性扩张和收缩的ExpressVM超融合云平台。

ExpressVM超融合云平台以OpenStack为基础，经过深度开发和调优，并结合软件定义存储和软件定义网络的相关技术，构建了混合、开放、可拓展的资源池，可同时支持多种“开放计算”资源。

对于一个云平台而言，最重要的是提供一个高效稳定的虚拟机环境。思华ExpressVM针对现代硬件架构和虚拟化技术进行了再优化。例如，在ExpressVM开发初期，Guest OS的运行出现了许多“诡异”现象，如CPU占用过高、系统卡死、定时器不稳定、运行忽快忽慢等。经过进一步调优，并针对不同的Guest OS进行不同的配置，BIOS的设置也根据虚拟化的特点做特定设置，终于打造出一个稳定、可靠、高性能的云计算基础架构。

超融合架构和传统存储的灵活搭配。ExpressVM打破了OpenStack Cinder这部分的实现限制，按照计算和存储一体的超融合架构进行了重新设计，可以将虚拟机的系统盘和数据盘保持在虚拟机所在同一台物理机上，使虚拟机访问存储时不再经过网络，有效避免了网络开销所带来的存储访问延迟和性能瓶颈。

高度灵活的架构设计。思华XOS混合云管理平台设计的一个要点是在一个架构体系下同时支持私有云、公有云和裸机云，为不同保障等级的租户提供服务，展现出统一界面和用户使用体验。XOS在OpenStack模型的基础上进行了进一步扩展，提高了整个系统的灵活性。

作为云计算基础架构，ExpressVM不只应用在盛大游戏G云2.0平台，还在工业设计领域、工业4.0自动化生产领域、互联网业务基础环境、边缘云基础环境等领域有着广泛应用。

“解剖”MegaBric分布式存储

然后，让我们“解剖”一下MegaBric分布式存储。MegaBric基于标准x86硬件设计，采用全对等全分布式架构，可同时提供文件、块、对象存储服务，能够方便快捷地满足用户业务上的复杂应用，是高质量、高性能、高安全、高性价比的软件定义存储产品。MegaBric通过独有的本地化IO技术提升了存储性能：采用双副本的数据冗余方式，保证数据在节点故障的情况下，虚拟机对数据的正常访问；具有数据本地化的特性，数据优先从本地读取，极大地降低了数据读写延时，提高了虚拟环境下的IOPS以及吞吐能力，单台虚拟机可以达到3W IOPS。

MegaBric解决了存储硬件成本和运维成本高的问题。MegaBric为Openstack环境提供Cinder driver，可以方便地为虚拟机提供块存储服务，支持对虚拟机中的云硬盘创建快照、快照恢复、在线调整云硬盘大小，以及对云硬盘的QoS的设置。MegaBric文件存储可以同时提供NFS、SMB、POSIX服务，支持主流的Windows、Linux操作系统。游戏业务中将用户的操作日志、操作历史记录等10KB左右的小文件存储在共享的文件系统中，这部分数据单文件规格小但数据量巨大，使用MegaBric小文件加速专利技术，比传统NAS性能提高10倍以上。MegaBric支持Swift对象存储，同时兼容S3接口，可以为游戏业务提供更加丰富的接入方式。盛大游戏的多个工作室将游戏业务中的冷数据转存到G云2.0的对象存储里，可以有效地降低数据存储的成本，更利于对用户行为数据的总结分析。

在线云硬盘跨存储池迁移。在G云2.0运营的过程中，某些游戏业务初始采用普通的云硬盘（SAS），但是游戏后期用户激增，对于磁盘的IO要求显著提高，需要迁移到高速云硬盘（SSD）。MegaBric采用在线卷迁移功能，在云硬盘规格升级过程中，可以将云硬盘从SAS资源池在线迁移到SSD资源池，用户无需干预。迁移过程中数据访问不中断、性能无明显影响。

多存储类型支持，动态调整空间比例。云平台建设初期业务对于各种类型存储的需求量并不确定，这就需要存储服务能够支持动态调整集群内块存储、文件存储、对象存储的空间使用比例。MegaBric存储资源池在线扩容、缩容的功能很好地解决了空间调整的问题。

在G云2.0中，思华MegaBric成功地解决了文件存储热升级中遇到的业务实时大量的IO读写、存储各组件动态库的更新、存储状态中锁状态/内存状态的维持、存储状态中网络连接的维持/重连、存储集群中客户端和服务端信息同步升级等难点，真正做到了分布式文件存储的热升级、毫秒级的业务感知，可以在存储管理端实现一键热升级、一键回滚。

G云2.0中的SDN技术

接着，让我们来认识G云2.0中使用的SDN技术。G云2.0的网络，要求充分考虑盛大游戏系统架构的通用性和易用性，同时需要针对游戏行业的特殊性，例如网络延时、弹性扩容、安全等进行定制化的架构设计。

盛大游戏引入以盛科SDN白牌交换机为网络承载（同时支持华为等数据中心交换机），思华ExpressNET为控制平面的方案，构建了新一代混合云网络架构。该方案没有僵化地采用纯OpenFlow的方式，而采用了支持VxLAN的数据中心交换机和开放API相结合方式，由网络设备提供足够灵活的API，供思华的SDN控制器调用。

思华ExpressNET网络平台为云主机、裸机提供了必要的实体和虚拟网络环境，包括但不限于：VPC内部二三层东西向访问、南北向公网访问、虚拟机和物理机访问、跨云跨IDC访问等，同时以VPC为单元对租户进行安全隔离、公网QoS限制。

思华ExpressNET全面替换原生Neutron网络方案，弥补了原生方案的不足。同时，思华ExpressNET软件定义网络同时兼顾游戏场景对于组网和性能，尤其是低延时的要求，为盛大游戏G云2.0打造了新一代的网络架构。盛大游戏技保平台中心总监应华表示：“我们选择思华ExpressNET作为G云2.0的网络架构，主要看重ExpressNET采用了SDN白牌交換机和开放API相结合的方式，各个IDC可以选择不同厂家的网络设备，有效降低了对单一硬件厂商的依赖度，同时可以为我们提供定制化的SDN开发服务。”

混合云的管理

最后是混合云的管理。思华XOS混合云管理平台，采用弹性混合云平台方案，其定制化的设计十分贴合盛大游戏G云2.0各项业务需求，建立了多层级的租户模型，覆盖SP、工作室、项目组、游戏等，对资源集中管控、运维、调度，租户获取资源池后自服务分配资源，私有云、公有云资源统一分配、管理，由系统屏蔽其差异性，可提供一致的业务体验。

XOS混合云管理平台为G云2.0带来良好的可运营性。XOS采用微服务架构设计，构建了一套灵活的部署架构和自动化维护工具，并尽可能使用虚拟机来部署管理系统本身，最终实现了全平台On-The-Fly不停机升级、一键升级和回退产品的任何一个组件。

基于自身多样化、定制化、全面化的需求，盛大游戏选对了合作伙伴。而思华科技秉承“聚焦用户需求，重塑企业变革”的原则，基于多年来在云计算方面的技术积累和实践经验，帮助盛大游戏搭建了“定制化，更安全”的行业混合云平台，在计算、存储、网络和云管理方面展现了“奇思妙想”，同时又符合用户的实际需求。