面向校园信息化业务特征的虚拟化平台架构

刘百祥， 赵泽宇， 张 凯

（复旦大学校园信息化办公室，上海 200433）

0 引 言

随着虚拟化技术的发展，IT行业逐渐由关注客户机服务器的第二平台转向以移动设备、云服务、社交网络和大数据为基础的第三平台［1］．国内各高校掀起利用虚拟化搭建内部基础设施平台的浪潮，校园信息化也逐渐体现出更多第三平台的特点，对支撑信息业务的基础设施平台提出了稳定性、可靠性、扩展性、数据安全、大数据支持等更高要求，校园基础设施从传统为应用服务转变为平台型服务．

近几年，复旦大学在虚拟化建设方面不断发展与改进，建成了支持七个集群、五百多个应用的大规模虚拟化集群．本文将从架构、效果等方面介绍复旦大学在基础设施建设过程中对虚拟化平台架构开展的工作及相关经验．

1 项目背景

高校的信息化工作业务特征比较明显，存在以下几个问题．

（1）校园信息化应用规模庞大，分类复杂

校园信息化应用涵盖了数据库、业务系统、网站、电子邮件、大数据分析等多种类型的IT应用，存在CPU密集、磁盘密集、I／O密集、带宽密集等不同的特性，对计算、存储、网络资源提出了不同的需求．基础设施层面无法简单的通过相同的设备提供服务，需要针对不同的应用特点量身定制［2］．

（2）数据重要性提升，数据业务处理复杂度加大

大量信息化应用产生了不同特点的数据，存储平台需要满足最基本的业务数据容量需求．从数据备份和恢复而言，不同数据的RTO时间和RPO时间［3］需求完全不同，重要数据如核心数据库、一卡通金融数据需要更频繁的备份周期甚至提供CDP［4］支持；从访问方式视角看，结构化数据或文档型数据会利用块式存储、归档型存储和私有云存储来满足不同特点；从存储性能角度，数据库索引、点播系统、邮件归档等不同业务提出不同的IOPS、响应时间需求．

（3）硬件资源管理模式落后，缺乏整体规划和有效利用

传统的校园信息化基础设施的管理存在诸多问题：在一个项目内部，资源全部为该项目服务，基础设施使用规划不合理，大量设备处于低效率运行状态；在项目的实施全过程中，从技术方案选型、初期测试、方案实施到稳定运行，在不同时间节点都提出不同的硬件需求，而硬件管理团队通过不同的方式满足项目需求：提前采购生产环境设备仅凭厂商经验确定需求，需求不明确，可能会存在设备闲置情况；较长的设备采购周期也容易遭遇硬件能力估计不足，即时扩容困难等问题；使用老旧服务器拼凑实施环境，虽然能根据实际使用情况决定生产环境设备且充分利旧，却会因设备故障率高、测试环境和生产环境缺乏一致性，造成拆东墙补西墙的情况；研发人员提出的科研测试型需求，在未达到项目级别时，很难获取恰当的硬件资源，个人PC和老旧服务器成为最主要的测试环境，远远不足以满足测试的需求．

（4）托管业务需求多样化，缺乏有效管理

近年信息化应用的爆发式增长对计算资源的数量和稳定性提出了更高要求，更多的院系部门提出托管服务器或者业务系统的需求．硬件主机托管服务存在大量问题：设备来源、型号繁多，配置不合理，保修渠道不畅，管理难度巨大；同时，大量的设备进入机房，空间、空调和电力资源等负荷过重；软件方式托管又无法满足用户的复杂软件环境需求，难以大规模推广；早期的托管服务仅仅局限于虚拟主机方式，还存在大量的限制条件．而无论何种模式，托管业务用户管理员缺乏专业技能，系统缺少必要的安全配置，在数据安全和系统安全都存在较大隐患．

信息化部门必须寻找新的基础设施建设和管理方案，以解决校园信息化过程中存在的这些问题．虚拟化技术逐渐成熟，开源方案或者商业产品可用性已经逐渐提升，虚拟化方案所包含的计算资源、存储资源、网络资源等实施成本也降低到可以承受的范围，管理团队的学习成本也逐渐降低．因此，复旦大学全面启动虚拟化集群的建设工作．

2 建设目标

综合现阶段需求和技术特点，复旦大学提出了以平台化建设为基础，面向服务，逐步完善的虚拟化建设目标，预期通过几年的时间，逐步扩大虚拟化应用平台的软硬件规模，淘汰传统的物理机模式，建立一个支持多集群、多业务、可管理的虚拟化服务平台．

建设要点如下．

（1）依托虚拟化技术特点构建校园计算资源服务平台，为校园信息化中各类应用提供硬件支持．提供校园级平台硬件资源整体规划，考虑新旧设备兼容，依照设备生命周期进行合理调度．

（2）提供计算资源平台，满足校园信息化自有业务和院系、个人需求；提供平台化数据存储保护服务，覆盖块式、文件式、云存储，高中低性能、存档式存储等不同需求的数据空间服务，持续数据保护、镜像保护、备份保护等多等级的保护机制；构建灵活高效的数据中心网络架构，满足基础设施网络需求，利用虚拟化特性提供便捷网络配置，提供虚拟端口安全控制，提供跨区域二层网络融合支持［5］．提供应用程序虚拟化和桌面虚拟化能力，逐渐提供全方位的虚拟化业务支持．

（3）为业务系统建设过程从可行性分析、测试、实施等各阶段提供一致的基础环境平台；利用虚拟化的优势提高设备利用率，优化资源配置，简化硬件资源申请分配流程；直接提供软件业务托管，减少甚至取消硬件主机托管．构建相对安全的计算资源托管平台，通过网络隔离、操作系统封装等多种手段解决服务器托管难题．

（4）构建一支基础设施管理团队，有效处理计算、存储、网络等多种资源的组织和协调工作．熟悉常规的虚拟化相关软硬件、系统安全常识，拥有专业虚拟化技能，能够在运维工作中解决常见问题，避免出现管理人员瓶颈．

3 系统架构

针对校园信息化的业务特征，在设计虚拟化平台时，应当考虑如下要点．

（1）集群式架构

校园信息化应用繁杂，不同的业务存在不同的资源需求，可靠性等级也有所不同．针对专用应用，如电子邮件服务、一卡通业务，采用专有计算资源集群的设计，完全和其他业务隔离，避免资源争抢，提供安全保障；而其他同类业务，如E－learning平台、招生系统等，拥有近似的可靠性、计算存储能力、网络特性要求，因此合并在相同的业务集群进行服务．集群式设计可以有效地简化平台的设计复杂程度，同时根据业务增长进行轻松扩充，在新旧设备更替时完全无需中断业务．另外一些低可靠性需求应用集群，可以利用临近或超过保修时间的硬件设备，节省投资．部分集群特点如表1所示．

（2）存储平台化

针对不同应用的数据需求，从链路层、访问协议、容量和速度多个方面提供不同的存储服务，针对虚拟化构建用户无感知的备份恢复服务，同时也提供常规的备份模式，如图1所示．

表1 业务集群特点

图1 存储平台化服务

依托于业务集群特征，设计FC链路和iSCSI链路的块式存储，存储内部选择磁盘混插，提供自动或者人工的存储分层能力；在全局提供NAS存储，只要网络联通即可访问，便捷实用，为归档和临时目的服务；提供云存储服务接口，通过Restful方式提供业务直接调用，同时在云存储层面提供更高级的自动热点，文件去重服务．

（3）精细网络管理

数据中心网络指虚拟化平台业务网络和承载虚拟化存储链路的网络，具有高速率、低延迟等特点．针对高密度应用特点，选择10G、多组10G绑定方式提供高带宽支持；分离传统核心交换机和数据中心网络交换机，避免数据中心网络受正常网络压力影响；进行VLAN隔离，分离业务，便于进行安全控制［6］．

复旦大学虚拟化服务平台设计采用如表2的VLAN设计．

表2 网络VLAN设计

（4）虚拟化安全

由于虚拟化集群的高密度特性，应用间容易相互干扰，故障发生时难于准确定位，需要提供详细的监控机制对虚拟机的运行异常进行监控［7］．在网络安全方面，设计对虚拟机网络进行网络隔离，在虚拟化端口层进行带宽限制和流量整形设置，在高风险区域提供更频繁漏洞扫描，提供防火墙控制；在服务管理方面，采用虚拟机模板提供服务，维护经过安全设置的虚拟机模板，强制设置自动更新和杀毒软件，直接交付配置完成的操作系统给最终用户．此外，还对虚拟机管理进行分级，仅交付用户最基本的使用权限．

（5）冗余式架构

为保障服务安全，针对虚拟化架构特点进行设备冗余设计，包括冗余的供电系统、网络链路、存储链路、存储控制器协同工作，避免单点故障的出现；同时，集中化的存储设备、刀片设备也提供了不同层次的冗余，降低了管理复杂度，以大量低成本设备提供了更高的设备安全等级．图2以简化的方式展示了复旦大学虚拟机集群的冗余式架构．

图2 冗余式架构设计示意图

（6）跨校区数据中心架构

复旦大学利用学校自身多校区的特性，将虚拟化平台设计成跨校区数据中心架构．在各校区单独搭建虚拟化平台，以虚拟化消除硬件差异的能力，利用网络的二层互通特性，提供多区域服务的能力．由于学校具备校区间光纤链路互联的优势，部分敏感应用可以利用通过高速链路互相镜像，将传统的灾备模式变成跨区域双活（多活）模式，配合第三方的仲裁主机，可以在任何一个节点的网络、存储、计算平台任意元素出现整体故障时，完整切换至另一个中心运行，实现虚拟化平台的跨校区容灾备份．

4 运行效果

随着虚拟化平台的建成与运行，复旦大学已经将除核心数据库以外的绝大部分应用转移至虚拟化平台运行．通过如计算能力、存储速度等的物理资源能力分级，进行逻辑划分，提供如关键业务、beta测试、个人测试、应用虚拟化、托管、视频转播、网络应用等多个逻辑集群，进行业务分等级服务，现已形成包含测试与存档在内的超过500台虚拟机集群环境，如图3所示．

图3 虚拟化架构

虚拟化平台整体提供约100T的业务级块式存储，根据业务特点选择存储介质（SSD、高速SAS磁盘、低速NLSAS磁盘）、存储链路（FC、iSCSI、NAS）和业务存储（高性能控制器、低性能控制器）；利用虚拟化特点提供用户无感知的备份与恢复服务；提供超过600T容量的存档存储和云式存储，利用云存储特性提供Restful访问接口和自动热点、文件级去重等服务．

虚拟化平台采用分离网络设备，在每个校区使用虚拟化平台专用的数据中心交换机，保障10G＊2链路至校区核心设备，同时在网络中配置大二层融合的模式、以提供应用的无缝迁移．

虚拟化平台构建用户虚拟化托管服务机制，不再接受用户物理主机托管，已经接收了超过200个托管服务需求，配合更强的安全管控，保障托管业务安全性提升．

此外，复旦大学基于虚拟化平台开始进行桌面虚拟化服务的测试准备工作，在部门桌面系统进行部分瘦客户机的测试；利用应用虚拟化服务向校内师生提供计算软件托管服务，同时解决软件授权控制和用户计算资源服务的问题．

对于特殊需求的业务系统，针对不同业务的自身特点，配合不同的虚拟化能力，复旦大学建设了面向特定业务系统的虚拟化集群，包括校园一卡通虚拟化集群和视频服务虚拟化集群．

（1）校园一卡通虚拟化集群

财务敏感数据的保护对一卡通业务的基础设施提出了极高要求，因此利用存储复制镜像设备提供了跨校区的备份和恢复模式，在提供数据的本地CDP保护和实时镜像前提下，又提供了跨区域异步复制的保护．通过实施虚拟化平台，复旦大学的校园一卡通系统建立冷备模式［8］，可以保证在主校区设备全部故障的情况下，通过半自动方式，在另一校区恢复业务，RTO时间可以达到少于7秒．校园一卡通虚拟化集群架构如图4所示．

图4 校园一卡通虚拟化集群

（2）视频服务虚拟化集群［9］

利用虚拟化的快速复制、差异封装等特性，复旦大学在虚拟化平台的基础上构建可伸缩的视频转播集群，改变传统的堆砌设备性能为随用户需求扩充．通过合理搭配利用设备，将高计算能力设备部署为编码集群，在分校区使用老旧设备作为分发集群，可以随时快速扩展．视频服务虚拟化集群的架构如图5所示．在校园讲座、课程和世界杯等直播活动中，该集群以6台物理服务器的能力，可支撑超过2000路并发高清视频直播．

图5 视频服务虚拟化集群

5 总结和展望

复旦大学虚拟化平台建设经历了逐渐演变的过程，分别为技术试验阶段、技术完备与轻量级业务支撑阶段、稳定业务平台与虚拟化管理规范阶段、数据中心化阶段、跨校区数据中心阶段和扩展服务阶段．技术架构、用户观念、工作方式、管理团队等经过若干阶段发展和经验总结，逐渐稳定成熟．

随着虚拟化的实施，传统的受制于项目固定硬件的需求一下被释放出来．因此，在管理过程中，复旦大学通过建立用户分级授权、需求完善准入和资源需求评估机制，引入全生命周期管理工具，有效的减少了虚拟化带来的“资源浪费”现象；同时，利用虚拟化模板技术，建立安全的操作系统模板交付托管部门使用，以VLAN隔离、端口流量整形和漏洞扫描等方式增强系统安全性．

虚拟化平台建设已经成功地构建了整体式的资源服务方式，其稳定可靠性也在实际环境中得到了验证，同时利用虚拟化带来的诸多好处有效的提升了为信息化服务的能力．

［1］ 天虹．第三IT平台是2014年关键趋势：大数据价值转移［EB／OL］．（2014－02－07）［2014－10－20］．http：／／news．ccidnet．com／art／946／20140207／5344357＿1．html．

［2］ 宓詠，赵泽宇，刘百祥．云服务在高校科教信息化中的应用［C］／／中国科研信息化蓝皮书2013．北京：科学出版社，2013：137－149

［3］ ASPREET SINGH．Understanding RPO and RTO［EB／OL］．（2008－03－22）［2014－10－20］．http：／／www．druva．com／blog／understanding－rpo－and－rto．

［4］ WIKIPEDIA．Continuous data protection［EB／OL］．［2014－10－20］．http：／／en．wikipedia．org／wiki／Continuous＿data＿protection．

［5］ VMWARE．Virtual－Network－Design－Guide［EB／OL］．［2014－10－20］．http：／／www．vmware．com／resources／techresources／10354．

［6］ VMWARE．vSphere网络［EB／OL］．［2014－10－20］．http：／／pubs．vmware．com／vsphere－55／topic／com．vmware．ICbase／PDF／vsphere－esxi－vcenter－server－551－networking－guide．pdf．

［7］ VMWARE．vSphere监控和性能［EB／OL］．［2014－10－20］．http：／／pubs．vmware．com／vsphere－55／topic／com．vmware．ICbase／PDF／vsphere－esxi－vcenter－server－551－monitoring－performance－guide．pdf．

［8］ EMC．校园信息化进入虚拟数据中心时代［EB／OL］．［2014－10－20］．www．chinabyte．com／uploadImages／2014／115／M7 W9SA92R7D9．pdf．

［9］ 贾峤，唐靖寅，刘百祥．复旦大学：高清视频多级分发转播之道［J］．中国教育网络，2012（8）：72－74