上海农业云服务中心的建设与应用

唐 炜，叶有灿，周 艳

(上海市农业农村委员会信息中心，上海200335)

唐炜，叶有灿，周艳.上海农业云服务中心的建设与应用[J].上海农业学报，2020，36(4)：150-155

根据中国信息通信研究院发布的《云计算白皮书(2016 年)》，2015 年，我国云计算整体市场规模达378 亿元(人民币，下同)，整体增速31.7%，呈现高速增长态势。 云计算正从互联网行业向传统行业转变，“政府、金融行业成为主要突破口”。 可以看出，云计算[1]技术正在不断熟化，开始进入政府部门，在农业行业政府管理部门也开展逐步应用。 在2015 年，《农业部关于推进农业农村大数据发展的实施意见》(农市发〔2015〕6 号)中明确提出，“建设国家农业数据中心。 以建设全球农业数据调查分析系统为抓手，推进国家农业数据中心云化升级，建设国家农业数据云平台，在此基础上整合构建国家涉农大数据中心。”可见，国家部委数据中心也开始着手从传统物理硬件架构向云化以及虚拟化[2]进行升级改造。

1 建设背景

上海市农业农村委员会信息中心机房建立于2005 年，是一个基于传统物理服务器架构的数据中心[3]。 至2015 年，机房内拥有近100 台物理服务器。 经过调查摸底，各应用系统、网络硬件资源建设，都是通过项目制方式实施，即：申报立项-购置设备-系统搭建-运行维护。 这种传统的建设方式带来了两方面短板，一方面是较大型的业务系统在进行“摊大饼”式的建设，导致带来了越来越多的单点故障[4]潜在风险点；另一方面是微小型的业务应用，因其预算无法支持单独设备采购，往往采取了“寄居蟹”式建设，和一些其他业务应用合用一台服务器、操作系统、数据库等，在未来的系统运行维护中将会有遭遇较大几率应用系统不稳定性和管理混乱的风险。 所以无论是“摊大饼”还是“寄居蟹”，这对市农委信息中心机房来说都不是一个可持续的发展方式。 设备存量现状方面，近80%的设备购置时间超过5 年，超过90%的服务器主机仍在使用已经停止更新服务的Windows Server 2003 甚至更老的版本。 主干网络设备仍处于百兆带宽的水准。 整个机房的IT 基础设施处于老、旧、弱状态，难以满足市农业农村委员会系统推进信息化建设工作的需求，亟待进行升级改造。

2 建设过程

2.1 建设原则

2.1.1 技术架构标准化原则

在系统结构设计时，根据存储读取、业务访问、带外管理等需求采用了基于光纤通道Fiber Channel 技术标准以及以太网系列技术标准，规划了存储网络、业务网络和管理网络。 使用了思科N5K 系列光纤交换机，利用其整合的融合网络适配器CNA 同时支持以太网NIC 和光纤通道HBA 的特性，统一了光纤交换机前端服务器和后端存储传输协议以及传输效率的一致性[5]。 通过坚持统一规范的原则，从而为未来的业务发展及设备增容打下基础，可以保证系统在未来10 年内符合国际标准，并兼容相关技术。

2.1.2 实用且可靠原则

为确保设备设施性价比优、资金投入产出比高，在系统架构设计时，通过对各业务运营现状的了解以及一段时间的试用，并未采用技术理论较为先进的Openstack[6]云平台，而是从应用案例较多、投入运营时间较长、运营人力资源投入较少等实用性角度进行整体考量，最终选用了基于vSphere[7]的虚拟化解决方案。 此外，在设备选型上选择了拥有高标准、高质量、高性能的产品；在硬件架构上全部采用双接口的冗余方案，杜绝单点故障；在软件基础方面，要求虚拟化环境下的系统配置操作简单方便、安全可靠。

2.1.3 可升级可扩展原则

要求整个系统至少能够满足3—5 年市农业农村委员会信息化建设工作硬件需求，系统要具有较强的扩展性，预留了存储、网络、主机等资源的扩展空间，可以迅速、便捷的根据具体需求进行硬件基础资源的扩展。 同时，系统在不做较大变更的前提下，具备进行小版本平滑功能升级的能力。

2.2 设计和建设

为确保业务应用和生产数据的安全，上海农业云服务中心采用基于vSphere 的虚拟化技术进行设计和开发，整个中心由物理资源层、虚拟资源层、基础软件层组成(图1)。 云中心的计算资源建设于X86 架构服务器基础之上，实现对服务器资源的虚拟化整合与管理。 云中心的存储资源架构于SAN 存储网络基础之上，实现对存储资源的虚拟化整合与管理。

2.2.1 物理资源层

云中心的物理资源层由服务器、存储设备和网络设备组成。 其中，服务器根据机房已有的硬件条件，由新购联想机架式服务器和存量利旧思科刀片式服务器组成(表1 和表2)；云中心的网络分成业务访问网络、带外管理网络和存储网络三种互为独立的网络体系，其中业务访问网络和带外管理网络均采用独立千兆双电口网卡，与核心交换机连接，形成局域网的千兆访问网速。 存储网络由光纤交换机分别通过万兆网卡和HBA 卡与各主机以及存储连接，保证存储磁盘IO 高速读写速度。 存储设备由两台新购置的国产品牌存储和一台利旧存储组成。 所有存储皆为双控制器，构成云中心虚拟化存储资源池的物理设备基础。

表1 新购设备清单Table 1 List of newly purchased equipment

表2 利旧设备清单Table 2 List of used equipment

2.2.2 虚拟资源层

由于服务器厂牌、型号、配置不一，故通过虚拟化技术，在物理主机上安装ESXi 操作系统，构建了两个计算集群。 依靠FC SAN 技术，对存储完成了虚拟化，形成了一个60 TB 的存储资源池。 同时通过VMware vCenter，实现了快速的虚拟机部署、存储资源分配、主机管控和虚拟化资源池运行情况实时监控(表3)。 通过vMotion、DRS、HA 等vSphere 的原生功能，实现了农业云服务中心的高可用性。

表3 虚拟资源清单Table 3 List of virtual resource

2.2.3 基础软件层

通过前期对市农业农村委员会内部应用系统所涉操作系统、中间件和数据库的了解和调查，参照等级保护测评工作中对主机安全基线的要求，通过vCenter 定制了不同性能(CPU 核数+内存大小+存储容量)、不同功能(操作系统+中间件+数据库)、符合等保安全基线要求的系统模板。 通过模板发布虚机，云中心可以快速交付包含操作系统、中间件、数据库等基础软件在内的主机资源“套餐”，供开发或者运维人员快速部署业务应用。

3 成果及成效

3.1 建设实施

农业云经过了近一年的设备购置、利旧升级、软件调试等建设，形成了由20 台主机、2 台光纤交换机和3 台存储组成的虚拟化基础资源池，随后开展应用系统的迁移工作。 根据应用系统对业务连续性和资源性能的需求，将其分成了三个类型：核心应用系统、一般应用系统和正在开发的应用系统(图2)。 核心应用系统主要是门户网站类、政务服务类应用，直接面向社会公众提供各类服务，其服务状况由各监管机构进行实时监控。 对于此类应用系统，要求运维方提供迁移方案和回退方案。 在迁移实施过程中，采取传统物理服务器和虚拟机双线并行互备的方案，力减网站下线割接时间。 一般应用系统多为业务填报类系统，其在市农业农村委员会系统内的应用系统数量中占比较高，且需要账号登录信息才能使用。 因此，其迁移工作只能在非工作时间段展开，迁移方式多为在新开设虚机上重新部署业务应用的方式。 对于正在开发的应用系统，则在完成上述两种业务系统后，根据物理主机负载情况，对应系统虚机在各物理宿主机上做好合理安排，使其不影响前两类应用系统的运行。 经过一年多的系统迁移工作，目前已有超过30个市农业农村委员会系统内业务系统运行在云中心上。

3.2 运维保障

3.2.1 技术手段

VMware vCenter 自带的监控系统能对虚拟化资源池内的虚机进行管理，具有简单的监控功能，但是vCenter 的功能主要是体现在配置管理方面，在监控方面不论是展现手段还是分析方法都比较单一。 面对越来越多应用系统所带来各种各样的业务场景，vCenter 在日常运维方面越发显得单薄和力不从心。 为此，选用Veeam ONE[8]软件对云中心的日常运维进行监控和报告。 通过Veeam ONE 软件，实现了三大功能：一是丰富的报表功能，结合模型算法，给出虚拟化资源未来增长趋势，便于对于云中心的建设进行合理规划；二是在原有云中心生产环境监控的基础上，增加了备份环境监控的维度，对云中心运营环境的监控更加有效、立体；三是无代理、全天候的数据收集方式，确保上述功能的实现丝毫不对应用系统产生额外的性能开销。

3.2.2 管理制度

在建设云中心的过程中，除了做好技术方面的基础建设之外，在管理制度建设方面，拟稿印发有《上海市农业农村委员会网络与信息安全管理办法》。 该办法包括事件分类、事件分级、适用范围、工作原则、领导机构、工作机构、专家机构、预防措施、监测预警、预警发布、预警响应、应急处置、后期处置、应急保障、监督管理等内容。 还印发有《上海市农业委员会中心机房农业云平台管理规范》，此办法从控制云中心安全风险，减少异常故障的角度出发，设计了迁入申请表、主机基线检查表、迁入实施方案等标准化表单，规范了业务应用从迁入部署到日常运营的全过程。

3.3 应用效果

3.3.1 降低成本

一是利旧设备。 利用vSphere 支持广泛兼容性，将市农委信息中心机房内的原有设备投入到新的生产环境中去。 这样就跨过了硬件迭代发展后带来的门槛，最大化利用原有资产，保护了原有投资，走出了“抛弃式”的新建怪圈，为未来虚拟化资源池的扩展开拓了新的“集约型”发展模式。

二是降低硬件维保成本。 云中心的建设，破除了传统物理服务器之间的“藩篱”，大大提升了单台物理主机的利用效能。 近几年来，随着越来越多的应用逐步迁入云中心，机房内的主机数量由2015 年的100 余台降至2019 年的40 台，大大降低了每年机房的硬件维保费用。 承载的应用系统数量由2015 年的不到20 个升至2019 年的35 个，成为上海市农业农村委员会最重要的信息化建设基础设施。

三是降低运营成本。 一方面主机数量的减少，使得机房用电能耗不断降低。 据查，市农业农村委员会信息中心机房电费由2016 年5.5 余万元∕月，逐年降至2019 年4.8 余万元∕月。 另一方面主机数量的减少，也使得机房内配套网络设备的数量不断减少，简化了网络拓扑的复杂程度，降低机房总体维护成本40余万元。

3.3.2 安全可靠

相较于以前存在于传统物理服务器上的不同品牌型号、不同业务类型、不同实现方式的复杂的数据备份需求，vSphere 原生的数据备份以及快照功能，极大减轻了数据备份的难度。 此外，在云中心建设过程中，选用Veeam+Dell DD 的第三方备份方案，通过定时执行各虚机的统一备份任务，配合丰富的报表功能，使得数据备份工作自动化、简单化、可验证水平更高，大大提升了数据的安全性。 在传统物理主机架构中，如果要提高应用系统的可靠性，需要对每个应用系统进行集群环境配置，由此带来的是高昂的商业软件采购成本和运维成本。 此次云中心的建设，使得所有运行在云中心上的应用系统受到了vSphere 的HA、FT 等功能的保护，实现了在基础运营环境的高可用性，降低了实施成本，提升了应用系统的可靠性，总体提高了云中心对各应用系统运营稳态的保障。

3.3.3 效率提升

云中心建成后，原有的设备购置流程大为简化。 所有基于云中心建设的应用系统，从开发团队填写表单提出明确的IT 资源需求，到发布相关虚机，整个过程由原来数周时间变成了小时级别，大大加速了市农业农村委系统内信息化项目的建设速度。 对各开发运维团队提出的新增资源需求，云中心可以通过虚拟化统一管理平台，迅速编制相关虚机资源消耗报表，根据报表情况快速处置应用系统的资源需求。 云中心还可以快速搭建测试环境，供各应用系统进行软件功能测试、系统补丁测试、数据恢复测试等多种业务需求，从而实现云中心对各应用系统需求敏态的响应。

4 结论与思考

上海农业云服务中心的建设，提升了IT 资源的使用效率和应用系统的运营水平，降低了硬件的维护成本和能源的消耗水平，为上海市农业农村委员会信息中心机房的IT 基础设施提供一揽子式的升级方案，为上海市农业农村委员会开展下一步信息化建设打下坚实的基础。 随着信息化技术水平的快速发展，上海农业云服务中心还有进一步完善的空间。

一是网络安全防护永远在路上。 本次建设过程着力点放在包含计算、存储、网络等IT 基础资源的改造和扩容方面，对于虚拟化资源池的网络安全防护还有更大空间。 根据国家网络安全法、等级保护2.0等相关法律要求，各种网络安全事件频发、各种网络攻击手段不断翻新的当下，仅凭网络安全防护设备是不够的。 需要在未来云中心的运营过程中，根据网络安全对虚拟化及云计算等新技术的要求，按照轻重缓急的步骤，逐步加强上海农业云服务中心的网络安全防护工作。

二是云中心运维团队提出更高的要求。 云中心建立后，各业务应用共享一个虚拟化资源池，从技术架构来说是一个强关联的状态。 而各业务应用有半数以上来自于市农业农村委员会委内处室和直属事业单位，从管理架构来说是一个较为松散的“社区云”。 这一“强”一“松”造成了诸如各主机普遍存在资源分配率较高、资源利用率较低的问题、自行安装非业务应用软件问题、单台主机资源消耗过高影响所在集群多个应用访问体验问题等等，需要云中心的运维团队在技术上要引入更加合适、强大的运维工具，在管理上有更加合理、落地的制度安排，来保障上海农业云服务中心的正常运行。

三是云中心的功能上还有提升空间。 目前完成了虚拟化资源池的建设工作，从技术角度来看仅仅是为IAAS 层(基础设施即服务)的建设开头。 市农业农村委员会在2018 年完成了21 个网站的整合，在2019 年开始了生产业务数据的整合工作。 市经济与信息化委员会在《上海市政务信息系统整合实施方案》中提出了“加快推进本市政务信息系统整合，推进跨层级‘大系统’和跨部门‘大平台’建设”。 可见，政府部门的信息化建设正在逐渐提速，仅仅是硬件资源的整合和服务已渐渐不能满足未来的需求。 下一阶段，还需要努力提升上海农业云服务中心的功能，在结合市农业农村委员会需求的基础上，将上海农业云中心向PAAS 层(平台即服务)，乃至SAAS 层(软件即服务)进行提升、完善，加速上海农业农村信息化事业的建设。