高速公路云平台系统架构及关键资源配置设计

刘 攀

(河南省交通规划设计研究院股份有限公司，河南 郑州 450052)

当前，我国信息化建设总体上正处于由网络应用向集约化整合与协同应用过渡阶段.交通运输行业长期注重业务管理电子化，在公路管理、道路运输管理、航务管理等领域逐步形成了一套信息管理系统、积攒了一套宝贵的行业管理数据.“十三五”期间，物联网、云计算、移动互联网、大数据管理等新一代信息技术在交通运输行业得到了广泛应用.高速公路云计算平台中心主要为新一代高速公路智能、信息化路侧和通信系统、高精度地图与智慧管控系统等提供计算、存储资源，实现路侧信息化设备采集的数据接入与处理、与GPS/北斗地面增强基站系统的定位交互.本文在分析交通行业云平台建设现状的基础上，介绍高速公路私有云平台系统架构，对系统关键技术进行了研究，提出云平台关键资源配置设计方案.

1 高速公路交通云平台应用现状

近年来，随着交通信息化的发展，交通行业云平台主要应用在轨道交通、物流及高速公路上，主要分为自建的私有云和政府建设的政务云两个类别.政务云通常由各省政府建设，包括政务专有云、政务公共云、政务数据共享交换平台.其中，政务公共云承载面向互联网的政务信息系统及公众服务系统，政务专有云承载内部管理及业务系统，它们通过政务数据共享交换平台与网上政务服务平台进行对接，为全省信息化系统提供计算资源、存储资源和信息安全保护.

高速公路云平台建设通常采用自建私有云模式.李德生[1]就取消省界站前后云平台的需求和功能设计的变化，进行了系统分析，结合当前政策、技术背景与现实业务需求，讨论了基于取消省界站模式下的云平台系统设计.尹蔚峰、王栋[2]利用云计算技术，对江苏高速公路协同指挥调度平台进行架构设计，主要解决不同对象之间的数据调度，开创了高速公路路网指挥调度新应用.

虽然高速公路云平台建设已经普及，但由于各地在政策、数据使用上都有其不同的特点及独特需求.因此，其在云资源的规划中，依旧需要结合数据存储量级、资源调度弹性需求，进行合理的计算资源、存储资源及网络资源的规划设计，以避免在实际使用中资源浪费或冗余不足的情况，真正实现云内资源的合理调配.

2 高速公路云平台系统架构

高速公路云平台主要用于部署业务综合管理平台、车路协同系统的云端平台、高精度地图平台等，以满足资源弹性调度、扩展等方面的需求.云平台主要由基础设施层、资源池层、云服务层和管理域组成，系统架构如图1所示.

图1 高速公路云平台总体架构图

2.1 基础设施层

基础设施层是云平台的基础，包括服务器、存储、网络、安全等物理基础设施.云平台将这些设施集中部署，以组建数据中心.

2.2 资源池层

资源池层可以接入计算(虚拟机)资源池、存储(块存储、对象存储、文件存储、集中式存储)资源池、网络资源池以及安全资源池等.各种资源池可以根据项目需要进行构建.资源池在构建时，需要根据业务特点进行资源池分类.突发类业务需要进行动态资源分配，以保证核心业务高峰期时能正常访问数据.对于不确定的新增性业务，资源池需留有余量，以保证业务的快速部署和上线.

计算资源池：计算资源池主要由x86服务器构成，其统一部署虚拟化软件，以虚拟机的形式承载中心应用系统.所有的应用服务器虚拟为计算资源池，其对于计算资源的分配不再是常规的按照物理硬件分配，而是将核心的 CPU 和内存作为资源分配的主体.这样做的好处是计算资源可以在中断应用或业务的情况下被动态地、快速地重新分配，同一计算资源在不同时间段可以被不同的应用或者虚拟机使用.

存储资源池：存储资源池包含虚拟化平台所需集中式存储设备和分布式存储设备.根据存储需求的不同，存储资源池由块存储设备、对象存储设备、文件存储设备分别提供服务.存放在存储资源池中的数据，包括应用数据、数据库以及所有的虚拟机，其可最大限度地保证应用的高可用性.

网络资源池：网络采用云平台建设分布式存储系统.分布式存储本身节点之间存在大量的数据交互，为避免影响业务数据转发，网络采用三平面设计，即建设业务网络、存储网络、管理网络.

2.3 云服务层

云服务层作为云服务的管理及运营平台,主要包括服务自动化层、服务接入层(服务console层)及服务门户层.

服务自动化层通过对资源池层IaaS、灾备资源的封装，实现云资源服务的发现、路由、编排、计量、接入等功能，实现从资源到服务的转换.

服务接入层是云管理平台的对外呈现，分为用户门户及管理员门户.用户门户面向管理员门户，管理员门户面向系统管理员等.用户可通过服务租户自助操作门户(服务console),实现对服务的操作、使用、监控等全周期管理.

2.4 管理域

管理域包括运营域和运维域，它主要提供运营管理门户、云服务申请和自助服务控制台等，包括支持VPC管理、租户管理、服务目录、服务控制台、计量等运营管理功能.

3 云平台关键技术

云平台关键技术包括虚拟化技术、分布式存储技术、动态资源调度技术等.

3.1 虚拟化技术

虚拟化技术是云平台架构中的核心技术.虚拟化技术主要有计算虚拟化、网络虚拟化和存储虚拟化，云平台通过虚拟化技术，可以灵活地使用物理资源构建不同规模、不同能力的资源池，用于动态调配计算、网络、存储资源.

计算虚拟化：通过对服务器硬件虚拟化，在传统的x86服务器上建设多个独立的虚拟云主机，可以根据业务系统性能需要以及安全级别选择建设不同的云主机.计算虚拟化支持多路CPU虚拟技术，可为每个虚拟机提供一个或者多个虚拟CPU(VCPU)，可以对虚拟机的生命周期进行管理.

网络虚拟化：云平台支持VPC内部专有网络的划分、建立，允许用户自定义网络环境，为不同的业务系统及用户提供专有的网络和交换机，满足网络内部逻辑上的物理隔离.

存储虚拟化：通过在通用x86服务器上部署分布式存储系统，把所有服务器的本地硬盘组织成一个虚拟存储资源池.

3.2 分布式存储技术

存储根据其类型，可分为块存储、对象存储和文件存储.在主流的分布式存储技术中，HDFS/GPFS/GFS属于文件存储，Swift属于对象存储，而Ceph可支持块存储、对象存储和文件存储[3].采用分布式存储技术的分布式存储系统是一种具备良好的线性扩展能力(Scale-out)、高可靠、高性能、智能化、易运维的统一存储模式.

块存储功能：基于块的存储接口是最常见的存储数据方法，它们基于旋转介质，像硬盘、CD、软盘、甚至传统的9磁道磁带.块存储功能可应对虚拟化平台、数据库系统等场景，通过标准块服务为高性能业务场景提供更高IOPS的存储系统.

文件存储功能：文件存储功能提供文件存储服务.在不借助第三方程序功能的基础上，计算机可对文件构建多副本机制，提升海量文件存储的可靠性和可用性，具备传统NAS和统一存储不具备的灵活性.

对象存储功能：对象存储也叫基于对象的存储，是用来描述解决和处理离散单元方法的通用术语，这些离散单元被称为对象.就像文件一样，对象包含数据，但是，和文件不同的是，对象在同一层结构中不会再有层级结构.每个对象都在一个被称作存储池的扁平地址空间的同一级别里.文件和对象都有与它们所包含的数据相关的元数据，但是，对象是以扩展元数据为特征的.每个对象都会被分配一个唯一的标识符，计算机允许一个服务器或者最终用户来检索对象，而无须知道数据的物理地址.

采用分布式存储技术，有如下优势.

线性扩展能力：分布式存储系统所有的部件都可以进行线性扩展，横向扩展的数量无理论限制.当用户需要更多的存储资源时，他们只需以磁盘或服务器为单位进行扩容.集群容量可以根据实际业务需要逐步进行扩展，新加入的服务器节点可以在不中断业务的情况下自动纳入存储资源池，动态地迁移数据，这极大地缩短了扩容的时间，降低了扩容的难度.

高可靠：用户可以根据实际的业务需求为数据设置副本数量，分布式存储系统支持用户为每个存储区设置不同的副本数目，而且可以设置不同的副本分布策略.高可靠的最低限度是为了保障不同的副本可分布在不同的服务器和物理硬盘上，极大地提高了数据的容错性.

高性能：分布式存储系统存储容量和性能可随着服务器节点的增加而线性增加，提供比传统存储更优秀的性能.

3.3 动态资源调度技术

动态资源调度技术可以持续自动的平衡资源池中的容量，通过将物理计算节点进行池化管理，实现虚拟资源的均衡、集中等多种分布方式.当用户提交云资源申请时，云平台系统依据实时采集的数据，分析资源池的运行状态，在最合适的虚拟资源池中为用户提供服务.在资源池的负载情况超过预警值时，云平台系统会将新的资源请求转移到邻近资源池.

4 云平台关键资源配置设计

计算资源池承载云平台中业务系统的所有计算需求，存储资源用于提供结构化、非结构化数据的存储空间，网络资源负责提供云平台中的数据传输通道，它们是云平台建设的关键点.

4.1 计算资源

计算资源池承载云平台中业务系统的所有计算需求，设计师在对计算资源池进行设计时，既要保证整个计算平台的运行稳定，又不能过多地追求高性能，要做到合理选型，合理分配.

虚拟服务器系统以x86平台服务器作为基础平台，其在基础平台上通过部署云计算虚拟化软件完成资源池化，根据业务系统的不同需求生成不同配置的服务模板和虚拟机.

设计师在对计算资源进行规划时，要参考当前业务运行环境与新业务系统的实际需求，统计出不同虚拟机类型的虚拟资源的使用量.这里还要考虑关键虚拟机的可用预留空间以及未来三年业务扩容的预留需求.

把虚拟计算资源的需求转化成物理资源，其计算思路为确定虚拟资源的分类规格，选定拟采用的服务器 CPU/内存，确定 CPU/内存的计算能力，核算出单台服务器所能承载的最大虚拟机数目，根据虚拟机总数目，确认物理服务器数目,具体计算如表1所示.

4.2 存储资源

云平台采用分布式存储，除配置分布式存储软件和冗余的万兆交换机(光口)外，云平台提供实际处理能力和存储能力的标准x86服务器的配置原则如下：

1)CPU配置原则

分布式存储软件可运行的每个节点，为保障多业务并行接入、结构化数据和非结构化数据混合存储的特点，一般采用2个8核心的处理器.

2)内存配置原则

分布式存储系统下的x86服务器每个节点配置的内存配置原则为1TB存储容量配置1GB内存，例如每节点存储容量为120TB，则需要配置至少120GB的内存.在非高并发情况下，每节点容量可远高于最大内存支持能力.在高并发情况下，分布式存储系统应配置SSD来作为内存的扩充，满足缓存容量的要求.

3)SSD配置原则

分布式存储系统下，为了在有限的设备空间内获得最大的存储容量和系统性能，分布式存储软件应部署在SSD上.

4)硬盘配置原则

分布式存储具备优异的软件架构设计和硬件节点集成能力，数据存储磁盘无需采用10k/15k转速的SAS硬盘，而是采用单盘大容量的SATA/NL-SAS硬盘.分布式存储系统可选择主流、稳定的4TB和6TB硬盘，根据实际容量需求和服务器磁盘槽位数进行配置.

5)网卡配置原则

分布式存储系统的数据分散在不同的物理节点上.因此，存储网络应最大限度地减小响应延时，分布式存储系统通过配置冗余的万兆交换机(光口)作为交换节点，每台物理服务器需配置至少1块双口万兆网卡(光口)来进行设备接入.

4.3 网络资源

网络方案设计遵循高可靠性、高安全性原则，采用网络三平面设计.

云平台采用虚拟化技术，为云平台管理系统数据传输、存储数据传输、虚拟机内业务数据传输之间提供道路.数据中心将内部网络划分管理、业务、存储三个平面，以支持上述业务数据的传输，三个网络物理平面之间相互隔离，互不影响.服务器通过不同网卡接入不同网络平面，如图2所示.

图2 云平台网络拓扑图

云平台的二层网络结构采用扁平化组网方式，分为核心层和接入层.核心交换机承担着核心交换和数据汇聚的任务，其通过扁平化组网方式来降低网络复杂度，提高转发效率.云平台采用虚拟化集群和堆叠技术，解决二层网络架构链路环路问题，提高整体架构的可靠性.鉴于高速管理业务系统的高安全性、高扩展能力和可管理性的业务需求，云服务平台计算中心网络架构的总体规划要遵循区域化、层次化和模块化的设计理念，明确网络层次与各自的功能，提高承载的业务系统的可扩展性、可管理能力和安全性.

层次化设计：云服务平台的网络系统整体采用核心层、接入层的二层网络架构，扁平化组网结构利于网络的扩展和维护.

功能分区和模块化设计：网络架构按照功能分为管理区(包含云平台管理节点、网络节点和设备带外管理)、NAS存储区、业务区(包含计算资源区、分布式存储区).

从网络类型角度分析，云计算数据中心网络分为业务网、管理网、存储网和带外管理网，为了避免单点故障，所有网络设计采用冗余架构设计.

业务网：业务网是承载云计算数据中心的上层业务系统正常运行的网络系统.其主要包括：从服务器计算资源区到接入交换区、接入交换区到核心交换区以及核心交换区之间的业务互联.

管理网：管理网包括云平台管理网、心跳网，主要作用是在业务负载较重时，确保虚拟机的正常迁移,实时监控虚拟机之间的心跳状态.

存储网：存储网主要是完成云计算数据中心业务系统数据存储的通道.业务数据根据数据的多样性进行分类，分为结构化数据和非结构化数据.从数据本身来讲，数据还包括虚拟化平台的虚拟机文件数据.

带外管理网：带外管理网主要用于传输管理数据、统计信息等，其将网管数据与业务数据隔离开，充分保障业务网络的安全.

5 结语

云平台建设是未来高速公路信息化发展的重要基础，高速公路云平台可以为交通运输行业部门协同共享、智能化管理、大数据分析、便捷化服务等工作提供技术支撑，对建设“畅、安、舒、美”的出行环境有着重要意义.例如将高速公路沿线视频系统(包括道路、隧道、服务区、收费广场、超限检测站点、ETC 门架以及移动视频等)接入云平台，对各运营公司监控图像、数据进行共享.其目的有利于打破区域限制、信息孤岛和碎片化应用的限制，充分整合优势资源，实现视频资源共享共用，构筑协同调度指挥基石，提升高速公路网日常监测与协调管理效率.