从过度计算到梯式计算
2020-01-16蒋平刘鹏
文/蒋平 刘鹏
1 背景
随着物联网以及5G技术的快速发展与应用,越来越多的传感器与智能设备联网进一步渗透至各行各业,覆盖“人、车、物、事、境”,记录着相应目标物的身份、行为、位置、轨迹等。信号灯控制、自助安检、流感禁戒、智能音箱……在智慧城市的建设中,无时无刻不产生大量数据。
从设计需求角度来看。智慧城市作为一个新生事物,城市规划、建设、管理和服务是循序渐进地开展,具体应该怎么设计,数字孪生怎么建设,怎么更好地实现人类目标等,需要不断探索。因此,设计需求并不能一次性100%提出,设计目标也难以保证实现100%的期望值,计算架构因此需要不断适应新的设计需求。
从系统安全和网络治理的角度来看。网络系统不可能保证100%的安全性,各种网络犯罪难以完全遏制,寄希望于通过一次清理将网络治理得干干净净,或者彻底保证系统安全,并不现实。只有通过多种措施,尽可能防范或避免安全漏洞,并能在受到安全危害后尽可能降低损失。
过度计算的困境:
在大数据、云计算以及物联网技术的推动之下,从各类终端采集的数据会源源不断地上传至云端数据中心进行计算与存储。IDC(国际数据公司,International Data Corporation,简称IDC)此前曾做出预测,2020年将有超过500亿的终端与设备联网,随之而来的则是呈指数级别增长的数据量。如果将上述数据都上传至云端处理,这样的“过度计算”显然面临困境。
图1:梯式计算架构图
从计算本身来看,过度计算沿用传统大数据中心的计算模式,在一定意义上,可以理解为由CPU堆砌而成。高功率CPU支持的超级计算性价比如何?计算能否达到既定目标?难以言明。如果旨在提高计算性能,仅仅依靠搭积木式的高功率CPU堆砌显然不够,提升性能与体系结构设计、高速互联网、系统软件、储存列阵等关系紧密。任意环节出现问题,都将直接影响计算性能。比如,当网络性能不足时,由此造成的数据拥堵将直接拉低整体系统效率。
从安全应用来看,在过度计算中,当所有数据向云平台集中,以及所有数据都通过大数据技术处理时,频繁的数据交互,不仅会占用大量带宽,影响传输速率,同时由于数据的处理和分析,也将造成较大的延迟。这不可避免地将为应用带来不便,同时在安全性、可靠性、实用性等方面,也成为了问题滋生的土壤。虽然百分之百的绝对安全是一种理想状态,但是通过探索新的计算模式以实现相对安全仍然是题中应有之义。
从治理角度来看,目前“云管端”作为一种新的技术趋势,成为了一种新的选择。“云”是指云服务,“端”是智能终端,而“管”则是连接两者之间的设备。不同于以往将所有数据汇总到数据中心处理,在“云管端”下,“由边缘端开展业务应用,由云端进行管理”的模式逐渐盛行。即使如此,这也并不是唯一的选择。不同的应用场景需要选择适用的计算方式,以实现各方资源的共享。同时,由于对计算的需求有脱实向虚的倾向,治理风险仍然存在,同时难度也有加大的趋势,计算模型与架构的选择应充分将风险治理考虑在内。
因此,传统的依靠单一集中处理方式的“过度计算”架构已经越来越不能适应新的环境要求,迫切需要建设融合多种计算模式,同时具备柔性、包容、安全的新型自适应架构。梯式计算为这一困境提供了方法。
2 梯式计算
本节首先介绍梯式计算的架构和特征,再探讨如何通过梯式计算来应对过度计算存在的问题的具体措施。
2.1 梯式计算的架构
集中式计算由小型机、大型机构成,数据全部存储在系统上,所有的计算由该系统完成,所有的任务都在主机上运行。分布式计算是透过互联网,把需要大量计算的任务进行分割,由网络中多台计算机分别计算,实现按需提供共享计算、存储、应用等资源的计算模式。智能计算是应对AI趋势的新计算形态,是“云+端”的协同模式,具有传统应用的计算能力和面向AI的计算能力。而梯式计算是对集中式计算、分布式计算、智能计算的融合,它在云与端之间存在多个梯级。其架构如图1所示。
由图1可以看出,梯式计算从架构上分为业务应用层、分组控制层、网络层和传感层。2.1.1 传感层
涵盖了物联传感器、视频摄像头、雷达、通信部件等各类终端,这些终端彼此间可能是独立的,也可能是相互结合在一起。
2.1.2 网络层
主要是实现融合与互联,功能上包括网络联接管理、边缘计算、业务本地存活、协议转化等。边缘计算和业务本地存活对智慧城市、智能交通调度、无人驾驶汽车等场景应用是非常重要的。在物联网领域存在特别多的协议,来自于各行各业的积累,需要在网关上做协议的转换,将数据统一承载在网络上对外传输,故协议转换也是该层的重要功能。
2.1.3 分组控制层
对网络层上传的数据进行统一的处理,向上传输到业务应用层。同时对下层的计算资源、网络资源、传感器等进行管理,提供网络部署、配置的自动化工具。
2.1.4 业务应用层
主要是各行业各类应用业务,如智慧城市、智能交通调度、无人驾驶汽车、公共安全监控、智能家居等。
梯式计算能够就近提供智能互联服务,其融合计算、存储、网络、业务应用等核心开发平台,将计算任务从云数据中心,逐步分层分级的迁移到边缘端,满足物联网时代不断增长的数据催生的对边缘计算的需求,满足各行业在智能化转型中的关键需求,具备巨大的市场空间,未来梯式计算将更好的推动人工智能、万物互联的技术发展。
2.2 梯式计算的特征
作为集中式计算、分布式计算、智能计算的充分融合,梯式计算博采众长,具有跨时空应用、分时共享、智能计算、跨域共享等多种特征。通过应用梯式计算,在无需“数据搬家”的前提下,实现了从数据共享到信息共享,最终达到智力共享的过程。
2.2.1 跨时空应用
梯式计算以互通互联为核心,通过建立连接传感层、网络层、分组控制层以及业务应用层的梯级平台,实现资源的跨时空聚合。因此,无论用户在何时何地,都可不受时间与地域限制,通过电脑或者手机快速查看数据与信息,并为下一步举措提供参考,这在智慧安防、智能家居等领域都有着广泛应用。
2.2.2 分时共享
梯式计算突破了传统云计算模式的瓶颈,在大数据、物联网、人工智能等技术支持下,不仅实现了资源的充分整合,同时在进行资源分享时,应用多重程序与多任务处理等技术,使得多个用户可以分时共享CPU、软件以及数据等资源,进一步提高了资源利用率以及系统吞吐量。
2.2.3 智能计算
梯式计算在人工智能的加持下,通过“云”、“管”、“端”的联动,分散数据存储与处理压力。具体而言,通过人工智能分析,将感知终端能够存储与分析的数据就地解决,需要由云端处理的部分传至云端,并在“管”设备的支持实现互通有无,而处理结果将如同爬梯子逐级上传过滤与集中,最终落实到具体应用。
2.2.4 跨域共享
无论是对于各种传感器设备采集而来的图片、视频等多种数据资源,还是在此基础上经过分析处理而来的共享信息与智力成果,通过梯式计算,即使需要的文件在其他服务器上,也可通过属性设置,在自己的服务器上运行它,从而实现跨域名、跨端口、跨协议的跨域共享。
2.3 应对措施
本节从计算空间、响应时间、信息安全、网络空间治理等角度出发,进一步探讨梯式计算在解决过度计算困境方面的应对措施。
2.3.1 计算空间
据IDC发布的“数据时代2025”研究指出,2025年全球约20%的数据是实时数据,该类数据无需汇聚到数据中心处理,可以由用户的系统完成处理和存储需求,加强边缘端存储和处理更多数据的能力。在现有智慧城市环境下,大多数的数据靠近数据源,仅部分数据分析需求要依赖于网络带宽,而传统的大型数据中心是物理集中的,几乎所有数据都在一个核心完成集中处理,不符合目前人工智能和物联网技术发展的应用需要。采用梯式计算的方式则可解决这类问题,可在数据源端启用具备数据实时处理能力的设备,或在靠近数据源的地方部署小型数据中心,在空间上形成物理集中逐步变为逻辑集中,分层分级的开展服务,因此未来智慧城市的数据中心不会像如今的数据中心般拥有大型仓库的规模。
2.3.2 响应时间
由于智能交通、无人驾驶汽车、智能家居、工业互联网等各类应用场景的日益普及,产生的数据量大大增加,用户对海量数据信息的实时性需要也随之提高。在智慧城市中,不是所有的数据都需要长期保存,部分数据是需要实时计算的,如果把所有数据全部上传到数据中心,将会出现网络带宽资源过度浪费和高时延问题,但如果采用梯式计算,将部分数据在边缘服务器上进行实时分析和处理,或直接在终端设备上运行,就能够大大降低了时间延迟,使得业务应用上得到的反馈更加迅速,更好的改善用户体验。同时,不必将所有数据都上传到数据中心,也降低了网络传输压力,减少网络堵塞。
2.3.3 信息安全
软件开发行业里有个名词,叫“千行代码缺陷率”,意思是指一千行代码就有可能存在一个漏洞,意味着世界上没有绝对安全的系统。美军在信息安全领域上追求的也只是相对安全,要求自己的安全防护机制比对手的更晚被攻破。在云计算架构中,所有数据都要上传到数据中心,在这个过程中数据安全性就成了一个重要问题,从个人隐私数据、金融交易账户、搜索引擎记录到城市视频监控等都存在数据泄露的风险。而梯式计算在很多情况下,不需要将数据上传到数据中心,只是在边缘端进行处理,因此也从源头处解除了类似的风险,使信息安全不再束手束脚。
2.3.4 网络空间治理
梯式计算融合了云计算与边缘计算的优点,能够更好的支撑业务智能化处理与执行,特别是在人工智能、物联网、移动互联等技术带动下,能将内容交付网络(CDN)的速度与云的优势相结合,形成新一代网络结构,其与CDN的规则有点类似,试图通过尽可能接近最后1公里来提高性能,希望让计算处理更接近用户。梯式计算通过缩短终端与为其提供服务的云资源之间的距离,减少网络跳数,减轻互联网的延迟和带宽限制,在分散的计算模型中数据处理能在用户处开展,将有效的提升网络整体能效,同时还可以引入新的业务需求。在梯式计算的帮助下,计算能力能够传递到网络的逻辑终端,提升业务应用的服务性能、可靠性和运营效率。
3 梯式计算的部分应用场景
3.1 智能交通调度
对于智慧城市建设而言,梯式计算将在公共交通的智能优化方面发挥巨大作用。通过梯式计算,有关部门能够及时处理交通需求、车流量监测、车辆间距检测、道路负荷监测以及车辆报警等信息,对道路路况、车辆进行实时监控,降低事故发生率,提升道路通行效率,实现公共交通的实时智能优化。
例如,深圳交警借助边缘计算服务器,搜集实时交通数据,将交通数据存储、过滤、处理后,上传到大数据平台,平台根据提供的准确信息,依据拥堵区域、道路、位置点等多维数据进行实时拥堵分析,再将智能分析后的结果传到边缘端,实现信号配时优化由被动变主动,从局部到宏观,整体上提升深圳交通管制效率。据了解,通过信号调优方案,深圳市高峰期部分重点路段运行速度提高15%。
3.2 5G下的无人驾驶汽车
无人驾驶汽车的实现必须要做到“眼观六路”、“耳听八方”,这会在汽车与云平台之间传输大量的数据,需要保证网络的传输速率和低延迟,5G技术的部署,带来的高网速、低延时是推动无人驾驶汽车落地的核心通信技术,没有高度可靠的网络环境,无人驾驶汽车几乎难以实现。
据悉,每辆无人驾驶汽车预计每天会产生几千GB的传感器数据,5G网络可以将数据及时传输到云平台,但是云平台可能无法实现及时处理;又如,如果车辆监测到前方有障碍物时,将视频数据上传到云平台,云平台瞬间完成了运算,并将指令发送给车辆,车辆随即按指令做出躲避、刹车等动作,但如果信息传递过程中出现的延迟,极有可能导致车祸的发生。因此,采用梯式计算的方式,可以将车辆产生的数据边缘计算,允许边缘端节点处理更多的需要实时处理的数据,为云平台减少负荷,避免信息传输的延迟,这将对无人驾驶汽车的发展起到重大支撑和推动作用。
3.3 大规模人脸识别
在城市各个角落中部署着大量的视频监控摄像头,用来应对新型犯罪及社会管理等公共安全问题。为此,以云计算、大数据、万物互联为技术基础,融合边缘计算模型和人脸识别技术,能够构建基于梯式计算的“新型人脸识别应用服务系统”,该方式提高了前端设备的智能处理能力,将部分或全部视频图像分析处理迁移到边缘端,降低云平台中心端的计算、存储、网络等资源要求,提高大规模人脸识别分析速度和分析效率,进而增强刑事犯罪破案和防范恐怖袭击的能力。同时,梯式计算的方式也能为视频监控系统提供预处理机制,如实时提取、分析视频图像中的行为特征,根据当前场景行为感知数据处理方式,并实时调整视频数据,这样既减少无效视频的存储,提升存储空间利用率,又可以最大化集中存储视频数据,增加证据类信息的可信性。
4 结语
在物联网与5G技术的推动下,数据量呈现指数级增长,单一的集中式计算或分布式计算已难以适应发展现状与未来需求。而梯式计算融合了集中式计算、分布式计算、智能计算特性,具有跨时空应用、分时共享、智能计算、跨域共享等优势,并通过计算空间、响应时间、信息安全、网络空间治理等角度,提出梯式计算解决过度计算之困境,表明梯式计算这一新型计算架构可广泛用于智慧交通、智能安防等智慧城市建设领域。
更正
兹有贾盼斗、尹春华同志发表在《电子技术与软件工程》杂志2019年10月下半月刊第250页中《基于Bayesian信息度量方法》一文,文章作者更正为贾盼斗、尹春华、陈志聪,其中陈志聪作者的简介及单位为:
陈志聪(1995-),女,山东省青岛市人。硕士研究生。主要研究方向为确信可靠性。
北京航空航天大学云南创新研究院 云南省昆明市 650000
《电子技术与软件工程》编辑部
2019年11月