APP下载

超大线网标准城轨云及共享数据平台分析

2024-06-14李美邱烨刘德坤蒋庆付港

交通科技与管理 2024年8期

李美 邱烨 刘德坤 蒋庆 付港

摘要 针对当前轨道交通行业大数据平台数据共享能力不足等问题,文章设计了面向超大网线标准的城轨云,以大数据平台为城轨云数据嵌入模式,通过与不同业务系统数据库的对接,在实现“一云承载”功能的基础上,对其智能辅助决策、区域协同的线网运输衔接等关键功能展开分析。最后对其共享数据平台基本架构展开分析,并总结了该次研究的创新性,希望为相关地区城轨云建设提供支持。

关键词 超大线网标准;城轨云;共享数据平台

中图分类号 U29-39文献标识码 A文章编号 2096-8949(2024)08-0009-03

0 引言

现阶段城市轻轨建设已经成为缓解城市交通压力的重要组成部分,而为进一步提升轻轨项目综合管控能力,越来越多学者开始认识到云计算技术的先进性,希望借助大数据与云平台系统构建新型管理架构。在这一技术背景下,超大线网标准因为具有信息资源高度统一的优势,可满足线路、车站业务、承载线网等诸多信息资源共享的需求,成为未来城轨云系统建设的新方向,值得关注。

1 基于超大线网标准的城规云设计方案

1.1 关键技术选择

研究中所选择的关键技术,是在云脑平台基础上形成的大数据技术,可提供面向数据采集、数据处理、数据治理等多元化服务。其关键点包括:

(1)在安全数据集成中采用Streamsets技术,作为一种强效的数据采集工具,可支持非结构化数据与结构化数据处理要求。

(2)在数据库实现中采用了面向大数据的Neo4j原生图数据库,该数据库具有完整的Java引擎,可具有成熟健壮的数据库的所有特性,并且可以将存储数据转换为Beam分布式等多元数据结构。

(3)大数据计算中采用分布式批量算法,通过MapReduce框架完成分布式数据处理,支持创建拓扑结构实现数据编辑。

1.2 城轨云系统框架

在该次面向超大线网标准的城轨云设计中,云数据融合平台通过搭建统一的数据中台与业务中台可实现海量数据的共享,并且与常规城轨云系统架构相比,该次系统设计通过存储资源池完成核心数据库业务的集中存储,并且在执行阶段也可根据城轨云不同类型数据制定对应的存储方案。例如,针对ISCS以及ATS等关键数据,考虑此类数据精准度会直接影响行车安全,因此在该系统中采用SAN集中存储模式;而对于其他通用的云服务数据,在综合考虑云数据存储与应用场景的情况下,决定采用分布式存储模式。

为满足上述数据正常使用要求,该文在城轨云系统设计中通过大数据服务器提供平台功能支持,并在逻辑功能上嵌入功能分层,确保整个系统在建成后可满足虚拟数据中心日常数据处理的要求[1]。最后,该文所介绍的超大网线标准城轨云平台也可支持基础设施即时服务的要求,可面向系统运行提供关于数据计算、数据安全的功能;通过平台即服务(PaaS)组件整合系统共享效果,实现数据采集标准化处理,为整个系统架构的智能应用服务奠定基础。

该文提出的超大线网标准城轨云的系统架构资料如表1所示。

在表1所介绍的超大线网标准城轨云的系统架构中,系统可实时记录整个城轨云数据资料,并在内部实现关键数据的清洗、转换与标准化处理等。同时,系统针对不同层级建立的高级应用模式可直接访问不同数据服务平台,并通过数据采集、数据缓存与数据治理等方法充实数据库内容,为整个系统运行提供良好的数据支撑。

1.3 超大线网标准城轨云实现的关键技术

1.3.1 数据治理操作方案

(1)数据治理方案:

1)数据治理操作要点。该系统在数据助力中将引入遗传算法理念,其关键技术方案包括:①通过设定不同数据的编码,将城轨云的空间参数改造成单一编码形式,每个编码分别对应相应的空间个体,在经过健全性与非冗余性编码处理后,可通过候选解为遗传处理的染色体,其中所有非冗余性数据均与对应的候选解以及染色体数据相对应[2]。②生成种群。利用遗传编码组成若干基因种群,并且在初始种群中可随机产生若干个体,每个种群中都包含了若干个可能解,其生成策略包括:a.可根据现有经验掌握最优解的空间位置,并在空间数据中确定初始种群资料。b.通过随机生成的若干最优个体做迭代,随着迭代次数的增加,使种群数量满足规定,最终形成初始种群。

2)遗传算法的运算过程。在该次数据治理中,遗传算法的运算步骤如下。

步骤1:数据处理初始化。在遗传算法中设定进化代数计算方式,假设初始计数t=0,则最大进化代数T[0,1],此时可生成M个初始个体,形成初始种群,此时初始群体P的表达方式为P(0)。

步骤2:采用个体评价方法,分别计算个体在群体P(0)的适应度情况。

步骤3:运算前先选择算子,其目的是将优化后的个体遗传到下一代中。

步骤4:通过交叉运算方法,将最终计算得出的交叉算子运用在群体上即可。

步骤5:终止计算条件,当遗传算法处理结果显示t=T时,则证明得到的数据具有最大适应度,即可将其作为最优解输出,终止计算。

(2)  数据治理系统实现。在该次数据治理架构中,应确保城轨云平台可满足不同来源数据存储、应用、管理的要求,并且可满足生命周期内各类主数据与元数据处理要求,最终以数据资产地图的方式完成整个数据治理过程。上述数据治理目标实现的关键操作方案包括:

1)经数据标准化处理后,为城轨云的主数据提供唯一的ID标识,并且该标识可在整个超大线网标准城轨云中实现,该平台在建立主数据ID与各功能模块的ID映射表后,即可在平台上存储关联性数据[3]。

2)在数据治理中可通过统一元数据管理,根据数据库建立的对象及其属性表的关联,形成数据字典。该字典可记录城轨云的实时数据与静态数据,以城轨云的智能视频技术为例,在数据字典中可通过动态视频目标识别、动态视频目标定位等关键资料,并通过不同目的完成追踪与定位[4]。

1.3.2 数据服务模式

在数据服务模式选择上,应重点考虑数据处理的通用性、安全性等要求,利用大数据平台提供的标准接口,即可通过数据挖掘算法等模式降低数据处理难度。

根据数据服务模式的成功经验可知,在超大网线标准城轨云数据处理中可引入深度学习实时模型,该模型在数据处理中可通过实时流处理组件(如Redis等)即可实现数据实时处理。该次系统设计中采用了不同数据服务模式,主要包括:

(1)历史数据共享服务模式。在该次城轨云数据处理中,将通过大数据采集城市轨道交通子功能模块运行的历史数据,根据大数据服务目录选择相应的应用程序编程接口网关查询数据[5]。在该次数据处理中为避免在应用程序编程接口服务中出现二次开放等问题,研究中将通过动态接口网关技术,在支持应用程序编程接口信息编辑的同时,可通过灵活查询的方式增设相应的查询场所,并提供结构化查询语句服务。

(2)实时数据共享。实时数据共享是超大线网标准陈桂云的重要组成部分,该次系统设置上为确保能够适应实时数据推动的要求,将通过监控数据流任务发送操控指令,并且为提升数据处理效率,将采用Flink框架和分布式处理引擎,使信号处理效率达到秒级演示,以满足城市轨道车辆运行监控要求[6]。

2 面向超大线网标准的共享数据平台实现

2.1 共享数据平台的建设模式

在该数据共享平台建设中将通过对比应用驱动导向的分散建设模式,因此在共享数据平台中将通过数据统一驱动方式完成关键数据交互,并形成与之相适应的数字化驱动底座,整个数据共享平台可提供统一数据集成、完整数据服务与共享的要求,其整体架构如表2所示。

2.2 共享数据平台实现策略

该文在共享数据平台实现中,结合线网数据内容与来源等提出了一种混合实现策略,其关键点包括:

(1)结构化数据存储。在该次数据存储方案中将结合不同业务主题构建Hive数据仓库,并配合在线数据分析等方式,将处理后的共享数据上传至数据库平台上[7]。在数据层实现中,可通过关系型数据库集群来满足不同共享业务下的数据处理要求,该技术的主要特征就是可以针对每个SMP节点运行对应的操作系统与数据库,在关键数据信息采集中可通过不同节点之间的信息交互功能完成共享数据分配,因此具有更高的数据处理效率[8]。

(2)半结构化的数据支持方案。针对共享数据平台中的文本、日志类数据,为满足其实时分析的要求,应将其解析为结构化数据,并配合NoSQL数据库实现在资讯采集后,即可根据其业务类型做现场数据处理。此时为保证数据处理效率,可采用数据追溯技术,其关键点包括:①数据来源追溯,即对数据的来源做跟踪、分析,判定数据资源的真实性与可信度,或者通过整合各类数据的采集时间与地点,也可通过大数据的方式,按照数据采集方式与采集人员等标准进行现场划分。②数据传输追溯方案。通过对数据传输过程做跟踪分析,评价各类数据的完整性与可信度,常见的追溯方式包括检查数据传输地点、时间或者传输方式等,可对数据传输的安全性等关键指标做出有效评价。③数据处理追溯。以判定数据真实性、可信度等为评价目的,需要查阅的内容包括数据处理流程、方法以及数据处理人员等[9]。

2.3 共享数据平台的安全性评估

为实现共享数据安全处理的要求,在该次平台设计中将通过面向全生命周期的安全防护模式达到彻底消除潜在危险的目标,其安全处理内容包括:评估防护对象安全性、评价安全角色、分析安全威胁、制定生命安全周期等,在确定城轨云安全防护节点以及中心云平台功能的基础上,将其作为安全评价防范的关键。

同时为确保整个数据安全性评价过程均具有可控性,在安全性评估阶段将通过数据安全标记等方法,实现城轨云边界模糊化处理,并利用安全标记强防设计方法,将共享数据平台中的安全生产网、内部管理网、外部服务网及运维管理网等业务数据整合在一起,避免因为非正常数据传播而引发安全性问题[10]。

3 创新性评价

该文的创新性是提出了适应标准化、自主化的城轨云系统架构,该系统架构实现了一云承载,并且在系统数据处理等方面充分发挥遗传算法等科学手段优势,该系统采取的数据治理操作方案在数据标准化处理与统一元数据管理中发挥着重要作用。并且实践结果显示,该系统在数据精度等方面具有明显优势。该文将引入损失模型计算系统处理效果,其计算方法如公式(1)所示。

(1)

式中,minJ(θ)——数据损失函数,该数值越大,证明数据误差越高;n——研究对象总例数;w——神经元中的层数;i——数据修正值;t——数据处理时间参数。如表3所示:

根据表1所记录的数据可发现,该系统的minJ(θ)均小于等于0.020,提示数据精准度较高。

在共享数据平台建设中,该次研究不仅考虑各类数据安全性问题,同时,在系统设计中可将数据共享安全处理集中在安全威胁、生命周期等几方面,并配合数据传输追溯方案等一系列安全措施,配合共享数据平台实现策略可实现数据存储与数据支持要求,可满足复杂条件下的数据共享要求。

4 结束语

通过超大线标准城轨云及其共享数据平台系统建设可显著强化系统功能,达到实现云业务连续性的目标。该文所开发的数据共享平台在数据处理精度、安全性上均具有一定优势,满足城轨云的功能集约化要求,对于整个城轨云系统功能攻关、强化系统功能的意义重大,值得推广。

参考文献

[1]陆诗钊, 刘魁, 沙东强. 基于城轨云的网络安全纵深防御体系研究[J]. 都市快轨交通, 2023(5): 44-50.

[2]王伟, 牛昌平, 张超, 等. 面向城轨云的安全资源池设计方案与实践[J]. 铁路技术创新, 2023(3): 177-182.

[3]严浩毓. 城轨云平台上AFC建设的模式分析及选择[J]. 科技与创新, 2022(16): 88-90+93.

[4]沈光亮. 以云平台为底座的城轨云架构研究[J]. 都市快轨交通, 2020(5): 1-6.

[5]许尚农, 张敏波, 吕宇, 等. 自主可控的城轨云与大数据平台关键技术研究与应用[J]. 都市快轨交通, 2022(6): 51-58.

[6]徐鹏, 王立刚, 周晓宇, 等. 城轨云平台测试平台的系统功能与性能测试[J]. 城市轨道交通研究, 2020(9): 189-194.

[7]赵振杰, 郭建伟, 刘海川, 等. 基于城轨云的全自动运行系统设计与实践[J]. 城市轨道交通研究, 2021(10): 213-217.

[8]王皓. 智慧城轨云平台和数据平台及网络安全融合协同技术研究[J]. 都市快轨交通, 2022(6): 64-68.

[9]陈瑞军, 王晓东. 基于城轨云的地铁视频存储系统设计与应用[J]. 自动化仪表, 2021(9): 92-94+98.

[10]谢正媛, 刘霞, 李雅卓. 城轨云平台网络安全方案浅析[J]. 网络安全技术与应用, 2020(11): 124-126.