信息系统迁移上云与异常检测方法
2021-11-30康睿唐海荣王振颍管建超程航
康睿,唐海荣,王振颍,管建超,程航
(1.南京南瑞信息通信科技有限公司,南京210037;2.国网安徽省电力有限公司信息通信分公司,合肥230061)
0 引言
随着大数据时代的到来[1-2],信息量飞速增长,传统的电网信息通信运维系统已经无法支撑及时响应任务。目前,电网内部系统出现了系统超期服役、系统无法及时响应紧急任务等问题[3],因此有必要结合当前新兴技术对现有电网内部系统进行改进。
数据时代的到来催生了很多新兴技术,例如云计算[4-5],大数据[6-7]等。目前这些技术已经相当成熟,通过这些技术建立的云平台由于其可靠、响应快速、高自动化、功能和业务丰富、建设成本低廉等优势被广泛应用于很多行业的系统改进[8-9]。
为了全面验证云平台和数据中台对核心业务应用的支撑能力,研究关键问题,探索运营模式,形成典型经验,为指导后期国网云和数据中台建设工作提供依据,有必要进行系统迁移上云设计与应用[10]。本文选取调运检系统微服务版本作为试点系统,对其进行上云设计与应用,并针对系统数据进行异常检测。调运检系统作为信息运行业务的重要支撑系统,历经多年发展演进,系统既包含传统Web应用,也包含数据采集与处理分析模块,采用的架构覆盖面全,能够对后续其他业务应用上云起到指导作用,具备典型意义。调运检系统微服务版本是在系统传统架构版本基础上对平台模块进行微服务化改造形成的版本,该版本采用了主流SpringCloud框架,在开源K8S环境开展过运行验证,具备试点迁移上云基础。
1 现状分析
电力云平台架构包括云IaaS层、PaaS层、SaaS层以及云安全防护,基础设施服务(IaaS)是整个云平台的底座,提供通用的资源管理、资源调度和资源交付功能。主要服务内容包括计算服务、存储服务和网络服务。平台层服务(PaaS)为各类业务应用提供通用软件类支撑。中间件服务,提供应用通用运行环境或运行框架;数据库服务,提供各类数据存储服务;大数据与人工智能,提供人工智能算法训练平台和通用算法库及技术方案。云平台架构如图1所示。
图1 云架构
2 上云技术方案
2.1 迁移上云策略
传统架构的电力信息系统在与云融合过程中,存量业务系统建议针对业务系统属性分别采用基础改造上云或微应用改造上云两种模式,新增业务系统建议采用微应用设计上云。基础改造上云,应用按需调整,传统架构的存储、数据库、中间件通过对应的组件承载上云;微应用改造上云,需对业务应用进行分布式、微服务和微应用改造,涉及应用、数据、技术架构的调整;新增业务系统按照微应用模式开展应用设计工作、数据层采用分布式架构,部署实施直接上云,业务迁移上云对应的策略如图2所示。
针对典型架构信息系统架构分析,与云平台组件梳理对应,组件迁移映射选型方案如表1所示。
表1 组件迁移改造选型方案
根据架构现状和组件分析,迁移改造工作主要包括三部分:
(1)容器平台及微服务架构模块迁移,对开发框架和运行环境进行适配性改造,纳入云架构体系。
(2)基础组件改造上云,将数据库、中间件等通过对应的云组件承载上云,对应使用的模块改造。
(3)传统架构模块上云,将传统架构模块迁移至云虚拟机,并进行验证。
(4)系统数据异常检测。
其中,传统架构等模块为后端服务程序,不适合进行微服务化或容器化改造,保留现有架构,采用云ECS虚拟机的方式进行部署。
2.2 容器与微服务迁移
微服务架构模块目前基于SpringCloud框架开发,全部迁移入EDAS体系,充分利用EDAS的应用部署管控能力和微服务治理能力;同时,开展基于微服务架构的微应用试点设计开发工作。云EDAS体系兼容SpringCloud框架,在实际应用上略有不同,通过对微服务架构模块的适配性改造使其对接云服务注册发现组件ANS和统一配置服务组件ACM,并能纳入EDAS应用全生命周期管理和监控机制。微应用架构模块如图3所示。
图3 微服务架构模块
将传统架构下信息系统架构中Oracle、MySQL、Redis、MongoDB和ActiveMQ进 行 全 部迁移改造。云平台提供的云数据库组件RDS、KVStore for Redis、MongoDB、Apache RocketMQ
覆盖了原架构中相应基础组件提供的服务能力,Oracle采用逐步改造迁移的方式,其他组件直接一次性改造适配。
图4 基础组件模块
2.3 异常检测算法
本文提出系统迁移上云设计框架,通过大数据云计算使得系统服务范围更加广泛,有利也有弊,这也对系统数据的安全性造成了威胁,本文设计一种数据异常检测算法,实现较高检测率和较低的误检率,从而保证信息系统迁移上云时数据信息的安全。
异常检测一般分为三模块,分别为数据预处理模块、特征提取模块以及数据异常检测模块。
在数据预处理模块,需要将系统原始数据进行数据清洗,得到异常检测所需要的数据形式。假设原始数据X={{(xi,yi)}n i=1},其中yi表示xi对应标签类型,即是否为异常数据,n为数据个数。对其进行标准化操作。
对数据集X求均值如公式(1):
接着进行标准化处理如公式(2):
接着进行归一化处理如公式(3):
其中σ为数据集X的标准差。
数据经过数据预处理模块可以提高其在异常检测模块的聚类收敛速度,从而使得异常检测更加高效。
求解矩阵C的特征值和特征向量,计算贡献率,根据贡献率排名第一的特征向量,即为数据集对应的数据特征D。
在数据异常检测模块进行异常检测,计算相似度:
其中γ为控制阈值。获得的相似度值约接近0,则其越有可能是异常值。
3 实验验证
本文以国网安徽电力调运检微服务系统为例,通过系统数据上报并进行响应验证和一致性评估,将国网安徽电力调运检微服务系统迁移上云,从而实现系统的部署,弹性伸缩、灰度发布以及故障自愈。通过实验验证,访问系统验证已迁移部署功能模块,系统功能使用正常,实验效果如图5所示。
图5 实验验证
为验证本文中异常检测算法的可行性和性能,本文以电力调运检微服务系统采集上传的数据为训练测试数据进行实验验证,按检测数据数量分为五个测试集测试三种不同的方法。其中测试集1包含500个数据,测试集2包含1000个数据,测试集3包含1500个数据,测试集4包含3000个数据,测试集5包含5000个数据。如下表所示为本文的异常检测算法分别与SVM,ANN网络算法的准确率比较。可以看出虽然随着测试数据的增多,检测准确率不断降低,但是本文提出的异常检测算法其降低速度明显慢于后两者,且其准确率也高于后两者。
表2 准确率对比
4 结语
针对当前数据信息化运维系统无法快速响应紧急任务、存在硬件平台超期服役等问题,本文提出一种系统迁移上云的可行性分析和上云改造方案,将系统服务全部迁入企业级分布式应用服务体系,通过EDAS的优势,实现业务应用快速部署和快速响应,从而实现弹性伸缩、灰度发布以及故障自愈等功能。最后通过实验验证了方案的可行性。