智慧企业大数据综合分析平台设计

李少飞 韩栋梁 贺霄琛

(中国电子科技集团公司第二研究所,山西太原 030024)

0 引言

智慧企业是在传统企业的数字化、信息化和智能化的基础上,将先进的信息技术、工业技术和管理技术深度融合,从而产生的新型企业组织形态和管理模式。通过智慧企业建设不仅可以促进企业内部生产关系的转型升级,还能进一步释放企业员工的创新创效活力,为企业提供可持续发展的源动力。

随着5G技术的快速发展,物联网技术在智慧企业建设中得到广泛应用。同时,不断提升的工业设备智能化水平,也为智慧企业建设提供了良好的技术支撑。但众多企业在信息化建设方面,均存在多系统、不统一、不全面的情况,没有将信息孤岛、数据碎片等问题从根本上解决。因此,智慧企业的深入推进,必须要处理好企业各种海量数据,确保各业务数据的量化和集成,实现平台统一、管理智能协同[1]。

建设大数据综合分析平台可以对企业海量数据进行清洗、分析及展示,将数据转化为模型,植入大数据综合分析平台中,形成知识库和监测面板,提升运维监测能力。通过对数据进行分析,还可以发现隐藏在海量数据中的潜在价值,对业务优化、提升及指导业务方向有巨大的帮助。

1 系统总体设计

大数据综合分析平台系统总体架构分为系统层和资源层,系统层从下至上分别为数据库层、业务支撑层、业务系统层[2]。资源层包括云服务器、云存储和各种网络设备等。系统的总体架构如图1 所示。

图1 系统总体架构图Fig.1 System overall architecture diagram

数据库层对各个系统数据和采集数据进行存储和管理,然后业务支撑层对通用数据进行统一规范,定义统一的编码规则,保证企业数据的一致性,最后系统通过报表和看板方式展示采集并处理后的数据,集成到领导决策系统中。同时系统将协同办公、ERP系统、PLM 系统和MES系统链接集成到企业门户里,实现系统单点登录功能。

2 系统详细设计

系统采用大规模分布式架构,融合大数据分析技术,实现企业海量数据集中管理、结构化处理、存储、搜索、分析及可视化展现等功能[3]。

2.1 数据采集

通过系统集成采集各个系统数据和设备数据,对于无法通过标准协议采集的数据,自行研发Agent采集客户端,确保数据采集范围达到全量采集,满足对于数据全面采集的需求。

同时数据采集要做到准实时,确保数据丢失率不超过0.01%。对于Agent客户端需要支持远端统一集中管理,统一下发采集策略,启动和关停Agent。在非采集时间段,自动关闭Agent进程,确保对被采集端的影响降至最低。

2.2 数据处理

在系统管理页面中能够以可视、简便的方式对数据进行结构化处理,支持常见的数据提取规范,如:正则表达式、JSON、Grok等。除常规数据处理方式外,自研函数处理规则,以补充标准数据处理规范的不足。自研函数至少能够完成数据提取、组合、加密、转换、丢弃、克隆、创建、判断等动作。

2.3 数据存储

传统关系型数据库已不能满足海量数据存储的需求,因此系统使用分布式数据库,数据写入规范符合国际标准。同时,数据库提供丰富的API接口,便于数据的查询、调用及销毁。

很多数据在经历一段时间的利用和挖掘后,逐渐失去分析的价值。对于这些数据系统将其压缩并调度,存储在价格低廉的低转速硬盘,可以极大的提升数据的存储能力和数据有效利用率。

2.4 数据搜索

对于存储入库的数据,系统支持数据搜索,具有独特且易懂的数据搜索语言。系统支持模糊搜索、关键字搜素、判断搜索和多条件组合搜索,搜索时效性高,数据返回时间能够达到毫秒级。

数据搜索时间范围可自定义,搜索时间精准到秒。内置常见的时间范围,包括过去10分钟、过去30分钟、过去1 小时、过去1 天、过去7 天、所有日志,搜索结果可以导出,或者可直接将搜索结果以可视化图表形式展示。

2.5 数据分析

系统具有数据建模功能,数据存储结果能够根据现实应用场景自定义数据分析模型。依据数据分析模型,系统自动生成数据分析结果。以结果导向来挖掘数据潜在价值,实现数据的深度应用。

具体来说,系统能够依托复杂组合条件进行查询,并将查询结果依据特定算法进行计算,算法方式至少包括:唯一计数、移动平均线、扩展统计、衍生、求和、平均值等。

2.6 数据可视化

数据分析结果支持可视化呈展现,将数据以更加直观的方式呈现出来,清晰有效的传达与沟通信息。可视化展现方式包括:统计图、折线图、柱状图、散点图、饼图、热力图、地图、仪表盘等图形结构。图形结构支持自定义,包括颜色、粗细、填充色、告警颜色阈值、时间偏移等。

3 系统集成

在大数据综合分析平台中,需要频繁的采集各个系统和设备的数据,通过系统集成可以实现实时采集数据。针对不同的系统和设备,系统采用的集成方式也不同。系统集成如图2 所示。

图2 系统集成图Fig.2 System integration diagram

3.1 集成方式

(1)OPC通讯。OPC(OLE for Process Control)通讯指用于过程控制的OLE,通过在工业设备开发基于OPC协议的Agent采集客户端与大数据综合分析系统进行通讯[4]。工业设备数据采集主要采取此种方式。

(2)数据库通讯。数据库通讯指大数据综合分析系统采用创建远程数据库的dblink(Database Link)方式,通过dblink就可以像访问本地数据一样访问远程数据库表中的数据。ERP系统基础数据采集与PLM系统数据采集主要采取此种方式。

(3)Http接口。Http接口走http协议,通过路径来区分调用方法,常用的是get和post方法来请求,此集成方式简单快速且灵活。ERP系统业务数据采集主要采取此种方式。

(4)Web Service接口。Web Service走的soap协议,通过http传输,它使用xml消息格式来请求和传递数据。MES系统数据采集主要采取此种方式。

(5)Syslog协议。Syslog是一种工业标准的协议,可用来记录设备的日志。所有网络设备和安全设备通过Syslog协议,将日志信息以UDP方式传送到大数据综合分析系统,系统将数据处理后存储数据库中。

3.2 集成内容

(1)与ERP系统集成:与ERP系统集成采用数据库集成和Http集成方式,采集信息主要包括物料基础数据、订单信息、客户信息、供应商信息、原材料及成品的出入库单据、库存盘点信息等数据信息。

(2)与PLM系统集成:与PLM系统集成采用数据库集成方式,系统可采集PLM系统中的项目和合同信息,还可以采集设计图纸、工艺文件、BOM清单等数据信息[5]。

(3)与MES系统集成:与MES系统集成采用Web Service集成方式,系统采集生产订单、工艺数据、设备状态信息、产品生产过程信息、关键物料信息、质量信息、报警信息、环境数据等数据信息。

(4)与网络与安全设备集成:通过Syslog协议采集网络与安全设备系统日志,采集设备运行数据、事件信息与故障信息等数据信息。

(5)与工业设备集成:通过自行研发的Agent采集客户端,直接将采集数据存入系统数据库中,主要采集设备的生产信息与故障信息等数据信息。

4 结语

在企业现有系统和设备基础上,引入大数据综合分析平台,通过各种集成方式采集企业海量数据并处理后,形成数据展示及领导决策面板,为指导管理和生产提供准确及时的决策依据,在加快智慧企业运行的可靠性、安全性和先进性方面具有重要的意义,并可取得可良好的经济效益和社会效益。