APP下载

大型传统企业应用大数据技术探索与实践

2019-09-10王玮

科学导报·学术 2019年22期
关键词:数据安全管理企业

王玮

摘要:随着企业数字化转型、工业互联网的发展,数据资产的重要性日益突出。互联网企业已将成功将大数据技术应用于精准营销、辅助决策等生产活动的各个方面。但针对传统企业如何将大数据应用于经营生产,尚未有成熟的应用模式。本文通过多大數据技术的研究,从大数据平台、数据建设方法、预期收益等角度分别论述。

关键词:大数据;数字化转型

1 传统企业应用大数据技术难点

传统企业在信息化的建设过程中,往往重应用,轻数据。通常存在以下问题:1生产过程中生成的大量现场实时数据、非结构化数据(文件、音视频等)未进行有效长期存储,生产业务相关数据资产未进行很好的沉淀保护2未形成统一的数据标准,分公司之间的数据难共享,形成数据孤岛;3存在数据缺失、数据不一致、数据可信度低的情况;4数据权限类型等级不明,无法对数据实现分级分类的管理,存在敏感数据泄露的风险;5数据利用率低,数据的分析不够直观;随着业务发展和信息化建设,以上问题愈发明显,数据的资产价值较难体现。

特别是随着大数据技术的不断成熟,数据的价值正不断挖掘,但传统企业往往陷入懂业务的人不懂数据技术,懂数据技术的不懂业务的两难境地。

2传统企业应用大数据技术的关注点

在应用大数据技术中,构建企业统一的大数据技术平台是较为成熟和可行的方式,将公司海量数据在一个平台上进行集中存储、建模、分析,通过“数据生长在一起”的方式,使得数据资源跨区域、跨层级、跨部门的互联互通、融合成为可能,从而不断洞察数据价值。因此,如何构建一个大数据平台至关重要。

2.1多样的数据采集存储

与互联网应用不同,传统企业有大量的现场设备/设施的数据需要采集(如工业控制系统数据、生产装置的数据、能源消耗的数据等等)。因此,在搭建数据采集模块时,除了要考虑传统的oracl/mySql/DB2、NoSQL、文档等数据的采集外,还需要能够采集视频数据、各类传感器数据、能够支持OPC/MODBUS等多种工业协议。存储的选择也要根据数据类型的不同,选择合适存储类型。通常,结构化数据库(如ORACLE)、非结构化数据库(如HBAS)、文件存储(如HDFS)、工业实施数据存储(如PI实时数据库)都必不可少。

2.2海量的数据处理

大数据的特点就是数据量大,在数据处理中,重点应该关注离线数据处理和流数据处理两种技术。离线处理主要用于批量的结构化数据的计算,可以提供海量数据数据的分析建模服务。用户可以不必关心分布式计算细节,从而达到分析大数据的目的。实时流处理技术旨在更少的时间内处理更多的数据,具备强大的实时处理能力,例如现场设备的实时诊断、同步预警等都需要用到流计算。

2.3统一的数据治理

各分支机构遵循同一套标准进行开发,坚持“事中实时监控拦截、事后有效管理改进”,从而实现数据质量的自运营机制,确保数据质量满闭环管理。

在数据治理中,模型的分层设计,是较为重要的一环,通过模型的统一分层设计,,使得懂数据处理技术的人员关注于物理的表结构、存储空间等;使做数据分析的人员能关注在业务层面,屏蔽技术细节。通常可分为三层模型:数据缓冲层保持与原系统模型及数据一致。数据仓库层对脏数据清洗、标准化、主数据检测、数据更新归档合并等。数据集市层按照业务设计分域整合主题模型,面向业务应用。

2.4分级的安全防护

通过数据分级分类,明确了需要重点保护的敏感数据资产,从数据安全生命周期角度出发,采取管理和技术两方面的手段,在数据安全生命周期的每一个阶段,都有相应的安全管理制度以及安全技术保障。研究数据权限管理、数据安全等级管理和数据脱敏管理。通过对数据生命周期(数据生产、数据存储、数据使用、数据传输、数据传播、数据销毁)各环节进行数据安全管理管控,实现数据安全目标。

3 数据建设的方法

与传统信息系统建设相比,数据建设更加强调统一的数据资产管理。应该首先根据企业的业务流程,在企业业务规划阶段,同步制定出各个业务环节过程中的数据模型,通过统一规划设计,确保数据治理。同时在信息系统建设中,强调对需求的数据建模,将数据模型建立从原来的系统开发中抽离出来,作做单独的环节。具体的执行步骤如下图:

4 大数据技术对企业的价值

通过实践表明,数据质量高、数据分析能力强的企业,在经营决策分析、精细化管理、一体化协同方面明显具有较大优势。数据带来的价值简要分析如下:

1.通过数据模型的建立,将数据沉淀为业务经验,提升数据分析能力与利用效率。

2.通过标准编制和数据清理,对数据资产进行统一集中的管理,提升数据资产质量,实现数据从开发到运维的全程高效管控。

3.通过各业务的数据的汇总标识,率先在数据层面,实现跨业务的数据打通,通过数据分析,洞察业务机会点,延长产业链拓展产业的范围,促进不同业务领域的一体化协同。

4.通过产业数据资产化促进数据变现,洞察业务,借助数据分析逐渐渗透到各产业及业务场景,进而探索服务新业态激活产业新动能。

参考文献:

[1]  企业级大数据平台构建:架构与实现 [M].机械工业出版社,朱凯,2018

[2]  企业IT架构转型之道 [M].机械工业出版社,钟华 2017

(作者单位:中海油信息科技有限公司)

猜你喜欢

数据安全管理企业
部署推进2020年电信和互联网 行业网络数据安全管理工作
工信部:2021年初步建立网络数据安全标准体系
2018上海企业100强
数据安全政策与相关标准分享
2016,中国企业500强发布
采用C—NCAP 2006年版管理规则
营销管理
“这下管理创新了!等7则
新申请企业一经受理便预披露
新申请企业一经受理便预披露