大型传统企业应用大数据技术探索与实践

王玮

摘要：随着企业数字化转型、工业互联网的发展，数据资产的重要性日益突出。互联网企业已将成功将大数据技术应用于精准营销、辅助决策等生产活动的各个方面。但针对传统企业如何将大数据应用于经营生产，尚未有成熟的应用模式。本文通过多大數据技术的研究，从大数据平台、数据建设方法、预期收益等角度分别论述。

关键词：大数据;数字化转型

1 传统企业应用大数据技术难点

传统企业在信息化的建设过程中，往往重应用，轻数据。通常存在以下问题：1生产过程中生成的大量现场实时数据、非结构化数据（文件、音视频等）未进行有效长期存储，生产业务相关数据资产未进行很好的沉淀保护2未形成统一的数据标准，分公司之间的数据难共享，形成数据孤岛;3存在数据缺失、数据不一致、数据可信度低的情况;4数据权限类型等级不明，无法对数据实现分级分类的管理，存在敏感数据泄露的风险;5数据利用率低，数据的分析不够直观;随着业务发展和信息化建设，以上问题愈发明显，数据的资产价值较难体现。

特别是随着大数据技术的不断成熟，数据的价值正不断挖掘，但传统企业往往陷入懂业务的人不懂数据技术，懂数据技术的不懂业务的两难境地。

2传统企业应用大数据技术的关注点

在应用大数据技术中，构建企业统一的大数据技术平台是较为成熟和可行的方式，将公司海量数据在一个平台上进行集中存储、建模、分析，通过“数据生长在一起”的方式，使得数据资源跨区域、跨层级、跨部门的互联互通、融合成为可能，从而不断洞察数据价值。因此，如何构建一个大数据平台至关重要。

2.1多样的数据采集存储

与互联网应用不同，传统企业有大量的现场设备/设施的数据需要采集（如工业控制系统数据、生产装置的数据、能源消耗的数据等等）。因此，在搭建数据采集模块时，除了要考虑传统的oracl/mySql/DB2、NoSQL、文档等数据的采集外，还需要能够采集视频数据、各类传感器数据、能够支持OPC/MODBUS等多种工业协议。存储的选择也要根据数据类型的不同，选择合适存储类型。通常，结构化数据库（如ORACLE）、非结构化数据库（如HBAS）、文件存储（如HDFS）、工业实施数据存储（如PI实时数据库）都必不可少。

2.2海量的数据处理

大数据的特点就是数据量大，在数据处理中，重点应该关注离线数据处理和流数据处理两种技术。离线处理主要用于批量的结构化数据的计算，可以提供海量数据数据的分析建模服务。用户可以不必关心分布式计算细节，从而达到分析大数据的目的。实时流处理技术旨在更少的时间内处理更多的数据，具备强大的实时处理能力，例如现场设备的实时诊断、同步预警等都需要用到流计算。

2.3统一的数据治理

各分支机构遵循同一套标准进行开发，坚持“事中实时监控拦截、事后有效管理改进”，从而实现数据质量的自运营机制，确保数据质量满闭环管理。

在数据治理中，模型的分层设计，是较为重要的一环，通过模型的统一分层设计，，使得懂数据处理技术的人员关注于物理的表结构、存储空间等;使做数据分析的人员能关注在业务层面，屏蔽技术细节。通常可分为三层模型：数据缓冲层保持与原系统模型及数据一致。数据仓库层对脏数据清洗、标准化、主数据检测、数据更新归档合并等。数据集市层按照业务设计分域整合主题模型，面向业务应用。

2.4分级的安全防护

通过数据分级分类，明确了需要重点保护的敏感数据资产，从数据安全生命周期角度出发，采取管理和技术两方面的手段，在数据安全生命周期的每一个阶段，都有相应的安全管理制度以及安全技术保障。研究数据权限管理、数据安全等级管理和数据脱敏管理。通过对数据生命周期（数据生产、数据存储、数据使用、数据传输、数据传播、数据销毁）各环节进行数据安全管理管控，实现数据安全目标。

3 数据建设的方法

与传统信息系统建设相比，数据建设更加强调统一的数据资产管理。应该首先根据企业的业务流程，在企业业务规划阶段，同步制定出各个业务环节过程中的数据模型，通过统一规划设计，确保数据治理。同时在信息系统建设中，强调对需求的数据建模，将数据模型建立从原来的系统开发中抽离出来，作做单独的环节。具体的执行步骤如下图：

4 大数据技术对企业的价值

通过实践表明，数据质量高、数据分析能力强的企业，在经营决策分析、精细化管理、一体化协同方面明显具有较大优势。数据带来的价值简要分析如下：

1.通过数据模型的建立，将数据沉淀为业务经验，提升数据分析能力与利用效率。

2.通过标准编制和数据清理，对数据资产进行统一集中的管理，提升数据资产质量，实现数据从开发到运维的全程高效管控。

3.通过各业务的数据的汇总标识，率先在数据层面，实现跨业务的数据打通，通过数据分析，洞察业务机会点，延长产业链拓展产业的范围，促进不同业务领域的一体化协同。

4.通过产业数据资产化促进数据变现，洞察业务，借助数据分析逐渐渗透到各产业及业务场景，进而探索服务新业态激活产业新动能。

参考文献：

[1]  企业级大数据平台构建：架构与实现 [M].机械工业出版社，朱凯，2018

[2]  企业IT架构转型之道 [M].机械工业出版社，钟华 2017

（作者单位：中海油信息科技有限公司）