骨干装备制造企业大数据平台构建

侯洪凤，任 意，张泽宇

（大连科技学院，辽宁大连116052）

骨干装备制造企业大数据平台构建

侯洪凤，任 意，张泽宇

（大连科技学院，辽宁大连116052）

如今，制造业正进入大数据时代，因此，针对辽宁省装备制造业两化融合的现状，探讨大数据平台构建的必要性和可行性，并尝试构建企业级大数据平台，帮助骨干装备制造企业开辟创新转型途径。

装备制造业；两化融合；大数据平台

一、工业大数据

大数据不仅指海量数据资源，也指能从海量异构数据资源中有效抽取出富含价值的信息前沿技术。大数据通常具有数据类型繁多、数据体量巨大、价值密度低、处理速度快等特点[1-3]。近几年，大数据受到广泛关注，在互联网、医疗、金融、电信等行业引发了应用热潮。相较而言，制造业对大数据的利用水平明显落后于其他行业[4]。

辽宁省骨干装备制造企业经过前期两化融合前期成果的积累，已经成功部署企业资源计划（ERP）、产品数据管理系统（PDM）、产品生命周期管理（PLM）等诸多信息化系统，单项应用已经非常普遍，部分企业已经实现综合集成。这些系统应用涵盖了产品的整个生命周期，从而积累了大量的传统数据。另外，制造企业通过内嵌入产品中的传感器及时获取机器运转中产生的大量实时监测数据。最后，随着互联网和工业深度融合发展，来自于外部互联网的数据，如声音、符号、图形、图像、视频等非结构化数据也在急剧增长。上述数据都是在工业领域信息化相关应用中所产生的海量数据，因此也被称为工业大数据。由于工业大数据来源广泛、数据量巨大、类型复杂、信息冗余，给处理和应用工业大数据带来了极大的挑战[5]。

二、构建大数据平台的必要性和可行性分析

（一）必要性分析

第一，从企业自身发展需求来看，辽宁省骨干装备制造企业两化融合卓有成效，如沈飞、沈机、鞍钢、大连机床，大连重工等企业两化融合已经具有较高水平，进入了集成提升和创新突破的发展阶段，借助大数据可以打造出信息化环境下的新型能力，实现企业跨越式发展。

第二，新形势下，装备制造企业面临巨大的外部压力。首先，客户需求多样化和紧迫性的要求，对于产品研制的周期要求越来越高；其次，产品体系复杂，对产品质量要求日益增高，全面质量控制越来越受重视；最后，随着土地、劳动力等要素成本的快速上涨，以及资源环境约束的进一步增强，我国制造业传统的低成本竞争优势不断减弱[6]。这些挑战根据传统方式很难解决，因此需要通过大数据来驱动创新，加快上市周期，提升产品质量，降低研制成本。

（二）可行性分析

技术可行性分析：在Hadoop、Spark、Storm等开源技术的影响下，大数据的技术壁垒越来越低，使得开展大数据业务的装备制造企业无需担忧技术实现问题，而是重点放到对需求的挖掘、分析和满足上。

社会可行性分析：国务院先后出台了《中国制造2025》、《国务院关于积极推进“互联网+”行动的指导意见》，辽宁省政府非常重视大数据，先后出台了《辽宁省促进大数据发展行动实施方案》等政策文件。辽宁省计划通过3—5年的探索，培育一批大数据骨干企业，通过大数据提升工业能力，推动老东北工业基地转型升级。

管理可行性分析：两化程度较高的装备制造企业采用大数据、物联网、云计算等技术实现企业现有信息系统的集成化和智能物联网化有着迫切的需求，希望形成产品全生命周期数据化管理和全局数据优化分析。企业的需求为这些核心技术的落地应用提供了良好的环境[7]。

三、平台建设

大数据平台的总体目标是搭建一个汇聚、存储、管理企业海量数据的平台，解决数据量暴增所带来的存储与计算问题，提供海量数据处理和分析能力，为产品全生命周期和企业生产经营各环节提供有价值的信息。

企业级大数据平台基于Hadoop平台，能提供海量数据的分布式存储和处理。它通盘考虑各种类型的数据采集、分级存储管理问题，以满足不同数据需求[8]。

大平台架构如图1所示，包括采集层、数据层和能力层，具体介绍如下。

图1 大数据平台架构

（一）采集层

采集层负责多渠道、多层面、快速、准确的收集数据。通过ETL（抽取、转换、清洗、装载）过程，采集加工操作环境中各信息系统中的数据；利用网络爬虫Nutch、Crawler、scrapy从互联网上收集数据；利用大数据框架下的Flume+Kofko技术实时收集海量日志；利用第三方数据采集技术获取客户、竞争对手等数据；利用数据接入技术实现多源异构海量监控数据的采集和融合。

（二）数据层

大数据平台架构在数据层采用数据分级存储的原则，可根据情况开放不同的数据开放接口满足不同需求。

1.将来自于各企业信息系统的数据，通过ETL工具进行清洗、转换，不做关联操作，将设计资源、制造资源、工程数据等基础数据加载到公共基础数据库,将事务数据、运营数据加载到ODS中。

2.利用网络爬虫、第三方数据采集、监控数据接入等技术将海量的流量话单数据、网页内容数据、上网日志数据等数据加载入Hadoop做长久保存。Hadoop进行非结构化数据分析，产生的结果加载到企业数据仓库中。

3.清洗、转换后的ODS数据，按照某一主题（生产管理、项目管理）构造数据间的关联映射关系，经过轻度汇总加载到主题分析库中。主题分析库经过深度汇总，生成综合数据加载到企业数据仓库中。

（三）能力层

在数据汇聚基础上利用强大的挖掘技术、分析技术、高维可视化技术等对数据进行有效跨域整合，对上层应用提供各种跨域数据处理和分析能力。

四、结论

对装备制造企业来说，大数据代表的不仅是一种先进的数据处理技术，而更多的是一种管理理念的变革。所以，工业大数据从量的积累到价值的突破，从让决策层认识工业大数据到利用大数据技术重塑核心竞争力和加快制造业转型升级，还需要很长的路[5]。不同的企业有不同的基础和目标，装备制造业应该根据自身情况选择由不同应用场景驱动大数据开发，循序渐进，逐步建设，直到形成服务于产品全生命周期的实时的、整体联动的IT解决方案。

[1]孟小峰，慈祥.大数据管理：概念、技术与挑战[J].计算机研究与发展，2013，（1）.

[2]王元卓，靳小龙，程学旗.网络大数据：技术与挑战[J].计算机研究与发展，2013，（6）.

[3] 邬贺铨.大数据时代的机遇与挑战[J].求是，2013，（4）.

[4] 宫夏屹，等.大数据平台技术综述[J].系统仿真学报，2014，（3）.

[5]高婴劢.工业大数据价值挖掘路径[J].中国工业评论，2015，（3）.

[6]张翔，赵群.大数据时代中国制造业创新发展试述[J].中国制造，2015，（8）.

[7]张洁.大数据助力装备制造业的智能化[J].电器工业，2016，（2）.

[8]陈娜，等.基于Hadoop的电信BSS大数据平台建设研究[J].电信科学，2013，（3）.

F426.61

A

1673-291X（2017）35-0026-02

2017-09-23

辽宁省教育厅科学研究一般项目（W2015076），辽宁省教育科学“十三五”规划项目（JG16DB061），辽宁省大学生创新创业训练计划项目（201613207000035）

侯洪凤（1979-），女，山东莱州人，博士研究生，副教授，从事企业信息化建设，车间调度研究。

[责任编辑 张宇霞]