运用大数据平台推动产品质量管理水平提升

张宝玉

摘 要：本文结合唐钢近两年来信息化及智能制造建设的经历，详细介绍了大数据平台的项目实施背景、建设思路和过程、实时数据库与关系数据库复合应用、多元异构数据的集成挖掘及产品关键工艺参数对应钢卷具体位置匹配等关键性技术、创新点和取得的效果。阐述了钢铁企业如何运用大数据平台推动产品质量管理水平提升的相关经验及体会，对工业企业如何运用大数据技术推动产品质量管理水平具有较高的参考价值。

关键词：大数据；信息化；质量管理；数据挖掘

中图分类号：D261.41 文献标识码：A 文章编号：1671-2064（2018）23-0023-02

在世界经济的大数据时代，数据已成为最重要的企业资源。有效利用和开发大数据潜在的价值，是钢铁企业走出同质化竞争迷局、摆脱亏损困境的重要途径。本文结合唐钢近两年来信息化建设经历，简要阐述了钢铁企业如何运用大数据平台推动产品质量管理水平提升相关的经验和体会。

1 研究的背景和意义

在大多数制造业企业中，质量管理受制于信息化总体架构、基础自动化普及程度、质量管理理念等多种因素，往往只能按工序关注产品最终的质量结果，这种质量管理下产品质量过程无法控制，废品率高，也无法满足客户越来越关注产品质量过程和质量可追溯的需求。

通过建立大数据平台，运用信息化和自动化技术手段将全流程的工艺数据、质量数据、生产数据结合在一起，构成了全工序、全流程的质量追溯数据源，可用于质量分析、决策、研发，此项目在国内外均属于大数据集成应用于工业生产的成功案例。

本项目旨在公司多年信息化建设取得成果的基础之上搭建公司全工序、全流程质量管理大数据应用平台，使过程数据参与质量判定，实现产品全流程质量跟踪，并通过数据挖掘技术最终生成产品综合质量分析报告，帮助质量管理人员准确把握产品质量，快速定位质量失控工序及失控原因，不断优化质量控制工艺参数，最终达到全面提升公司产品质量的目的。

2 研究内容和过程

2.1 总体思路

第一步：通过搭建和不断完善公司大数据平台，将公司从炼钢、连铸、热轧、冷轧各工序与产品质量相关的生产实时数据、质量数据、工艺数据采集存储到公司大数据平台数据库中。

第二步：利用全过程质量控制系统TPQC（Through Process Quality Control）进行面向生产流程的质量监控与修正；将过程曲线数据和质量缺陷图与产品件次信息匹配起来，为质量管理系统QMS（Quality Management System）的产品质量判定提供更加全面的数据支撑。

第三步：运用大数据集成和多维度数据挖掘技术将与产品相关的各工序生产过程数据进行汇总，形成中央质量数据库，并在此基础上开发相关的质量报表，为改进产品的生产工艺设计提供数据支撑。

2.2 详细技术内容

2.2.1 架构搭建

大数据平台的整体架构分为数据采集平台，数据存储平台和系统应用平台三层。数据采集平台结合现场实际情况，采用不同采集方式采集现场实时生产数据；一部分是由实时数据库PI和关系型数据库Oracle结合共同搭建，彼此间配合形成数据交互，利用实时数据库存储包含钢卷宽度、厚度等产品质量参数的实时数据，利用Oracle数据库存储通过算法规则计算出的产品起止时间、质量参数起止时间等单值数据，二者共同实现对产品参数的位置匹配。另一部分则由TPQC系统处理表检仪上传来的缺陷图片。钢卷参数曲线数据与缺陷数据共同为QMS系統提供质量判定的依托。系统应用平台对存储的大量的生产相关数据进行数据挖掘和二次计算，用以质量管理，指导生产，追溯产品质量，为生产者做出决策提供条件与依据。总体架构，见图1。

2.2.2 数据采集与存储

根据各条生产线的实际情况，数据采集的方式分为以下几种：

（1）Wincc接口机；从Wincc工程师站读取数据方式，具体实现方式为安装PI -OPC接口软件读取本地的WINCC系统数据，通过以太网把数据传送到PI接口机，PI接口机另外一块网卡通过防火墙向PI服务器传送数据。此种采集方式既能保证数据的实时采集，同时能缓解现场PLC的压力。（2）网关机：用基于Linux操作系统的智能数据采集网关实现工业现场多种设备的数据采集功能，并以标准协议方式或专用接口将数据实时推送到PI实时数据库系统。（3）离线文件解析：该类方式有两种情况，一种是IBA-PDA的数采形式，一种是ODG的数采形式。该种数采方式的主要步骤分为文件的生成、传输、接收、数据解析及存储。此两种采集方式所行成的打包文件中的数据采集频率能达到50-100ms，应用于热轧、冷轧产线，保证质量数据的精确度。

2.2.3 板卷匹配

采集到PI数据库中的参数都是时间序列的数据，对于连铸板坯和钢卷，需要把数据匹配到板坯或者钢卷位置上，我们主要采用速度积分的方法进行测算，拟合出一条速度方程，根据参数的起止时间计算出长度与参数值的对应关系，然后提供给QMS系统。

2.2.4 中央质量数据库

利用大数据集成技术整合多元异构数据建立统一的中央质量数据库。首先在底层的设备级，通过工厂数据库的大数据平台获取不同工序段匹配到板卷的各类生产工艺数据；第二层车间级，将各工序数据以车间为单位存储并集成来自其它信息化系统的质量相关数据；第三层工厂级，建立公司级数据库应用即中央质量数据库，将分布在各工厂各车间的数据以成品件次为单位抽取集成整个生产过程中的质量相关数据，并对数据进行清洗、一致化，形成以件次产品为单位从原料到成品的可追溯数据流。

中央质量数据库以分散收集、集中处理的方法将数据整合在一起，其中集中处理即收集各产线各工厂的数据后以产品件次为单位将生产过程中的所有工艺、生产、质量数据与产品件次建立维度关系并分类存储，打破工厂和产线限制以产品件次为索引将数据集中处理。因此中央质量数据库集成的数据不局限于种类，不受限于地理位置、工厂、产线、设备等。分散收集、集中处理形成横向最宽纵向最深的数据追溯链，实现了大时间跨度、分散存储、多数据源、复杂异构数据的面向产品统计分析的重新组织，形成了以产品为中心的、全生命周期的、面向分析决策的数据仓库，有效的集中存储和管理了庞大的质量信息资源，解决了信息孤岛问题，为质量决策提供了完整、精确、高效的数据。

2.2.5 质量报告系统

质量管理报告系统实现大数据系统应用，将中央质量数据库的数据按照质量分析的主题重新组织，形成既有细节，又有经过统计分析和数据挖掘后的不同维度、不同程度、不同跨度的汇总数据。例如中央质量数据库将以往不能保存和历史查看的一二级生产过程单值数据、曲线数据从钢卷的生产时间轴换到位置轴上，使每米钢卷的过程数据准确对应。在此基础上开发的质量管理报告能够快速响应用户的复杂查询和分析计算，统计出产线KPI和SPC，用以协助质量决策分析产线制程能力评估，大大提高了质量管理工作的效率，为企业的生产经营决策提供了科学的依据。

质量报告分为应用类和管理类两大类型报表。应用类报表用于生产综合查询与统计、质量数据查询与统计、工艺数据查询与统计、各类KPI统计等，管理类报表则提供了各类指标的计算以及分析功能。各类报表全面、真实的反应了现场生产情况，为优化工艺、评估产线生产能力和新品种开发提供了数据支撑。

2.3 实施效果

2.3.1 实际完成情况

（1）不断完善数据采集系统，质量管理数据自动采集率达到90%以上；（2）优化数据存储和服务器系统，系统的无故障运行时间99%以上；（3）优化和完善数据匹配程序，质量数据的自动匹配准确率95%以上；（4）质量数据覆盖公司全部原料、成品，定制開发各类型管理报告、分析报告，形成统一的可追溯数据管理平台，有效促进品种开发和质量设计优化。

2.3.2 同类技术比较

国内绝大多数制造业的信息化系统架构主要有两种类型，一为起源于美国MDES公司的ERP系统架构，二为台湾中冠推行的面向企业定制开发的大三级架构。在这两种架构中质量管理被定义为在第三层中与计划管理、库存管理同级的模块。它受制于信息化总体架构往往只能按工序关注产品最终的质量结果。大数据平台的建立改变质量管理在传统ERP系统架构中的角色定位，将原来在ERP第三层实现的应用分别在二级与三级、三级与四两个新中间层实现，使数据的收集与管理不在受限于产线、工厂等，建立起从铁水到钢水、到热轧再到冷轧过程的全流程数据跟踪管理，实现全流程质量管理的落地，保障生产线上能够源源不断地生产出满足客户需求、质量过硬、客户信得过的高端产品，促进企业产品升级，提升企业效益。全流程的工艺数据、质量数据、生产数据有机结合在一起，构成了全工序、全流程的质量追溯数据流。

2.3.3 平台的其他作用

（1）沿产品制造生产工序，实现全工艺流程的质量数据集成。（2）集成多个系统数据，解决信息孤岛。（3）全面真实的反应产线生产情况。（4）一、二级生产过程数据永久保存。（5）大数据分析整合，提供各类分析指标，为优化工艺、评估产线生产能力和新品种开发提供数据支撑。

3 创新点

3.1 实时数据库与关系数据库复合应用

该大数据平台的数据存储模块采用实时数据库与关系型数据库相结合的方式，关系型数据库方便查询，但在大量数据写入上存在劣势，而PI实时数据库正好在大量数据写入上提现出了明显的优势，针对两类数据库自身的存储特点，分别存储实时数据和单值数据，彼此之间交互关联，为匹配跟踪算法提供平台支撑。

3.2 关键工艺参数对应钢卷具体位置测算

对关键工艺参数实现产品位置跟踪，也就是要将现有的生产实时数据通过对速度拟合方程进行积分的方式，计算出位置关系。同时对一些采集点进行二次计算，转换为指导生产的关键性参数方便管理者决策。

3.3 数据仓库技术

数据仓库是一种优化管理、提供决策支持的企业数据解决方案，专门用于存储和管理海量数据，是在传统数据库基础上对数据的重新组织，是面向主题的、集成化的、稳定的、随时间变化的数据集合，用以支持管理决策的过程。

3.4 多元异构数据的集成和挖掘

生产数据经历各道工序，涉及众多信息化系统，系统间有相互通讯连接也有互为信息孤岛的，所应用的存储和数据技术也各不相同。此平台的构建对这些数据进行集成存储，形成可追溯流，为管理者进行生产指标分析、产线生产能力评估、工艺优化、质量优化、新产品研发提供了完善全面的数据基础。

4 结语

天睿数据公司大中华区首席执行官辛儿伦对新浪科技表示，随着大数据时代的到来，企业应该在内部培养三种能力。第一，整合企业数据的能力；第二，探索数据背后价值和制定精确行动纲领的能力；第三，进行精确快速实时行动的能力。做到上面的几点，当大数据时代来临的时候，面临大量数据将不是束手无策，而是成竹在胸，而从数据中得到的好处也将促进企业快速发展。

唐钢通过几年来不懈的努力在大数据平台的建设和应用方面已经积累的一些经验，但这些对支撑企业的发展还远远不够，我们愿意继续砥砺前行，不断拓展大数据平台应用的深度和广度，为企业发展不断开采“数据金矿”。