基于大数据的产品质量信息管理系统研究

雷林林，葛智君，罗剑武，李浩波

（1.工业和信息化部电子第五研究所，广东 广州 511370；2.工业装备质量大数据工业和信息化部重点实验室，广东 广州 511370）

0 引言

质量是企业的生命线，是生产力水平的综合反映，是消费者利益所在，产品的质量问题直接关乎着整个企业的效益[1]。随着新一代产品功能复杂程度和科技含量的不断增加，系统高度综合，软硬件的比重越来越大，大型试验不断地增加，产品质量可靠性问题越来越突出，因此产品使用阶段的售后维修问题也越来越多，产品质量管理的难度越来越大。

大数据技术作为新一代信息技术，具有复杂的数据处理、存储和分析能力，是实现数据融合管理、数据分析、知识决策和数据交换的有效途径[2]。产品在研发生产、检验试验和售后维修等生命周期过程中会产生大量的质量数据（故障数据、故障分析数据、纠正措施数据、生产过程数据、售后数据和质量体系文件数据等）。因此，利用大数据技术，充分地管理和挖掘这些数据资源的价值，对产品质量提升和质量优化具有重要的意义。

本文针对产品质量数据的特点、产品质量信息管理体系的特点和产品质量提升的需求，研究了基于大数据技术的产品质量信息管理系统和分析方法，为产品质量信息数据采集、统筹管理、数据挖掘分析、质量优化及决策提供了支撑。

1 产品质量信息管理系统现状

我国在产品质量信息管理方面的研究与应用起步较晚，是在早期的诸如统计过程控制（SPC:Statistical Process Control）系统、测量系统分析（MSA:Measurement System Analysis）等工具型软件的基础上发展起来的[3]。在经过长期的市场竞争和技术发展后，各种产品研发企业开始采用较为先进的信息化技术，以提升产品研发的快速设计、精益制造和质量可靠性管理的整体能力和水平，产品研发企业建设了很多与产品质量相关的信息管理系统。但是，由于在质量信息管理方面还较多地使用旧的管理方法和技术，现阶段的质量信息管理系统在应用方面，仍然存在着较多的不足，主要体现在以下几个方面。

a）缺乏规范、统一的采集机制。产品在生产制造、设计仿真、产品检验试验和售后维修等生命周期过程中会产生大量的质量数据，由于缺乏质量数据采集与管理平台，使得产品的质量数据管理分析工作与产品设计生产脱节，无法实现产品设计与质量可靠性设计工作协同，造成质量分析结果无法有效地反馈产品设计。

b）缺乏数字化质量数据管理分析协同工作环境的支撑。因此，无法协同地开展产品的质量可靠性设计分析、评估验证等工作项目；无法实现工作项目间的无缝连接，工作的一致性、准确性和完整性无法得到保证；质量数据分析应用的效果一般，重复性工作现象严重；工作效率不高，工作进度滞后，分析结果无法及时地反馈到产品设计上；无法有效地实施产品质量可靠性再设计、再分析、再验证，严重地制约了产品质量可靠性水平的提升。

c）缺乏高效的大数据存储和分析技术支撑。当前已采集的产品质量数据描述不规范、数据存储不完整、信息保存不规范，对于质量数据的描述，没有结构化的数据模板。而且，大量的质量数据是文档型、图片型、综合型等多种非结构化数据，传统的技术难以开展质量数据的分析处理。产品质量数据管理仍然缺少一个能从研发生产、检验试验和售后维修等生命周期的基于大数据架构的产品质量信息管理系统，将产品研发在各个阶段的质量数据进行汇总、存储、分析，并及时地将分析结果反馈给研发部门，形成质量闭环管理，改进产品的设计和达到产品质量优化的目的。

2 大数据技术

大数据技术的体系庞大且复杂，基础的技术包括数据采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等技术范畴和不同技术层面[4]。目前通用化的大数据处理框架，主要分为4个方面的技术:大数据采集、大数据集成与预处理、大数据存储、大数据建模与分析。

2.1 大数据采集

大数据采集包括文件日志采集、数据库日志采集、关系型数据库接入和应用程序的接入等内容。大数据采集技术主要包括:Sqoop、Strom、Zookeeper等技术。

Sqoop是用来将关系型数据库和Hadoop中的数据进行相互转移的工具，可以实现关系型数据库中的数据和Hadoop中心数据相互转换。Sqoop的一大优势是其传输大量的结构化或半结构化数据的过程是完全自动化的。

Strom集群结构是一种由一个主节点和多个工作节点组成的主从结构，主节点通过配置静态指定或者在运行时动态选举，nimbus与supervisor都是Storm提供的后台守护进程，它们之间的通信是结合Zookeeper的状态变更通知和监控通知来处理的。

Zookeeper是一个分布式的、开放源码的分布式应用程序协调服务，提供数据同步服务。它的作用主要有配置管理、名字服务、分布式锁和集群管理，很好地保证了数据的可靠和一致性，同时它可以通过名字来获取资源或者服务的地址等信息，可以监控集群中机器的变化，实现了类似于心跳机制的功能。

2.2 大数据集成和预处理

大数据预处理是利用数据库技术、数据清洗转换加载等多种大数据处理技术，将集成的数据集合中大量的、杂乱无章的、难以理解的数据进行分析和加工，形成有价值、有意义的数据[5]。主要涉及数据的抽取转换加载（ETL）技术、数据存储管理技术、数据查询与计算技术，以及相应的数据安全管理和数据质量管理等支撑技术。大数据集成与预处理技术框架如图1所示。

图1 大数据集成与预处理技术框架

2.3 大数据存储

Hadoop框架是目前主流的大数据存储和计算框架，已被广泛地用于多源异构数据存储[6]。Hadoop框架核心的设计就是:Hadoop分布式文件系统（HDFS:Hadoop Distributed Filesystem）、HBase和MapReduce。HDFS、HBase为海量的数据提供了存储，MapReduce为海量的数据提供了计算。

HDFS以流式数据访问模式来存储超大文件，运行于商用硬件集群上，是管理网络中跨多台计算机存储的文件系统。

HBase是一个分布式的、面向列的开源数据库，本质是数据存储、NoSQL数据库。HBase是一种Key/Value系统，部署在HDFS上，克服 了HDFS在随机读写这个方面的缺点。Hbase目标主要依靠横向扩展，通过不断地增加商用服务器来增加计算和存储能力。

Yarn是一种Hadoop资源管理器，Yarn主要由ResourceManager、NodeManager、ApplicationMaster三大组件组成，可为上层应用提供统一的资源管理和调度，可以为集群在利用率、资源统一管理和数据共享等方面带来巨大的便利和好处。

2.4 大数据建模与分析

数据建模是根据实际元素与业务流程，在采集数据的基础上，构建产品数字模型，并结合数据分析方法提供工具及开放功能，为各类数据分析决策提供支持。大数据分析建模技术，已经形成了一些比较成熟稳定的模型算法。从大的方面可以分为基于知识驱动的方法和基于数据驱动的方法。

知识驱动的分析方法，是基于大量理论模型，以及对现实系统的物理、化学和生化等动态过程进行改造的经验，建立在系统的物理化学原理、工艺和管理经验等知识之上，包括基于规则的方法、主成分析技术、因果故障分析技术和案例推理技术等。

数据驱动的分析方法，很少考虑机理模型和闭环控制逻辑的存在，而是利用算法在完全数据空间中寻找规律和知识，包括神经网络、分类树、随机森林、支持向量机、逻辑回归和聚类等机器学习方法，以及基于统计学的方法。

大数据建模与分析技术体系如图2所示。

图2 大数据建模与分析技术体系

3 基于大数据的质量信息管理系统设计

3.1 系统总体设计

基于大数据的产品质量信息管理系统总体框架如图3所示。首先，通过采集产品质量全寿命周期的质量数据，作为底层数据支撑；其次，将采集到的分散在各个部门和产品研发各个阶段的故障数据和质量数据，通过大数据存储和处理技术实现数据的存储和预处理；再次，通过数据挖掘、机器学习和知识图谱等数据建模和分析技术，建立产品故障模型，形成故障知识库和故障机理模型库，应用于产品综合质量表现分析、寿命预测和趋势分析等，为产品研发生产、使用和维护提供智能决策。应用为载体，实现对产品质量优化、寿命预测等服务。

图3 系统总体框架

d）应用层

主要构建产品全生命周期质量分析、质量预测和质量优化应用模型，包括基于大数据技术的设计质量问题闭环管理、质量过程监控、经验知识库构建、综合质量表现分析和寿命预测等。通过对产品全生命周期的质量数据分析、处理，以量化分析结果支持包括设计、分析、管理等决策和质量优化。

e）数据可视化层

该层是对大数据的产品质量优化的数据处理分析结果的可视化展示，包括产品质量趋势分析、区域分析、产品寿命分析、多维分析、洞察分析和战略决策的结果显示，有利于决策层从整体上把握产品的质量，以便于决策支持，提高决策的科学性。

3.2 功能模块设计

a）数据源

数据源是产品质量优化、智能化决策的数据支撑。数据源包括生产设备采集数据，质量工具分析数据，与ERP、PDM、PLM等软件集成的采集数据，设计软件产生数据，以及相应的产品生产制造数据资源。

b）数据存储层

主要是对设计数据、试验分析数据、基础数据、产品故障数据和售后维修数据等存储资源的数据存储，建立相应的数据库，并进行管理和调用。提供大数据分析所需的结构化、半结构化及非结构化数据的数据库及其他网络资源等基础数据支撑。

c）数据分析层

主要是用于大数据的挖掘、处理和分析，以及通过人工智能技术来构建工业机理模型。数据分析层对采集的产品数据和相关数据进行数据分析，通过检索统计、回归分析、聚类分析、关联分析和工业机理模型预测等数据分析，以大数据和人工智能基于大数据的产品质量信息管理系统围绕着产品质量数据采集、质量协同监控、过程质量控制、质量综合管控、质量问题管理与分析决策等方面的内容，从决策层、管理层、执行层和支撑层等4个层面全面支撑质量体系建设工作。系统功能架构如图4所示。

图4 系统功能架构

a）支撑层

支撑层主要为通用底层功能，包括自定义流程引擎、大数据底层技术、大数据算法库、故障机理库、质量基础数据管理、三员管理、用户管理、访问控制管理和日志管理，以及权限管理等。

b）执行层

1）产品研发过程质量管控子系统

主要包括风险评估控制管理、设计开发过程管理、产品试验评价管理、产品质量评审管理、产品全过程质量数据采集、分析与管理等子模块。实现质量信息传递和共享，供相关质量人员使用，满足产品全寿命周期过程监控工作规范落实、有序、受控和闭环等。

2）质量问题管理与分析决策子系统

主要包括质量问题归零管理、综合质量大数据分析和质量问题纠正措施，以及预防措施管理等，为质量问题数据分析、解决质量问题和领导决策提供支撑。

c）管理层

1）质量综合管控子系统

主要包括质量体系策划管理、质量体系审核管理、质量培训管理、不合格品管理、产品实现过程综合质量信息统计分析、质量成本管理、质量管理评审管理等模块。

2）质量协同监控子系统

主要面向各级质量管理人员，提供质量可靠性综合监管和决策支撑。对产品实现过程质量控制子系统、质量综合管控子系统和质量问题与分析决策子系统产生的故障数据进行分析，形成质量数据看板，为领导决策提供量化数据。

3）接口管理系统

产品质量信息管理系统需要与产品研发单位已有的业务系统集成，与相应的设计分析工具集成，与经验知识库数据库集成，以获得设计、研发、试验和维修等全过程的质量数据。

c）决策层

通过对质量协同监控、过程质量控制、质量综合管控和质量问题管理等四大方面建设，建成可以贯穿产品寿命周期的质量一体化协同管理和智能决策系统，实现产品质量管理过程透明、数据实时有效、结果规范量化、监控评价闭环、基于大数据分析和模型预测的事实决策，全面提升产品全寿命周期过程中的质量管理和决策工作的系统化、规范化、科学化和智能化。

4 结束语

本文针对产品质量信息综合管理存在的问题，研究基于大数据的产品质量信息管理系统，系统以产品质量数据特点为出发点，围绕产品质量设计、分析、管理和改进等技术需求，构建一种集产品数据管理、产品故障数据管理、产品检验试验数据管理、综合质量数据分析、过程监控及质量预警展板和经验知识数据管理等具有多个开放接口的产品质量信息管理大数据系统，覆盖产品设计、生产、检验与试验和售后维修的全过程，以高效的大数据服务技术手段支撑产品的质量可靠性管理体系，促进产品质量可靠性根本性提升。