海量MES监控数据的高效存储与处理

郝昕+马超

摘 要：隨着云制造和工业大数据时代的来临，传统的MES监控系统正面临着新的挑战。海量的工业数据存储需要更高的性能，日益增多的半结构化和非结构化数据则需要更加高效的存储功能。为了解决这一问题，文章研究并实现了基于Hadoop技术存储数据的MES监控系统，采用物联网技术，通过传感器网络，监控网络，RFID网络来获取MES监控系统有关设备，产品，人员的有关数据，数据存储使用Hadoop技术，将数据存储在远端的分布式存储数据库中，减轻了本地数据库的存储压力，提高了存储能力和存储速度。最后，文章以MES生产制造中的钻攻机为测试用例，验证了海量MES监控数据的高效存储与处理。

关键词：Hadoop；HDFS；HBASE；MES监控系统

中图分类号：TP274 文献标志码：A 文章编号：2095-2945（2017）19-0031-02

引言

当今社会是云时代，随着云计算的发展，越来越多的云应用开始融入到制造企业生产车间的日常业务，从原来仅仅使用本地化车间的制造资源与能力到现在逐渐开始使用云端的虚拟化制造资源与能力，从原来的本地数据存储到现在的云存储，云计算不知不觉中已经开始慢慢改变制造企业生产车间的业务过程，因此，作为管理生产车间业务过程的制造执行系统MES正面临新的挑战。

在当今的大数据时代下，MES监控系统也发生了变革，MES监控系统中越来越多的非结构化数据和半结构化数据也需要存储到数据库中，不断挑战着以前的关系型数据库。但是随着技术的增进，Hadoop的出现可以解决这个问题，Hadoop的设计目标是存储海量数据，并为分布在网络中的大量客户端提供高效的数据访问，并且Hadoop提供了HBASE4的机制，可以为MES监控系统中的非结构化数据，半结构化数据提供存储。

1 海量多源异构的制造车间生产数据

在MES监控系统中，我们需要实时获取这些信息：

1.1设备有关数据

1.1.1 设备运行的状态参数

主要指在设备上安放传感器和建立传感器采集网络，通过传感器网络来采集反映设备运行状态的数据，例如设备的振动，温度等指标，也就是传统意义上的监控数据。同时也是MES监控系统中最主要的数据。

1.1.2 设备运行的工况数据

主要指设备的工作情况，如负载，转速，运行模式等工作的设定信息，此类数据往往能从控制器内获得，不同设备的工况数据衡量指标大不相同。

1.1.3 设备使用过程中的环境参数

指所有可能影响设备性能和运行状态的环境信息，也就是设备的工作车间信息，如温度，风速，湿度等信息。采集环境参数信息能够帮助我们更好地理解设备运行所受环境影响的规律，帮助我们将由于设备状态和环境变化引起的性能变化区分开来。

1.1.4 设备运行监控视频

在车间内安装摄像头，以便摄录车间内设备的工作情况。用于在设备出现故障时，及时查看设备工作情况视频，以便观察设备出现故障前的工作状态，进行设备故障分析，更好的进行设备维修。

1.1.5 设备工作计划

从MES生产调度系统中实时获取整个车间的最新生产计划，以便生产车间及时进行生产设备调整，更快的应对生产计划改变。

1.2 产品有关数据

1.2.1 产品工艺图

指产品的设计阶段中，产品的工艺流程图，其记载了产品所需工艺和工艺加工顺序，工艺加工时间，以及产品工艺所需车间设备。

1.2.2 产品生产流程

指产品在实际生产阶段中，产品的RFID标签记录的产品的生产流程图，其流程图记录了产品的生产工艺，及工艺所负责加工的设备信息，由于MES车间环境变化巨大，MES生产调度系统实时根据车间环境调整生产计划，故产品的实际生产流程和产品工艺图是有一定区别变化的。

1.3 人员有关数据

1.3.1 人员实时位置

通过在车间内建立RFID收发网络，生产人员佩戴RFID芯片，通过在不同的车间内建立不同的载波信号区域，人员进入到不同的载波区域，RFID芯片激活，将RFID所记录的信息传送到服务器，以达到人员的实时位置管理。

1.3.2 人员加工计划

记录了加工人员所负责的生产设备的加工计划，包括人员所负责的工艺，所负责的设备，加工时段。

2 基于物联网技术的数据实时获取

2.1 传感器采集网络

由于MES监控系统需要对车间生产数据实时采集监控并且后续还要对数据进行分析，所以我们采用无线网络技术结合传感器组建成传感器网络，传感器凭借低廉的成本，以及对温度，光线，震动，声音等信息源感知的敏感性和精确性，可作为车间生产加工设备的感知器官，利用传感器可以从生产车间获取所需的环境参数，设备参数与运行状况等详细信息，为MES监控系统提供基础的原始信息。

2.2 监控网络

在生产车间内放置摄像头和视频服务器，摄像头所记录的原始视频信号传到视频服务器，经视频服务器编码后，以TCP/TP协议通过网络传输管理中心，网络传输管理中心负责所有前段设备的管理，控制，报警处理，录像，录像回放，用户管理等工作，并且在网络传输管理中心为这些服务搭建专门的服务器，MES监控系统需要实时查看车间情况时，通过向网络传输管理中心发送请求，从数据存储的服务器中调取数据，进行远程查看。

2.3 RFID网络

在生产过程中，我们可以在产品内嵌入RFID芯片，来记录产品的实际生产流程，我们可以在人员上佩戴RFID芯片，用于实时获取人员的位置。

我们在不同车间内安置不同的射频信号发射器，将低频的加密数据载波信号经发射天线发送到不同的车间，这样佩戴RFID芯片的工作人员在经过不同的发射天线工作区域后RFID被激活，将加密的载有目标识别码的信息经卡内高频发射模块发射出去，接收天线收到RFID卡发来的载波信号，经车间内读写设备提取出目标识别码，并传输到网络传输管理中心，MES监控系统与网络传输管理中心进行信息交互，这样在MES监控系统中可实现对人员定位的管理。

3 基于HADOOP的MES監控数据存储

3.1 HBASE数据库

传统的MES监控系统数据库都是采用关系型数据库，采用二维的表结构，来存储着一些结构化数据，例如在传统的MES监控系统中，只需不断采集设备工作状态参数，设备环境参数等参数，并且将信息存储到数据库中就完成了MES监控系统的流程。

我们可以用HBASE中的列式存储和稀疏多维映射表技术来对MES监控系统中海量、多源、异构的制造车间生产数据进行数据库存储。

HBASE中稀疏多维映射表的技术是指，表中的数据通过一个行关键字（row key），一个列关键字（column key），以及一个时间戳（time stamp）进行索引和查询定位，通过时间戳允许数据有多个版本。

{row key，colunmn family ，column name，timestamp}->value

3.2 设备有关数据存储

我们在本文中以轴流式水轮机制造工艺中“钻攻铣坡口”的所属设备：钻攻机为例。

钻攻机可以批量生产加工小型五金零件，可以钻孔，攻丝，铣切。适合材料铜铝件，铸件，一般钢件。

设备运行状态：

对于钻攻机设备数据中的设备运行状态参数，我们可以通过在机器设备上的传感器来采集状态参数，如主轴转速，主轴锥度，设备的X轴偏移量，Y轴偏移量，Z轴偏移量等设备状态参数。

在以往的系统中，Hbase的多维映射表技术如下：

{设备编号，生产车间，设备运行参数种类，时间戳}->设备运行参数值

HBASE中表结构如表1。

但是对于工件制造加工过程中，主轴转速和主轴锥度是实时变化的，反而对于X，Y，Z轴偏移量是很少变化的，并且在工件制造过程中操作次数较多的只是根据时间和设备型号来查询主轴转速，所以为了提供高效的查询能力，我们改变HBASE的表结构，对HBASE中的行健进行冗余设计，将rowkey和timestamp结合起来存储在HBASE中，从两个属性值查询变为一个属性值的查询，提高了查询效率。

4 结束语

本文在研究与实现基于Hadoop技术存储的MES监控系统，综合运用了Hadoop技术，物联网，大数据等先进信息技术，设计并实现了包含传感器采集网络，视频采集网络，RFID网络的实时数据采集手段，和基于HBASE技术的数据库，通过这些模块来实时采集设备的各项数据和产品有关数据和车间加工人员的实时位置，将采集到的数据通过建立稀疏多维映射表来存储到分布式文件系统中，便于文件的快速存储和系统的快速读取，提高了系统处理数据的能力，最后，采用MES生产车间内的钻攻机的有关生产数据，对MES监控系统处理海量数据进行了测试和验证。

参考文献：

[1]张华强.关系型数据库与NoSQL数据库[J].数据库与信息管理，2011（20）：4802-4804.

[2]程莹.基于Hadoop及关系型数据库的海量数据分析研究[J].中国联通研究院云计算专栏，2010（11）：47-50.

[3]刘国静.基于SOA架构的企业应用研究[D].计算机应用技术：华东师范大学，2006.

[4]马翠云.基于HBase的大规模数据存储解决方案的设计和实现[D].通信与信息系统：山东大学，2015.

[5]苏北并，周小波.基于RFID技术的煤矿安全追踪系统[A].全国ISNBM学术交流会暨电脑开发与应用创刊20周年庆祝大会论文集：电脑开发与应用编辑部[C].2005：121-122.