基于大数据架构的智能图文管理系统在梯级流域水电站的实践应用

2020-03-31

中国科技纵横 2020年20期

（中国长江电力股份有限公司，湖北宜昌 443002）

0.引言

图文管理系统为生产企业提供图纸服务，支持图纸管理的存储检索、审批流程、权限管控和外部接口等功能，支持各种格式的图纸与生产设备关联，整合企业内部的其他管理信息系统，提供安全、开放的图纸访问接口，提高企业图纸管理的标准化、规范化和高效化。

随着生产企业规模的扩大，企业设备的复杂性和规模的提升，传统的基于关系数据库的图文管理系统存在管理复杂、存取速度慢，检索方式单一的缺陷。大数据、云计算、人工智能等新兴技术的出现，提升了企业信息管理能力，为企业图纸管理提供新的策略和解决方案。

为了提升图文管系统的检索性能、用户体验和可扩展性，本文采用大数据架构和知识图谱(Knowledge Graph)[1-3]技术设计企业图文管理系统，与仅仅依靠关系数据库的图文管理系统相比，基于大数据架构图文管理系统具有更好的计算性能、可扩展性和用户体验，更有效地利用生产企业数据中心的云存储[4-6]和云计算[7-8]能力；将知识图谱应用图纸知识模型和图纸使用模型，可以提升图文管理系统的检索能力和用户体验。

1.系统总体架构

本文提出的图文管理系统整体分为4个层次：资源层、存储层、服务层和应用层，如图1所示。

图1 系统总体架构

本系统基于企业的数据中心构建资源层，资源层提供两种基本的资源能力：存储能力和高性能计算能力。

存储层通过Hadoop分布式文件系统HDFS[9-10]提供高性能、可靠的文件存储服务。

服务层分为服务支撑和应用服务两个子层，服务支撑子层提供4种基本的服务：使用关系数据库存储关系数据，使用分布式文件系统存储图纸文件，使用分布式检索系统存储非关系型图纸信息，以及使用分布式集群满足整个系统并行计算和智能计算要求；应用服务子层包括图纸存储、图纸检索、审核流程、权限管理和外部接口这些具体图纸应用功能。

上层是图文管理系统的应用层，由桌面应用程序、Web应用程序和移动App组成，调用服务层的各种具体业务功能。

2.混合存储图纸文件和相关数据

图纸管理涉及3种不同类型的数据：关系数据、非关系系统和二进制图纸文件。为了提高不同类型数据的存取效率和检索效率，本文采用混合存储结构存取这3种不同类型数据，采用关系数据库Oracle存储图文管理系统的关系数据，采用分布式文件系统HDFS存储图纸文件，采用分布式检索引擎Solr[11-12]存储图文管理系统的非关系数据。针对将3种不同形式存储系统方便应用程序访问，本文设计一个混合存储结构来支持具体图纸应用程序模块访问这些不同的存储方式，混合存储结构从下往上包括4个层次：存储层、接口层、服务层和应用层，如图2所示。

图2 混合存储结构

最低层是支撑层，由Oracle关系数据库、HDFS分布式文件系统和Solr全文引擎组成，针对不同类型的数据源向上提供不同的存储服务。

（1）Oracle数据库系统是目前世界上流行的关系数据库管理系统，具有可移植性好、使用方便、功能强等特点，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好、适应高吞吐量的数据库方案。本文使用Oracle数据系统存储图纸管理的各种关系数据：图纸信息、图纸流程信息、设备信息和用户信息等。

（2）HDFS是一个适合部署在普通硬件设备上的分布式文件系统。HDFS适合存储不同大小的，文件大小一般从几百MB～几百TB不等；支持高吞吐量的数据访问；具有高度容错性，设计为可以运行在廉价的机器集群上；支持 POSIX接口访问，容许流式地访问数据。本文使用HDFS存储图纸文件可以有效提高图纸的读写速速，解决图纸本地数据存储和管理困难的问题。

（3）Solr是一个高性能，基于Lucene的全文搜索服务器，Solr具有可配置、可扩展特性，具有较高的非关系型文本数据查询性能，并且提供完善的功能管理界面，是一款非常优秀的全文搜索引擎。使用Solr存储图纸的非关系数据可以提升图纸非关系型数据的检索能力和检索速度。

存储层之上的是接口层，通过Java语言和一组Java接口访问Oracle关系数据库、HDFS分布式文件系统和Solr全文引擎。

（4）本文使用JDBC (Java Database Connection)访问关系数据库Oracle，JDBC是Java语言中用来规范客户端程序如何来访问数据库的应用程序接口，提供了诸如查询和更新数据库中数据的方法。

（5）使用FileSystem API访问HDFS，FileSystem API是一个抽象的文件系统API，支持 HDFS进行一般的文件操作。

（6）使用SolrJ访问Solr，SolrJ是一个使Java应用程序可以轻松与Solr对话的API。SolrJ隐藏了许多连接到Solr的细节，并允许您的应用程序通过简单的高级方法与Solr进行交互。

接口层之上的访问层，访问层基于关系数据库的查询语言SQL，扩充支持HDFS的IO接口和SolrJ的查询接口，来支持对下面接口层不同数据接口的统一访问，并向上面的应用层提供一致的查询接口，向上层应用程序屏蔽底层存储方式的差异，并提供不同存储系统的分布式事务处理的支持。

最上层是具体应用层，具体图纸应用模块通过调用下面的统一访问接口来实现图纸文件及其相关数据的存取访问。

3.基于知识图谱的图纸知识管理

知识图谱在图书情报界称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合，并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。它能为学科研究提供切实的、有价值的参考。

本文通过知识图谱从海量的图纸及其相关数据中找出有价值的知识，可以对图纸使用者在使用过程中的图纸文件、图纸相关数据、图纸功能、使用频率、交互协作等多维度进行测量，通过深层次挖掘有价值数据信息，揭示其内在的规律。将知识图谱应用于图纸管理，可对用户的使用效果和使用习惯做出及时准确的反馈，提供个性化图纸服务干预，有利于改进图文管理系统的功能指标和非功能指标。本文使用大数据和知识图谱挖掘设备和图纸之间的内在联系，挖掘图纸信息和用户使用之间的内在联系，设计图纸推荐和图纸使用推荐推荐功能。

构建基于设备的图纸知识模型，在设备基本信息、设备之间关系、图纸基本信息、设备图纸关系和图纸之间关系五个维度对图纸的个体特征进行了描摹，图纸模型型根据用户通过设备导航树管理和使用图纸的实践不断对图纸个体模型个体肖像进行动态更新。图纸关系推荐的基础是形成基于设备的动态化的图纸知识图谱，以显示图纸和不同设备之间的关联性。将不同种类的设备和图纸连接在一起而得到一个关系网络，把复杂的设备和图纸之间多对多的关系通过数据挖掘、信息处理、知识计量和图形绘制显示出来，来显示图纸个体的知识动态发展规律。

构建用户为中心的图纸使用模型，在该模型的指导下，结合同一用户和不同用户使用图文管理系统的过程和习惯，本研究构建基于用户基本信息、用户之间关系、图纸基本信息、图纸之间关系、功能模块信息、功能与图纸关系六个维度对图纸使用的个体特征进行了描摹，图纸使用模型根据同一用户的图纸使用过程和不同用户的图纸使用过程不断对图纸使用模型进行动态更新。图纸功能推荐的基础是形成基于用户使用的动态化的图纸使用图谱，以显示图纸和不同用户之间的关联性。将不同种类的用户和图纸连接在一起而得到一个关系网络，把复杂的用户和图纸之间多对多的关系通过数据挖掘、信息处理、知识计量和图形绘制显示出来，来显示图纸使用的知识动态发展规律。

4.基于Zeroc ICE的图纸服务

Zeroc ICE[13-14]是由Zeroc公司开发的一套开源分布式中间件，适用于异种环境的面向对象体系的中间件平台，支持远程过程调用(Remote Prcedure Call: RPC)协议。基于ICE的客户端和服务器可以兼容不同的编程语言，可以运行在不同的操作系统上，同时提供了多种网络技术进行通信（例如TCP、UDP、SSL等）。ICE作为安全性高、伸缩性强的底层通信平台，特别适用于高技术和高性能需求的分布式系统开发。

为了确保新图文管理系统的快速开发、测试、部署和实施，我们采用基于ICE RPC的图纸应用程序，与单体的图纸应用程序架构相比，基于ICE RPC的图文管理系统具有更好的性能、可扩展性和用户体验，更加有效地利用企业的云端资源和云计算能力，本文基于ICE RPC的客户/服务器架构如图3所示。

图3 ICE的图纸服务访问

本文首先将图纸功能封装成一组模块化、可重用的服务模块：图纸维护、图纸查询、流程管理、用户管理和权限管理等，然后针对这一组服务定义模块化接口，这组接口使用ICE的接口语言ICE Slice语言定义，Slice (Specification Language for Ice)语言建立了一种服务器和客户端之间的契约，Slice描述接口和数据类型，这种描述和应用程序的具体实现语言无关，客户端和服务器不需要用同一种语言来编写。

使用ICE的生成工具Slice2java生成Java版本的服务器骨架代码(ICE Skeleton)，ICE骨架代码提供了图纸服务客户端调用接口，允许 ICE 运行时把控制线程转交给应用服务器里面具体图纸服务模块。

图文管理系统的客户端一般包括传统的桌面应用程序、Web应用程序和移动应用程序，基于ICE的跨语言特性，Slice2XXX工具可以不同语言客户端服务代理代码(ICE Stub)，ICE代理就是ICE对象在客户端的代表，不同客户端要想访问远程的某个图纸服务接口，就必须先拥有这个对象的代理，而代理就存在于客户端的进程地址空间中。

5.基于AppCan的混合应用移动平台

本文基于AppCan构建移动APP，AppCan移动开发平台让HTML5开发的移动应用基本接近Native App的体验，基于AppCan的移动App架构分为服务层、Restful接口层、应用层3大部分，如图4所示。

图4 移动平台体系结构

服务层和本文前面提出的服务层结构基本一致，通过Restful[15-16]接口层向用户提供各项业务功能。Restful是一种网络应用程序的设计风格和开发方式，基于HTTP，可以使用XML格式定义或JSON格式定义。RESTFUL适用于移动互联网厂商作为业务使能接口的场景，实现第三方OTT调用移动网络资源的功能，动作类型为新增、变更、删除所调用资源。

应用层由AppCan SDK、HMTL5和JavaScript脚本语言组成，AppCan SDK支持Hybrid App的开发和运行，并且着重解决了基于HTML5的移动应用“不流畅”和“体验差”的问题，HTML5和JavaScript负责与用户交互，调用Restful接口完成系统的各项功能。

6.企业梯级流域水电站的应用成果

该系统现服务于中国长江电力股份有限公司下属梯级流域水电站群，覆盖了葛洲坝区域、三峡区域、金沙江区域、乌白区域等7个生产单位，涉及约12万份图文技术资料。系统通过大数据架构整合公司各梯级流域水电站图纸技术资料管理与应用，同时结合上述信息化及电力行业前沿应用及发展趋势，对图文管理系统业务与流程管理进行不断的优化完善，为生产一线员工提供全面、准确、稳定、高效的技术支持，从而保障电力生产及运维等各项活动，获得了各生产单位用户的高度支持与认可。各生产单位在该系统的管理应用过程中不断积累沉淀，形成各生产单位自有的图文技术资料管控及学习平台，在满足保障本单位生产及运维活动时，也为新员工的培养提供支持。