基于数据中心模型的质监系统政务信息资源综合利用方法*

2018-01-08储昭武刘辰昀朱丽华上海市质量技术监督局

上海计量测试 2017年6期

关键词：政务信息质监数据中心

储昭武刘辰昀朱丽华 / 上海市质量技术监督局

储昭武刘辰昀朱丽华 / 上海市质量技术监督局

0 引言

自“十一五”以来，上海市质量技术监督局（以下简称市局）以“金质工程”为抓手，陆续建成了行政审批、日常监管及监督抽查、行政执法、公共服务、内部办公等信息化系统，积累了大量企业和人员发证、日常检查、产品监督抽查、行政处罚等方面的数据。

这些数据的综合利用：如何为机关工作决策提供服务、如何为公众提供服务、如何与其他委办局共享，成为越来越迫切的议题。

通过对现有信息化系统数据整理分析，发现目前数据标准、存储都存在较大的局限性，主要体现在：

1）数据交叉使用混乱

各个信息系统对外部系统获取的数据，只为各自系统的建设目标而服务，数据结构和完整性也没有统一标准，数据更新和同步也存在时效性问题。

2）数据交换方式多样

因为每个业务系统由不同的软件公司承建，没有一个统一的数据交换标准，由承建系统的软件公司作为供、需两方讨论决定，导致交换方式有用数据接口表、webservice和数据文件交换等。

3）数据加工重复开发

对于来自于同一数据源和同一主题数据（如：企业、产品、业务、人员），每个业务对外部系统获取的这些数据都要在理解业务的基础上，用不同方式（如：SQL语句、java或.Net代码）进行加工处理，这些数据处理的规则、实现的方式和数据处理的结果也都不同，这样数据加工的重复性开发也就很常见。

4）数据“丢失”

行政审批系统的数据大多是过程数据，业务过程和时间发生改变，数据在状态和时间上很容易发生改变。

5）数据缺乏统一规划

目前在做数据综合查询和一般的同比、环比、对比应用和面向不同主题的数据分析和挖掘，因为没有数据仓库和统一规划的数据做基础，从而导致无法很方便地实现，更高级的数据应用更无从谈起。

1 质监政务信息资源梳理

1.1 总体思路

为了解决业务数据分散、标准和结构不统一、数据存取方式多样化、相同主题的数据存在不同系统等问题，通过建立政务信息资源数据中心模型来统一数据标准，对数据进行统一规划、统一数据交换标准避免数据交叉引用，建立统一的业务数据抽取规则，解决数据“丢失”问题，让质监数据中心成为全市质监系统实现数据整合、集中、共享的核心。

1.1.1 数据中心设计和规划

采用典型相关分析法对现有信息化系统的数据表进行梳理，建立质监政务信息资源数据源目录；运用数据仓库通常的方法和设计，根据各系统的具体情况在数据中心的设计和规划中完成常用规范和命名标准、基础维度表定义和创建、基本主题表的设计和创建、数据仓库基本规划。

1.1.2 数据中心管理平台设计

数据中心管理平台作为数据中心管理的基础软件工具，要提供把数据从各个业务系统抽取出来的数据汇聚功能，对面向不同主题的数据应用所需要的数据清洗和加工需要数据中心提供数据ETL功能，对数据中心的表、字段和关联关系需要提供软件功能来维护元数据的中文含义，并需要提供综合查询功能来方便数据的管理和使用，对不符合数据应用要求的数据，数据中心能通过数据稽核的功能来配置和检查数据质量问题。

1.1.3 基础数据整理

基础数据是通过企业、产品、人员、业务来整理现有信息系统的数据，通过数据中心管理平台提供的功能，把这些数据抽取和汇聚到数据中心，再通过数据中心管理平台提供的功能进行各自维度的分类操作，并建立起这些数据的档案，和维护这些数据的来源和意义。

1.1.4 元数据管理实施

对于数据中心的ODS库和DW库里的表、字段、数据、关联关系，由质监政务信息资源数据源目录来体现，通过建立数据中心管理平台提供的功能来进行维护。如：表和字段中文标注、数据记录标注、数据关联关系配置和数据展现功能，方便数据管理人员和数据分析人员对数据的查看。

1.1.5 数据交换模块设计

在市局内部信息系统和局外部其他单位的数据交换，也须通过数据中心的数据交换功能来实现，需要统一数据交换方式、统一数据文件类型、保证数据安全传输，并对大批量数据文件能压缩后传输，为了保证数据传输安全需要支持加密。

1.2 关键技术路线

数据处理关键技术一般包括：数据采集、数据预处理、数据存储及管理、大数据分析及挖掘、数据展现和应用（数据检索、数据可视化、数据应用、数据安全等），如图1所示。

图1 数据处理关键技术示意图

1.2.1 数据采集

数据是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化（或称之为弱结构化）及非结构化的海量数据，是大数据知识服务模型的根本。质监政务信息资源是指所有使用信息化系统进行业务处理时产生的各类数据。

1.2.2 数据预处理

主要完成对已接收数据的辨析、抽取、清洗等操作。1）抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以将这些复杂的数据转化为单一的或便于处理的构型，以达到快速分析处理的目的。2）清洗：对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据。

1.2.3 数据存储及管理

数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。

1.2.4 数据分析及挖掘

数据分析和挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘涉及的技术方法很多，有多种分类法。根据挖掘任务可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等；根据挖掘对象可分为关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网Web；根据挖掘方法分，可粗分为机器学习方法、统计方法、神经网络方法和数据库方法。

1.2.5 数据展现与应用

数据技术能够将隐藏于海量数据中的信息和知识挖掘出来，为人类的社会经济活动提供依据，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。在我国，大数据将重点应用于以下三大领域：商业智能、政府决策、公共服务。

2 质监政务信息资源数据中心模型设计

质监政务信息资源数据中心模型包括数据中心数据库结构模型和管理平台功能模型两个部分。

2.1 数据库结构模型

通过对市局现有信息化系统所有数据表的梳理，发现质监条线工作覆盖面广、层级复杂，就业务来说有计量、标准化、质量管理、质量监督、执法、特种设备、检验检测机构资质认定、食品相关产品生产等，而且各个业务条线比较独立，基本不存在关联。但通过仔细分析质监部门所监管的对象，不难发现不论是人员，还是产品（含食品相关产品）、特种设备、计量器具，都是以企业或机构为主体的。因此，在数据层面，质监政务信息资源具备以企业或机构为唯一贯穿主线的条件；而产品（含食品相关产品）、特种设备、计量器具在生产资质许可中均进行了分类，并编制了质监产品分类代码，确保了对象分类的唯一性；而业务过程中产生的信息都可作为质监部门管理对象的属性，从而可设计出如图2所示的数据库模型。

该模型中以单位为关键节点，人员和设备为次关键节点，且单位、人员和设备的基本信息在模型中保持一定的稳定性；人员和设备两个次关键节点通过“统一社会信用代码”（原组织机构代码）与单位这个关键节点关联，确保在关键节点和次关键节点“多对多”的对应关系中保持唯一、可靠的关联要素。

2.2 管理平台功能模型

为确保质监政务资源数据中心的数据准确、动态、及时，需设计相应的管理平台对数据中心进行管理，提供元数据级别的维护，并实现数据中心数据的共享。

管理平台功能模型设计，如图3所示。

图2 质监政务信息资源数据中心数据库模型

模型中“元数据管理”主要用于数据中心数据库表字段注释的查看和管理、报表创建和发布；“数据采集”主要实现数据中心数据源管理、数据加载、转换和存储，以及数据采集调度任务的创建、管理、执行和日志查看；“数据整合分析”需提供数据校验、数据清洗、数据中心监控等功能；“数据资源应用”主要实现数据中心中数据资源的展现、数据资源分析及共享服务。

3 模型验证

为验证质监政务信息资源数据中心模型和管理平台模型的合理性，研制开发了企业质量档案、企业信用等级评价和数据共享服务等软件功能模块，从不同维度展现和利用数据中心的数据，以实现对质监人员工作的支撑。

3.1 企业质量档案

企业基本信息、资质信息、人员持证、产品监督抽查信息、日常监督检查信息、行政执法信息、特种设备信息等构成企业质量档案基本要素，而这些要素的数据均能从建成的质监政务信息资源数据中心数据库中获取，为企业质量追溯体系的建立奠定基础。

3.2 企业信用等级评价

通过建立制定发布企业信用信息公开标准，完善企业质量信用管理、评价及分类监管子系统，实现企业信用信息抓取、聚合、分类，研究制定企业质量信用等级评价数学模型，从计量、标准、认证、监督抽查、投诉举报、奖励、处罚等多方面对企业的质量信用进行综合评价，根据数学模型自动、人工计分评级，为一线监管人员对企业进行分类监管提供分类分级数据。