质检大数据平台技术架构及应用服务价值模型探讨

杨思远

（福建省计量科学研究院，福建 福州 350012）

质检大数据平台技术架构及应用服务价值模型探讨

杨思远

（福建省计量科学研究院，福建 福州 350012）

在“互联网+”时代，质检机构承载了巨大数据资源。构建质检大数据平台实现质检数据资源的集中共享和分析利用是国家质检总局的一项重大决策。文中从分析质检系统当前数据现状入手，首先阐述了平台架构的构建主线，而后提出了质检大数据平台的架构模型，该质检大数据架构模型以数据采集系统、资源调度平台、应用体系3大主线为核心，数据源接入、数据存储中间件、数据服务中间件为支撑，并深度探讨了质检大数据平台技术架构包含的内容和技术细节，该模型可为质检大数据平台的构建提供重要参考。最后创新性地提出了质检大数据平台的应用价值模型，该模型体现了质检大数据平台的服务理念。

质检；大数据；架构；服务

1 前言

质检机构承载了巨大数据资源，质检部门除掌握了本部门大量的产品质量、计量器具、特种设备、动植物检疫等检测数据外，还可以通过实验室资质认可，获取医疗、交通、建材、公路、防疫、气象、能源、水电等一切需要向社会出具具有证明作用数据的检测技术机构的海量的第一手检测数据，通过统计分析这些数据，可以为社会提供产品质量、计量器具、特种设备，以及医疗、交通、气象、能源等特殊行业的有用信息，拥有其他行政监管部门无法获取的数据资源[1]。构建质检大数据平台实现质检数据资源的集中共享和分析利用是国家质检总局的一项重大决策，也是质检部门找准位置，主动履职，参与经济建设的重要突破口。

2 十二五期间质检系统数据分析

十二五期间，我国质检工作取得了丰硕的成果，以下是从第四次全国质检科技大会上得到的部分数据，见表1。

以上成果为我国“质量强国”建设作出重要贡献，也使得质检工作积累了大量的数据，平均每年以TB级的量在增长，然而从数据的利用情况来讲，质检数据利用率较低。正如国家质检总局局长支树平指出，目前数据资源无法共享已成为阻碍质检发展的瓶颈问题，现在比较突出的矛盾是，数据资源虽然丰富，但信息系统彼此割裂，数据资源无法共享，造成了大量的“信息孤岛”“僵尸数据”[3]。多年来，由于质检机构对数据资源重视程度不够，未意识到检测数据是一种资源，也没有意识到数据是可以产生巨大的价值，造成大量具有价值的数据闲置不用，甚至弃之不理，更无从谈起对数据的分析处理和预研预判，使数据为国家社会利用。近年来，随着国家对大数据以及信息化建设的日益重视，构建质检大数据平台已经成为质检事业的一项重要内容。

表1 十二五期间我国质检工作取得的部分成果和数据利用情况[2]

3 质检大数据平台技术架构探讨

3.1 平台架构的构建主线

图1 平台架构的构建主线

（1）通过质检各机构的数据接入和数据存储，进行数据的量级积累。

（2）对积累的数据采用离线计算和实时计算的方式挖掘数据的价值。

（3）根据行业、政府和客户的需求进行查询分析和数据挖掘，形成具有质检特色的数据应用。

3.2 质检大数据架构平台模型

图2 质检大数据架构平台模型

该质检大数据架构模型以数据采集系统、资源调度平台、应用体系3大主线为核心，数据源接入、数据存储中间件、数据服务中间件为支撑，由点入面全面构建质检大数据平台。下面从底层开始对各模块分开阐述。

3.2.1 数据源

数据源是指质检系统各机构的数据，包括内部数据和外部数据。内部数据包括各机构的资产系统、财务系统、人资系统、业务系统、OA系统等，各系统以统一标准、统一规范的方式导入到质检大数据平台或者通过平台的数据采集组件实时的把数据采集到平台中。外部数据是指在质检系统接受国家经济环境、宏观政策、自然环境的影响和指导产生的数据（含图像、音视频系统以及word和excel等归档数据，和网站、微博、微信等社交数据）。

3.2.2 质检数据统一采集系统（QDCS）

图3 质检数据统一采集系统

质检数据统一采集系统（QDCS）是构建数据源和数据存储系统间的桥梁，通过对质检数据的采集，为平台提供数据支持。从架构上来看，QDCS划分为前端采集、数据缓存预处理等模块。前端模块主要针对各种数据形式（结构化数据和非结构化数据）提供实时采集组件，实时采集组件可以按日志进行实时数据的获取。数据缓存预处理是对质检的清洗和数据集成的过程：数据清洗目的在于去除无效数据，消除质检机构不同系统之间的数据对立关系，提高数据质量；数据集成的目的在于联动质检各机构之间数据，协定数据传输方式，建立质检数据仓库。数据缓存预处理模块应对从各质检机构接收到的数据起到缓存和缓冲作用，避免因后端系统繁忙或故障而导致的处理阻塞或消息丢失。

3.2.3 大数据存储中间件

数据存储中间件包含数据存储层和数据访问层，数据存储层包括RDBMS等关系型数据存储、分布式消息队列KAFKA、分布式存储HIVE/HBASE和文档式存储MongoDB等。数据访问层则为数据资源调度平台和应用提供各种数据访问接口如JDBC/ODBC/REST等。需要指出的是数据存储系统虽然可以容纳各种数据格式，但是依然以分布式数据存储为主，目前基于HADOOP的开源数据仓库HIVE具有一定的局限性，需要对HIVE进行定制开发。

3.2.4 质检大数据资源调度平台（QRSP）

图4 质检大数据资源调度平台

质检大数据资源调度平台能够对各类资源进行调度和管理。质检大数据资源调度平台基于HADOOP的Yarn的通用资源调度平台，可以实现HIVE/PIG查询预处理、小数据预处理、HABASE实时查询、SPARK内存计算和MAPREDUCE/HDFS引擎的HADOOP集群，提供高并发任务调度和资源管理，实现集群资源共享。质检大数据资源调度平台除了可以进行内存、闪存等资源管理之外，还具备网络I0、磁盘IO、磁盘空间等资源管理，为业务提供更好的资源保障。

3.2.5 数据服务中间件

数据服务中间件通过统一的数据访问接口提供数据开发服务（如数据分析服务、数据挖掘服务、数据共享服务、数据交换服务等）和数据自主服务（如多维展现、自助分析等）。

3.2.6 质检大数据应用体系（QASS）

大数据应用体系实现在数据服务系统之上产生的各类应用系统，如决策分析、运营管控和各类增值服务，大数据应用体系对下可为政府、企业、机构和社会公众等微观经济提供各类增值服务，对上可为国家国民经济的发展提供数据支撑和趋势分析。

图5 质检大数据应用体系

3.2.7 平台管理

平台管理主要实现ETL任务配置、离线任务配置、实时任务配置、内存任务配置、数据服务配置、数据源管理、存储平台配置、任务管理、权限管理、安全管理、平台监控、日志管理、系统审计、配置管理、业务监控等功能。需要说明的是平台管理需支持全程的配置化，包括数据源、存储、采集、计算、模型和服务，以实现数据处理全周期的活动都可以通过元数据配置来完成。

4 质检大数据应用服务价值构成

图6 质检大数据应用服务价值构成

笔者认为质检大数据应用服务的价值核心在于：民众、社会、政府和机构，这四者之间是相互依赖、相互支撑、相辅相成的。通过以数据为核心构建质检大数据平台，利用平台开发相关的应用为政府提供数据分析和预研预判服务，政府再利用数据引导社会需求，构建智慧社区等项目，民众通过社会和机构提供的精准服务享受质检带来的便利，这四者和谐统一，成为一个有机整体。当然在构建质检大数据平台中需充分调研质检各机构、客户和政府的需求，形成更加准确的用户需求模型，充分体现平台的价值，以下列几点供参考：

表2 质检大数据应用服务价值举例

身处大数据时代，人们生活所需的食品安全、产品质量、计量检定、纺织品检测等信息，往往都来自质检部门的信息数据开放；产业发展所需的战略思考、布局规划、落地方案等，往往要依托对质检部门信息数据的挖掘、重组、混搭[3]。质检机构只有把维护国家利益和群众利益作为工作的立足点和出发点，始终把服务经济社会发展作为中心任务，充分发挥职能作用，利用大数据挖掘出的各类数据服务，落实国家产业政策、促进产业结构调整、提升行业及产业发展水平、提高产品质量，为建设“质量强国”提供数据支撑。

5 结束语

正如国家质检总局局长支树平所指出的，进入“十三五”，质检事业改革与发展并重，机遇与挑战共存：一方面，党和国家对质量工作高度重视；另一方面，新形势下质检部门面临许多挑战，改革发展的任务很重[4]。构建质检大数据平台，实现对质监和出入境检验检疫等数据的采集、加工、分析和应用，并加大对质检大数据应用价值的研究，提高质量安全监管服务的针对性和有效性，让质检在技术和数据资源跑上“信息高速路”，是当前摆在质检人面前一项重要的课题。

[1]刘勇.加快建设质检统一开放检测数据平台[EB/OL]. http://www.cqn.com.cn/news/zgzljsjd/1117052.html,2016-01-18.

[2]央广网.第四次全国质检科技大会在京召开，科技引领质检事业发展[EB/OL].http://china.cnr.cn/gdgg/20160419/ t20160419_521914851.shtml,2016-04-19.

[3]张中峻.推进质检数据开放共享的意义及实现路径思考[J].办公室业务,2016.

[4]于慧.国家质检总局局长支树平,2016年要推进数据资源共享，破解阻碍质检发展瓶颈[EB/OL].http://www. cinn.cn/xw/ztzl/bwjrgdxw/351694.shtml,2016-01-12.

Discussion to Quality Big Data platform’s Technology Architecture and Application Services Value Model

YANG Si-Yuan
(Fujian Metrology Institute,FuZhou 350003,Fujian,China)

In the era of Internet+,the measuring institutions are carrying huge data resources. To construct Quality Big Data platform,Centralize shared data resources and use is a major decision for the AQSIQ. This paper analyzes the current status of quality data firstly,then propose architecture mode of big data platform. The quality big data architecture model consists of the 3 main lines ,data acquisition systems,resource scheduling platform and application system,as the core. The data source access,data storage middleware,data services middleware are as a support,The detailed discussion on the content and technical details of quality big data platform technology architecture are also conducted .This model provides an important reference for building quality big data platform construction. Finally,it proposes innovativly application value model quality big data platform,The model embodies the services concept of the big data platform quality.

Quality; Big data; Architecture; Services

2016-03-02

杨思远，男，福建省计量科学研究院，网络信息中心，工程师