大数据技术在市场监管行业应用思考

陈大海 仝姗

随着商事制度改革及市场监管机构整合，市场监管信息化建设面临系统和数据分散、数据共享难、业务协同不足的现象，需要借助大数据的技术手段构建统一的市场监管大数据中心，打破“数据壁垒”，实现数据的共享互通，充分挖掘数据的价值，发挥数据资产在市场监管业务中的作用，为实现市场监管业务决策的科学性、精准性提供有效的数据支撑，最终实现智慧监管。

一、概述

随着国家商事制度改革以及市场监管机构整合的逐步推进，当前市场监管涵盖了原工商、质监、食品药品、知识产权、反垄断等部门的业务工作。同时为了响应国家“深化简政放权、创新监管方式、优化政务服务”，创新政务服务模式，“只进一扇门”、“最多跑一次”、“不见面审批”等改革措施，深化“放管服”改革、优化营商环境、便利企业和群众办事创业。市场监工作普遍面临监管事项增多、数据标准不一致、数据共享不畅、业务协同不足等问题，原有各监管部门独立运行的信息化系统已经不能满足市场监管新形势的需求，急需打破部门间信息壁垒，实现数据整合和共享利用，体现数据价值，通过运用大数据等技术对数据进行分析处理，大幅度提高市场监管服务能力。

依托市场监管大数据中心建设，实现市场主体、客体和行为数据的汇聚整合，形成基础信息库、核心业务的主题信息库和专题信息库，实现数据对内对外的共享服务，实现业务协同、风险预警，逐步实现智慧市场监管。

二、市场监管应用对大数据技术的需求

大数据技术已经在电商、电信、政务服务等行业得到广泛应用，建设了相应行业的大数据平台，主要完成结构化和非结构化的多源数据采集、整合、存储、分析以及可视化等功能。大数据平台相较于传统的数据平台，其最大的优势是实时流计算引擎、非关系型数据存储、大数据挖掘分析计算和全文检索等方面的处理速度和效率大大提升，支持PB级别大规模数据处理能力。

随着我经济社会快速发展，市场主体的高速增长，监管形势严峻，尤其与人民群众戚戚相关的食品和药品安全、特种设备安全、信用风险、网络交易监管等，面临监管流程复杂、监管数据分散、监管人员有限等困难，急需借助大数据等技术手段实现科学决策和精准监管，最终实现智慧市场监管目标。

原市场监管信息化系统相互独立，部署于不同网络，建设时期和建设部门不一，造成现有应用系统烟囱林立，相互之间数据和业务协同难，“数据孤岛”现象严重。由于机构改革，监管责任剧增，现有系统已经无法满足新形势下各级部门业务协同需求，迫切需要在统一规划、统一标准的基础上，整合数据资源、整合和新建业务系统；借助于大数据技术手段，建设大数据中心，解决数据资源统一归集，实现数据跨部门、跨区域的共享交换，同时提高数据质量，发挥数据价值，利用大数据分析等技术手段实现监管决策的科学化、精准化。

三、市场监管大数据中心建设

下面以某省市场监管为例，介绍其大数据中心建设。

截止2019年上半年，全省市场主体总数已经超过9000万户，以及深入推进“放管服”、加强事中事后监管的要求，全省市场监管压力剧增，尤其是基层市场监管人员普遍编码监管任务重的情况。虽然已经建设了很多信息化系统，如全省市场主体登记注册系统、“明厨亮灶”工程、食品药品监管系统、电梯应急救援平台等，涵盖了市场准入、监督检查、行政执法、网络监管等业务，但是依然面临数据资源分散、数据共享难、数据利用效率低的问题，急需建设全省一体化平台，打通全省市场监管机构间数据壁垒，实现全省数据资源共享互通，全面提升市场监管效率。

市场监管大数据中心主要有数据资源库、数据处理系统组成，其中数据资源库包括：数据归集库（包括业务数据库、部门数据库、互联网数据库）、数据仓库（数据融合库、基础信息库、主题信息库和专题信息库），数据处理系统有数据归集管理系统、数据治理系统、数据共享交换系统以及统一数据资源目录管理系统等组成。如图1所示。

按照数据处理流程，大数据中心由数据源、数据处理、数据服务三大块组成。数据源即产生原始数据的源头系统或数据中心；通过数据归集过程，按照业务和数据来源的不同，归集到业务数据库（内网业务系统数据）、部门数据库（内网和政务外网部门间共享的数据）和互联网数据库（来源于第三方互联平台的数据），然后经过数据标准化和数据质量治理过程进入数据融合库，再根据数据服务和应用的需要整合为基础信息库、主题信息库和专题信息库；大数据中心数据通过数据共享交换系统对外提供数据服务，对于敏感数据可以通过数据脱敏操作，对于需要实时应用的数据需求通过大数据中心提供接口的形式对外提供服务。

市场监管大数据应用的重难点主要有：多源数据的归集融合，大数据量存储，数据共享服务，数据挖掘分析。现有全省业务系统建设分散，网络不统一，系统架构和开发语言不统一，且当前还不能影响现有系统的业务操作，要求将多种来源的业务系统数据进行归集，形成全省统一的数据中心，在数据归集过程中必须充分考虑现有系统架构，采用对系统影响最小的数据归集方式。归集到大数据中心的数据包括结构化、半结构化和非结构化数据，需要根据数据格式，对半结构化数据进行结构化转换，结构化数据要进行统一数据标准等数据治理工作，既要满足结构化数据存储使用，又要满足非结构化数据的存储使用，必须采用大数据存储架构。大数据中心数据，对内为市场监管各级业务系统提供数据共享服务，对外为政府部门提供数据共享服务，同时对社会公众进行数据开放服务。大数据中心建设的最大价值是汇聚了全省市场监管业务数据，进行数据挖掘分析，为市场监管决策提供科学的、有效的数据支撑，为市场主体经营、食品药品安全、特种设备使用安全等，通过大数据分析进行风险预警，做到风险早发现、问题早处理。

根据市场监管信息化建设的实际情况，市场监管的大数据建设可以分为三个阶段，逐步推进。第一阶段：实现数据融合，归集业务系统核心数据资源；第二阶段：实现大数据监管，以大数据中心为支撑，运用大数据、云计算等技术手段，实现智慧服务、精准监管、科学決策和大数据展示；第三阶段：实现智慧监管，完善数据资源采集渠道，开展视频、图像、物联网等数据的分析应用，利用机器学习、人工智能等新技术，围绕市场行为，分析市场主体、客体相关性，形成对市场监管业务的合理化建议，辅助决策。

四、结语

本文以某省市场监管大数据中心建设为例，阐述大数据中心的主要组成部分、数据处理流程，以及大数据中心建设的推进阶段建议。总之，大数据是当前信息化技术中比较成熟且应用广泛的一种技术，大数据中心是解决多源数据资源归集、整合处理、数据服务的一种有效手段，在当前市场监管信息化建设过程中，可以打破数据壁垒，实现数据互联互通，可为新建业务系统提供数据支撑，为实现有效监管、精准监管以及智慧监管提供有效支撑。

作者单位：中通服咨询设计研究院有限公司 智能技术工程院