区域产业公共服务数据平台建设研究

2021-03-01陈俊琰

科学与财富 2021年29期

摘要：本文以某区域人工智能产业公共服务平台为研究对象，对城市公共服务数据平台建设进行了设计研究。主要设计研究内容包括数据平台设计、信息安全保障设计、软件选型等。本文设计方案研究将为区域公共服务平台建设提供有益参考。

关键词：数据平台;公共服务;信息安全

建设城市公共服务平台能够有效促进智慧城市全面发展，维护社会公平和社会公共利益。公共服务平台，就是在产业集中度较高或具有相对产业优势的地区，构建为中小企业提供研发、加工、测试、信息资源、公共服务、公共设施公共技术支持系统、为公众提供就业、创业等生活环境。公共服务平台的建设有助于为本地区政府管理部门、企事业单位以及社会公众提供系统、全面、方便、高效的相关公共服务，从而提高服务效率，促进当地经济和社会发展。

为支撑某区域人工智能产业公共服务平台建设，集成、整合、优化相关产业资源，提供可共享共用的基础设施、设备和信息资源共享的各类渠道，为区域人工智能产业链内群体的公共需求提供统一的辅助解决方案，本文对该公共服务平台数据平台建设方案进行了设计研究。

一、数据平台设计

公共服务平台的运营服务，离不开平台建设后海量产业数据的接入存储、分析挖掘、质量管控、安全管控，以及面向用户的可视化管理。因此，数据平台设计主要子系统包括数据交换系统、数据分析系统、数据管控系统以及可视化管理系统。

（一）数据交换系统

由于业务需要，本平台的主要数据来源包括区县主管部门季度/年度填报数据、政府开放数据、第三方数据、互联网爬取的公开数据、外部购买的商业数据等多个数据源的数据接入。数据交换方式主要以服务接口方式。资源提供方以服务接口方式共享资源时，可选择的接口类型包括：REST和WebService。为确保服务接口的标准性和可用性，服务接口统一按照以下协议规范和技术要求对外呈现：

（1）服务传输协议：采用HTTP/S1.0/1.1标准。

（2）服务消息协议：WebService服务消息封装协议采用SOAP1.1/1.2标准;REST服务消息封装协议采用HTTP1.0/1.1标准。

（3）数据返回格式：XML、JSON、JAVA对象等。

（4）服务描述：应包含服务调用者使用的具体访问接口内容，主要包括数据类型定义、操作、交互消息格式和内容、端口类型及绑定等内容，内容格式应按照WSDL1.1的规定进行描述。

（二）数据分析系统

本系统是依据数据交换系统采集到的数据，结合平台已有数据，进行数据清洗、加工，整合等数据处理措施，再结合分析方法进行指数评价分析。通过不断的优化数据源与测算反馈，最终呈现出不同地区的人工智能行业、企业赋能评价指数。为此系统需满足如下性能：

（1）支持大数据存储：应采用分布式文件存储技术，能运行在通用硬件上，提供一个高度容错性和高吞吐量的海量数据存储解决方案。

（2）支持大数据实时查询：应支持NoSQL，建立面向列的实时分布式数据库，实现由TB到PB级别的海量数据存储和髙速读写。这些数据要求能够被分布在最多至数千台普通服务器上，并且能够被大量并发用户高速访问。平台还应支持NewSQL，基于SharedNothing架构，实现面向结构化的数据分析。

（3）支持大数据分析挖掘：应基于HDFS、NoSQL存储，通过MR分布式计算框架进行分析挖掘;基于NewSQL、通過SQL接口，利用MPP技术实现分布式处理。

（4）支持基于内存计算：支持Storm，这是一个分布式、容错实时计算系统，遵循Eclipse Public License1.0可以方便地在一个计算机集群中编写与扩展复杂的实时计算同时保证每个消息都会得到处理。

（三）数据管控系统

该系统具备以下几部分功能：

元数据管理。元数据架构、元数据标准、元数据生成获取和维护、元数据存储、整合和共享、元数据查询和报表、数据术语及字典管理、元数据知识库管理;

数据感知监测。数据感知监测是通过一系列主动和被动监测方式，感知数据资产实时动态情况，并根据定义的监测规则和事件流程，触发数据质量管理和数据安全管理操作。

数据标准管理。平台数据标准管理主要功能如下：导入外部标准，提供以Excel模板方式，导入外部国家标准或行业标准，支持数据项、数据字典、指标等类型的标准导入;数据标准维护，实现标准的维护功能，包括标准新增、变更、审核等功能，支持标准版本管理和比对功能，对标准变更情况进行记录;标准关联分析，提供数据标准与元数据、数据资源的关联分析，分析引用指定标准的数据资源分布，以及标准的引用统计;

数据质量管理。数据质量管理是依据数据质量管理规范，为数据质量管理过程提供支持。数据质量管理主要过程包括质量规则配置和数据质量检核，能够解决数据完整性、唯一性、权威性、一致性、合法性等问题。

管理流程。数据质量管理主要功能包括：质量规则配置，实现数据质量度量规则和检核方法管理。通过界面维护任务，支持根据数据标准生成质量检核方法;数据质量检核，对依次对检核对象进行合规性检核，在发现数据质量问题之后，记录问题数据和异常记录;数据质量问题明细报告，针对检核任务在执行之后，需要出具数据质量问题报告，对问题的总体情况进行描述，并按照权属部门/企业、资源分类等维度出具明细质量报告。

（四）可视化管理系统

本设计可视化管理系统，能够将公共服务平台的各项人工智能产业关键数据（包括主要新兴产业产品、智能软件技术、深度应用服务三方面的营收组成及规模等）进行可视化呈现，从而实现对包括人才引进、园区管理、产业规划、产品规划等领域进行管理决策支持。

高兼容性。可视化系统平台屏幕支持范围广泛，跨移动设备、手持Pad、传统PC、拼接大屏等多媒体业务终端，实现多终端显示效果的统一体验。

权限管理。根据系统分配的权限，用户可以随时随地查看和操作其权限范围内的数据，使得信息安全感知更有保障。

导入导出。支持“导入导出”功能模块，提供数据源与组件的导入导出工作。

通过屏幕编辑器界面工具栏中的“数据源”管理功能，能够进行数据源列表维护。通过配置添加、变更和新建数据源，对数据源进行管理操作。

视图元素灵活性。对具体场景中业务视图元素可编辑、可维护、可修改，支持部门视图权限管理。操作管理更加便捷、高效。

系统支持将数据融合贯通，综合汇集于系统之上;在提供传统的柱状图、饼图、仪表盘等基础图表组件的基础上，还可以提供光晕图、泡泡图、流向地图等多种个性化图表。

二、信息安全保障

公共服务平台存储有与本地区产业、场景等相关的大量商业数据，为此需建立一套信息安全管理办法进行网络与数据完全保护。安全防护设计主要包括系统用户访问权限控制、数据加密存储和其他措施完成安全防护工作。

访问权限控制。系统采用了用户身份认证，对口令加密、更新和鉴别，设置用户访问目录和文件的权限，控制网络设备配置的权限等。并对重要涉密的数据进行加密防护。

数据加密存储。数据加密存储主要是对重要、保密和敏感的数据进行加密处理后存储，进一步提高数据的安全性。