基于大数据技术的南京市就业分析系统研究

2021-11-02张岳静

无线互联科技 2021年17期

张岳静

（1.南京市信息中心，江苏南京 210000；2.南京艺术学院平面艺术系，江苏南京 210000）

0 引言

针对目前南京市政府重点关注的人口流动情况，劳动力资源构成，高校毕业生、农村转移劳动力等重点人群的就业情况，以及各行业企业发展情况等问题，实施南京市就业数据分析系统的建设，为南京市政府宏观决策、社会管理、政务服务等提供数据依据。依托大数据的发展，提高决策效率，改善政府管理方式，加强市场监管，提升服务能力，实现社会劳动力资源的合理配置，将有效解决南京市800多万社会公众的就业问题，有力地促进南京市城乡就业，有效缓解经济体制转轨过程中的就业压力。同时，通过对南京市适龄社会劳动力资源的构成、求职意向、岗位需求、最低工资等方面的综合监测和预测分析，为南京市政府的产业规划、就业形势监测与预测、剩余劳动力的培训与安置等民生事项提供基础数据支撑。

1 总体架构

1.1 总体框架图

该项目以标准规范体系和信息安全体系为建设基础（见图1），主要包括系统平台层、数据资源层、系统应用层3个层次[1]。其中系统平台层包括人社信息化系统平台、人口与计划生育系统平台两大系统平台。数据资源层包括南京市政务数据中心，以及南京市就业分析知识库、南京市就业分析结果库。其中南京市政务数据中心汇聚了来自人社、人口两大平台的社会劳动力资源和就业分析所需的基础元数据，南京市就业分析知识库主要包括各种分析模型数据，南京市就业分析结果库主要为存储依据各种分析模型统计分析所产生的结果性数据。系统应用层为南京市就业数据分析平台，主要包含基础数据管理、数据质量管理、数据比对管理、数据交换管理、统计报表制度和管理、统计和综合查询、宏观就业形势分析、就业信息主题分析等功能。

图1 总体框架

1.2 总体设计思路

南京市就业数据分析平台建设需要大量的就业信息、人口信息等数据支撑平台。智慧南京平台沉淀的数据有人口数据库、法人数据等，规范数据采集和应用标准，拓展数据采集范围，积极整合人社、民政、公安等部门人口系统的相关就失业信息、人口信息，构建多领域集成融合的大数据支撑平台[2]。以人力资源和社会保障部全国就业信息监测指标体系为基础，对业务、数据进行梳理，建立南京市就业信息监测指标体系。结合南京市政府信息中心已有的政府部门数据指标体系，进行监测指标计算、数据质量处理，建立南京市就业数据指标体系，实现对数据的采集、交换、分析预测管理。

2 关键技术分析

数据资源中心资源数据库数据资源分布、交换共享采用以下策略。

2.1 数据集中管理

为了充分保障管理的准确性和高效率，中心资源数据库采用数据集中管理的模式。在充分考虑了管理和技术可行的前提下，将所有的业务结果性数据归集于中心资源数据库，为跨区域、跨业务部门的业务协同提供支持，也方便领导实时了解业务的执行和汇总情况，满足高质量、高效率的管理和服务需求。

2.2 数据存储集中与分散相结合

中心资源数据库是一个应用种类众多、数据量巨大的系统，数据绝对集中存储在一个数据库对系统的运行效率影响较大，且各个相对独立的子系统也会因为数据的存储问题而相互牵连在一起，影响系统的安全性和可扩展性[3]。因此数据存储应考虑集中与分散相结合，既保证各个主要子系统的相对独立，又要建立良好的数据交换体系，保证信息在整个中心资源数据库内及时、准确、安全的流通。

在中心资源数据库中设置交换库，负责与外部系统之间的数据交换，在保证对外信息交换与共享实施的同时，保持数据中心系统的相对独立性。

2.3 信息资源的逻辑分布与部署

根据数据存储集中与分散相结合、保证各个主要分系统的相对独立的原则，对应核心业务、决策支持、基础信息和外部信息交换，分别设立不同的数据库，保证各个分系统操作的独立性。

2.4 分布式技术实现对海量数据的高效处理

传统的信息系统大都采用集中式的数据库架构，但随着海量数据的爆发式增长，集中式数据库系统已经逐渐不适应业务需求。传统的数据存储方式由于过于强调集中管理而造成了大量数据的集中堆积，用户需要大量的存储数据的介质而导致服务器的回应下降乃至崩溃，这样一来就会有大量数据随着服务器的崩溃而丢失[4]。而数据对于政府来说是至关重要的，绝对不允许有数据丢失情况发生。集中式数据库系统随着系统涵盖群体的扩大还面临着高并发的访问瓶颈，这些问题随着分布式数据库的日益普及得到了完美的解决。

由于采用了分布式数据存储技术，随着数据量的不断增加，系统可以方便地进行弹性扩容，满足业务量发展的需求。随着云计算技术的发展，若将系统迁移到云平台上，分布式数据存储的先天优势会更加明显地发挥出来，在架构层面可以适应云平台的迁移改造工作。

2.5 运用可视化技术进行人性化UI配置及界面展现

数据管理和共享交换平台采用人性化的配置界面，通过优异的UI展现技术将丰富的数据管理功能简捷地展示出来，用户可以便捷的操作系统功能进行源数据管理、数据采集、数据抽取、数据质量分析等工作，并且可以轻松地设计数据全生命周期管理，对每个数据节点进行逻辑处理和流程配置。

本系统有强大的图表展示功能，同时图表类型丰富多样，提供了几乎所有常见的图表类型，包括常用的柱形图、饼图、折线图，也包括较高端应用中的仪表盘、雷达图、全距图、数据地图等。图表可以直观地展现数据的内在关系，形象地展示数据的状态，更好理解数据，辅助决策。

3 系统内容分析

3.1 数据资源管理

3.1.1 基础数据管理

提供对就业监测基础表和指标信息的管理和维护功能，实现南京市对就业监测基础信息表和数据指标的灵活扩展，同时提供给上级行政单位对下级行政单位基础信息表和数据指标扩展情况的查询和监测功能。

本项目的基础表和指标信息来自南京市信息中心政务数据中心，包括就失业登记、就业援助对象、就业政策享受情况、求职招聘、培训信息、职业技能鉴定、创业贷款、孵化基地管理、参保信息、缴费信息、医保消费信息、教育信息、人口库等政府数据信息。

3.1.2 数据质量管理

定制就业、人口、监测数据质量检测标准；实现对数据质量检测条件、方案的建立和修改；实现按照所选定的数据检查方案进行质量检查；提供质量检查结果的灵活查看，问题数据的打印及导出等。

数据质量管理是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。不仅包含了对数据质量的改善，同时还包含了对组织的改善。针对数据质量的改善和管理，主要包括数据分析、数据评估、数据清洗、数据监控、错误预警等内容；针对组织的改善和管理，主要包括确立组织数据质量改进目标、评估组织流程、制定组织流程改善计划、制定组织监督审核机制、实施改进、评估改善效果等多个环节。

3.1.3 数据比对管理

实现横向部门报送的各类数据的差异化比对分析，如社保、公积金、人口库数据差异比对。主要包含个人基本信息，如姓名、性别、年龄、身份证号、参加工作时间、工作年限等指标信息和单位基本信息，如单位名称、所属产业、行政区域、单位类型、经济类型等指标信息。

3.1.4 数据交换管理

制定统一的数据交换标准和接口管理规范，实现与横向对外系统交换数据的查询、抽取、转换功能，并按照规定的文件格式导出。按照国家及部委有关数据交换安全管理规定，制定数据交换加密、解密算法，对交换数据进行加密处理，可实现脱机模式下不同部门间数据交换管理。

3.2 统计报表管理

3.2.1 统计报表制定和管理

提供全市就失业情况、高校毕业生人口流动情况、留宁大学生的分布情况、高校毕业生失业率、失业高校毕业生专业分布、高校毕业生创业人数、创业带动就业人数、高校毕业生劳动者基本情况、农村转移劳动力情况等动态分析报表的灵活定制[5]。实现统计表按照固定报表和临时报表等进行分类管理，按照市、区进行统计表分级权限管理。

3.2.2 统计和综合查询

实现市、区级各级统计报表，如就业人口、高校毕业生人口流动情况、留宁大学生籍贯统计、高校毕业生失业人数、失业高校毕业生专业分布，根据需要进行单表或批量统计，自动生成统计报表；在统计报表基础上进行过录、汇总等二次分析；提供统计结果的图表展示，统计结果的查询导出等。实现对明细数据的灵活查询；提供对统计报表数据的灵活查询和图表展示及导出、打印等。