数据处理生命周期与大数据专业就业岗位研究

2020-01-25袁帅石艳张国锋张慧丽王晓燕

商业文化 2020年35期

袁帅石艳张国锋张慧丽王晓燕

本文针对大数据处理的生命周期，研究分析大数据技术与应用专业的就业岗位需求。本文根据国家大数据的政策，大数据产业的发展状况及河南大数据产业状况，分析大数据的生命周期，根据大数据的生命周期，提出了大数据的就业岗位及岗位详细描述，能对大数据技术与应用专业建设提供较好的帮助。

大数据产业现状

随着大数据的爆炸式增长和大数据产业的快速发展，企业对大数据的处理应更为准确规范。针对大数据处理的生命周期，需要更精确的岗位对应。

国家政策

自2015年9月，经李克强总理签批，国务院印发了《促进大数据发展行动纲要》，系统部署了我国大数据发展工作，至此，大数据成为国家级的发展战略。2016年，政策细化落地，国家发改委、环保部、工信部、国家林业局、农业部等均推出了关于大数据的发展意见和方案；2017年，大数据产业的发展正从理论研究加速进入应用时代；2018年，大数据产业相关的政策内容已经从全面、总体的指导规划逐渐向各大行业、细分领域延伸，物联网、云计算、人工智能、5G技术与大数据的关系越走越近。

行业发展情况

大数据产业指以数据生产、采集、存储、加工、分析、服务为主的相关经济活动，包括数据资源建设、大数据软硬件产品的开发、销售和租赁活动，以及相关信息技术服务。2015年，我国信息产业收入达到17.1万亿元，比2010年进入“十二五”前翻了一番。其中软件和信息技术服务业实现软件业务收入4.3万亿元，同比增长15.7%。大型数据中心向绿色化、集约化发展，跨地区经营互联网数据中心（IDC）业务的企业达到 295家。云计算服务逐渐成熟，主要云计算平台的数据处理规模已跻身世界前列，为大数据提供强大的计算存储能力并促进数据集聚。在大数据资源建设、大数据技术、大数据应用领域涌现出一批新模式和新业态。龙头企业引领，上下游企业互动的产业格局初步形成。基于大数据的创新创业日趋活跃，大数据技术、产业与服务成为社会资本投入的热点。

河南省大数据产业状况

作为新兴产业，河南省大数据管理局贯彻落实党中央关于政务服务和数据管理工作的方针政策和决策部署，在履行职责过程中坚持和加强党对政务服务和数据管理工作的集中统一领导。加强统筹协调，构建河南政务大数据平台，打破信息孤岛，加快数据共享。开展大数据示范应用，统筹推进“数字政府”建设，建立“用数据说话、用数据决策、用数据管理、用数据创新”新机制。

产业发展，人才先行。2017年6月，河南省委、省政府联合印发《关于加快推进国家大数据综合试验区建设的若干意见》，提出河南要打造全国一流的大数据产业中心、数据应用先导区、创新创业集聚区、制度创新先行区，建成引领中部、特色鲜明的国家大数据综合试验区。

2018年5月，河南省发改委发布《河南省大数据产业发展三年行动计划（2018-2020年）》，力争到2019年大数据核心产业规模超过400亿元，关联业态规模达到2000亿元。到2020年，大数据核心产业规模突破1000亿元，关联业态规模超过5000亿元。2018年跨境电子商务交易額达到1200亿元，2019年达到1350亿元，2020年达到1500亿元。加快龙子湖智慧岛核心区建设，2018年入驻大数据领域企业超过150家，产值达到150亿元；2020年入驻企业达到500家，产值达到1000亿元。建成一批辐射带动力强的省级大数据产业园区，发展壮大5～10家大数据龙头企业，培育50家专业化数据服务创新型中小企业，形成比较完善的大数据产业链。

2018年9月，河南省人民政府办公厅下发了《关于河南省促进大数据产业发展若干政策的通知》，明确提出用电价格减半、以奖代补、设立信息产业发展基金、土地出让优惠等十项“硬措施”，以促进大数据产业快速发展。

河南发展大数据产业最缺的是人才，河南省既缺乏保障大数据产业发展的基础人才和技能人才，也缺乏大数据产业领军人才，人才培养体系不成熟，激励机制和保障体系待完善。政府规划纲要中明确要求高校、科研机构和行业协会等企事业单位积极参与大数据产业发展，鼓励高等院校开设大数据相关专业和课程，推动省内外高校与行业企业、科研院所深度合作，培养大数据技术研发、市场推广、服务咨询等应用型人才。支持有条件的企业与科研院所、高校合作建设大数据方面专业，重点实验室，实训基地。以培养大量技术技能型、复合技能型和知识技能型专业技术人才，满足大数据产业发展需求。

大数据处理生命周期与从业岗位

大数据的爆炸式增长在大容量、多样性和高增速方面，全面考验着现代企业的数据处理和分析能力；同时，也为企业带来了获取更丰富、更深入和更准确地洞察市场行为的大量机会。大数据或称巨量资料，指的是所涉及的资料规模巨大到无法透过目前传统的主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策达到更积极目的的资讯。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC 以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。

据数联寻英发布《大数据人才报告》显示，目前全国的大数据人才仅46万，未来3-5年内大数据人才的缺口将高达150万。根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才。这些人才缺口的存在使大数据技术与应用人才可选择的优质就业岗位遍地开花，使得高等院校为社会培养大数据技术与应用人才成为大势所趋。

大数据整个处理流程可以大致分为四个阶段，分别是采集、导入和预处理、统计和分析，最后是数据挖掘。

数据采集阶段：大数据的采集是指利用多个数据库来接收发自客户端（Web、App 或者传感器等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库 MySQL 或者 Oracle 等来存储每一笔事务数据，除此之外，Redis 和 MongoDB 这样的NoSQL 数据库也常用于数据的采集。

预处理阶段：虽然采集阶段涉及到很多不同的数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式存储数据库或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter 的 Storm 来对数据进行流式计算，以满足部分业务的实时计算需求。

统计分析阶段：统计与分析主要利用分布式存储数据库或者分布式存储集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到基于 MySQL 的列式存储 Infobright 等，而一些批处理或者基于半结构化数据的需求可以使用 Hadoop。

数据挖掘阶段：数据挖掘一般没有预先设定好的主题，主要是在现有数据上面尝试进行各种挖掘算法的计算，从而起到预测和警告的作用，以实现一些高级别数据分析的需求。主要使用的工具有 Hadoop 的 Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。

通过对大数据概念、处理流程的分析，以及对行业企业的调研，收集了大量岗位调查报告。形成如下岗位分析表，较为全面的反应了大数据技术应用及云计算平台运维就业岗位的需求。