大数据人才需求分析

2017-09-27朱立

课程教育研究·新教师教学 2015年29期

【摘要】快速发展的大数据技术及其在各行各业的迅速普及应用，使得大数据人才成为人力资源市场备受追捧的新宠。然而大数据技术的特点对相关人才提出的高要求，使得大数据人才缺口巨大成为现实。本文借助小象学院近两年的研究成果，对大数据职业角色进行了划分和分析，并提出了大数据人才培养的途径和初步策略，力图为解决大数据人才严重不足的问题提供一点帮助。

【关键字】大数据；人才需求；人才培养

【中图分类号】G642 【文献标识码】 A 【文章编号】

前言

从Web 2.0的时代开始，人们从数据的被动接受者变成了主动创造者。数据制造的能力向消费者转移，使得大数据的激增愈演愈烈。随着云服务和移动互联的普及，大数据是必然结果。各行各业竞争需要精细化运营，大数据分析是必然手段。马云说过：人类正从IT时代走向DT时代。

大数据在政府公共服务、医疗服务、零售业、制造业、交通、电信、金融、以及涉及个人位置服务等领域得到广泛应用，并产生了巨大的社会价值和产业空间。未来优秀企业里的数据相关从业人员占比应该在20-30%。据Gartner宣称，大数据正在创造海量工作岗位，截至2015年，全球将有400万个与大数据相关的IT工作岗位。

一、大数据人才现状

各行各业都在加速拥抱大数据，人才需求旺盛的态势已经明朗。据麦肯锡预测，至2018年，美国需要400万名具备基于大数据分析的经理和分析师。至2018年将有60%的组织设置首席数据官，未来八年将有19%的大数据人才需求增长，薪酬水平位居IT技能岗位类之首。

一时间，大数据人才成为炙手可热的IT界宠儿。但是，目前企业中并没有足够的适用人才。只有大约三分之一的岗位空缺能被填补，数据专家非常稀缺抢手。以中国为例，未来3年需要至少180万具备基于大数据分析的经理和分析师，人才缺口达到150万。大数据人才严重缺乏已经成为事实。

更令这一现象雪上加霜的是，近年来互联网公司占据了技术创新的制高点，优秀的新技术人才汇集在一线互联网公司。相对而言，传统行业缺乏吸引力，电信、金融、交通、医疗、电力、政府等行业很难吸引到合格的互联网新技术人才，其中大数据分析及数据挖掘领域的人才缺口最大。

二、大数据职业角色划分

目前，各大数据产品和服务提供商根据自己的产品平台特点和架构组成设置与大数据相关的工作岗位。因大数据技术的共同特点，各厂商的职业角色划分共通之处较多。

小象学院通过跟踪工业界所拥有的大数据团队的组织实践，发现一个普遍现象——大数据专业人才已经出现多层次的角色分类，基本可以分为九大职业角色：大数据运维工程师、大数据平台研发工程师、大数据云端研发工程师、大数据前端应用开发工程师、大数据架构师、大数据分析师、数据挖掘师、算法工程师、大数据可视化工程师。

大数据所涉及的关键技术包括6个方面，分别是数据采集与数据管理、分布式存储和并行计算、大数据应用开发、数据分析与挖掘、大数据前端应用、数据服务和展现。通过表1可以看出大数据关键技术与职业角色之间的关系。

在数据采集与数据管理技术领域，需要大数据运维工程师，负责搭建大数据平台集群，并维护、管理、优化，负责平台上的数据采集、数据清洗、数据存储，数据维护及优化。

在分布式存储和并行计算以及大数据应用开发技术领域，需要大数据开发工程师，又可以细分为大数据平台研发和大数据云端研发工程师。平臺研发工程师主要是围绕大数据系统的平台研发人员，应该掌握设计开发分布式系统的功能扩展、性能改进、故障分析、OLAP（On-Line Analysis Processing，联机分析处理）类型的在线联机分析开发等知识和技能。大数据云端研发工程师是面向业务场景的大数据后台服务开发人员，负责基于大数据的业务应用系统和产品的云端后台服务开发，如：广告系统、搜索、个性化推荐及精准营销系统、风险预测、防欺诈系统等。

上述3个领域中，大数据运维和开发工程师的未来职业发展方向是大数据平台架构师，负责研究与跟踪大数据新技术发展方向，主持制定大数据平台技术发展战略规划，如：平台的设计、开发、维护与优化，不断创新，满足上层数据运营体系各项需求，核心数据模型的建立，同时参与应用分析系统的系统分析、设计以及实施工作等；负责企业主数据，元数据管理及数据质量；基于数据仓库的业务探索以及信息探索的工作。

在数据分析与挖掘技术领域，需要数据分析师、数据挖掘师、算法工程师等多种人才。大数据分析师负责项目的需求调研、数据分析、商业分析和数据挖掘模型等，通过对用户的行为进行分析了解用户的需求；参与业务部门临时数据分析需求的调研、分析及实现；参与数据挖掘模型的构建、维护、部署和评估；整理编写商业数据分析报告，及时发现和分析其中隐含的变化和问题，为业务发展提供决策支持。数据挖掘工程师负责具体项目的数据挖掘模型等，通过数据挖掘模型的构建、维护、部署和评估实现数据处理，分析和挖掘的基础性技术支撑。算法工程师负责对复杂算法实现原理的研究，通过算法的优化在海量数据集中保证算法计算的效率和效果。这几种岗位人才未来可以发展成为数据科学家。

在大数据前端应用技术领域，需要大数据前端开发工程师，就是面向业务场景的大数据前端开发人员，负责设计实验良好的人机交互；进行系统优化，设计并完善前端基础服务架构；解决浏览器兼容问题，进行移动应用开发，并与后台技术开发保持良好沟通，快速理解、消化各方需求，最终落实为具体的开发工作。这种岗位人才未来可以发展成为前端架构专家。

在数据服务和展现技术领域，需要数据可视化工程师，负责通过极具创造性和想象力的方式展示数据分析及挖掘后的知识发现，帮助用户从大数据洞察中获取直观和感性的知识。这种岗位人才未来可以发展成为可视化专家。endprint

三、大数据人才培养

1. 人才培养途径

目前，教育机构不能满足人才市场需求。现有教育体系和市场需求严重脱节的问题已经是老生常谈，大部分大学仍然以学科教育为主，培养研究型人才而不是职业技能人才。另外，互联网新技术变化迅猛、生命周期短，高等院校难以及时培养师资力量。解决这一问题的有效途径是校企合作，通过引入相关技术人员，快速解决师资力量不足和师资培养的问题。

有能力提供大数据人才培训的培训机构数量和规模有限，同样难以满足市场需求。比较有效的途径是充分发挥互联网的优势，采取在线教育模式使大数据技术得以快速普及。

2.人才培养策略

在大数据分析和应用中的各种数据与决策模型需要不断测试和优化，更需要高质量的计划和执行力，对大数据人才的知识结构与综合能力提出了很高的要求。大数据人才培养的方案应该包含3个维度。

维度一，職业角色划分。如上所述，大致分为9大职业角色。

维度二，技术能力。可以理解为知识结构，应包括数学、统计学、计算机和网络、数据管理、编程和写脚本、数据库、数据仓库、分布式计算、机器学习、数据挖掘、数据分析、数据可视化等课程或学科。根据职业角色不同有所侧重。

维度三，相关课程设置。据统计，大数据9大职业角色覆盖的课程内容有近50门，实际操作时，可以根据职业角色的目标岗位不同，设置不同方向的相关课程。

3个维度分别对应，形成面向职业角色的3维立体人才培养方案。

结论

面对风起云涌的大数据时代，计算机相关专业课程亟待改革，扩大视野，适应日新月异的信息时代要求。当代计算机专业学生不仅要有扎实的理论功底，还要有娴熟的技术技能，以胜任大数据工作岗位的要求。

参考文献

[1] 向冲. 高职“大数据”人才培养研究. 科教导刊. 2014.12

[2] 袁晓桂. 论“大数据时代”高职软件技术专业人才培养的新理念. 计算机光盘软件与应用. 2014.11