高校大数据人才培养与企业需求实证研究

2020-12-14张宗霞陈玉忠

湖南工业职业技术学院学报 2020年5期

张宗霞，陈玉忠

（1.山东电子职业技术学院，山东济南，250200；2.中共山东省委党校（山东行政学院），山东济南，250014）

一、引言：高校大数据人才培养如何适应企业需求

随着移动互联网、云计算、物联网等新一代信息技术的迅速发展，全球数据呈现爆发式增长。大数据在全球范围内已被公认为国家基础性战略资源，是21 世纪的“钻石矿”。受宏观政策环境、技术进步升级、数字应用普及渗透等众多利好因素的影响，2018 年中国大数据产业整体规模达到4384.5 亿元，预计到2021 年将达到8070.6 亿元[1]，这将持续促进传统产业转型升级，激发经济增长活力。大数据领域快速发展的同时，我国大数据人才却面临着严重不足的挑战。作为国内人力资源具有影响力的猎聘公司发布了《2019 年大数据人才就业趋势报告》，显示国内大数据领域的人才需求呈快速增长的态势，2019 年企业人才需求约为4 年前的12 倍[2]，据TDU 研究显示，至2025 年中国数据人才缺口将达到200 万[3]。

面对大数据人才日益严重紧缺的挑战，高校作为培养人才的重要阵地，必须承担主要的责任。近年来许多本科和高职院校已成立“数据科学与大数据技术”“大数据技术与应用”等相关专业。由于大数据是一门新兴技术产业，近几年发展极为迅速，其应用的领域也极为广泛，人才专业知识结构的需求较为多元、能力素养趋向全能化，这对高等院校制定大数据人才培养方案带来了一定的挑战性。目前，高校的大数据人才培养方案的制定应当更加注重以市场需求为导向，积极探索、调整适应大数据行业快速发展的势头。深入了解企业设定大数据岗位的信息以及对大数据各层次人才的需求规律，有利于高等院校把握大数据领域的发展趋势，制定出满足市场需求的大数据相关专业的人才培养方案，同时为有志从事大数据行业的大学毕业生提供相关岗位的资讯。

本文充分基于互联网上的招聘信息，统计分析大数据岗位相关信息，运用Python 语言自编爬虫从国内三大专业招聘信息网站（前程无忧、拉勾网、智联招聘）中采集招聘信息，并利用Python 语言及第三方扩展库Numpy、Pandas 及Jieba 等对原始数据内容进行预处理和分析，总结出大数据就业岗位需求规律。在把握大数据领域岗位市场需求的基础上，利用Matplotlib 和Wordcloud 进行可视化展示并介绍岗位、企业和人才要求等分析结果，最后给出高校大数据人才培养方案制定的对策建议。

二、大数据人才就业岗位原始数据的爬取、预处理及分析

本文首先从前程无忧、拉勾网、智联招聘三大专业招聘网站爬取大数据典型岗位的招聘信息，对原始数据进行预处理。然后对数据从岗位数量、薪资、热门城市、企业规模、学历要求、技能素养要求等方面进行分析，最后进行可视化展示。

（一）原始数据的爬取

笔者使用Python 语言自编爬虫，从专业招聘网站前程无忧、智联招聘、拉勾网爬取大数据典型岗位的招聘信息。典型岗位确定为数据采集工程师（爬虫工程师）、大数据开发工程师（Hadoop 开发工程师）、大数据运维工程师（Hadoop 运维工程师）、大数据架构师、数据分析师、数据挖掘工程师和算法工程师。笔者于2019 年10 月从前程无忧网站采集到14633 条招聘记录，从拉勾网站获得8479 条原始记录，从智联招聘网站收集到4716 条记录，合计27828 条招聘记录。每条招聘记录包括岗位，企业和人才要求三方面信息。

（二）原始数据的预处理

由于使用的招聘原始数据集采集自于多个网站，且这些数据都是由各个企业自行输入，因此数据集中不可避免存在一些无效记录或不规范、格式不一致的数据。为了方便后续的数据分析，将原始数据集中数据进行筛选和规范化处理。

将不同网站的数据集进行整合，以便进行后期的统一分析。处理完后的样本数如表1 所示：

表1 样本数

（三）招聘数据分析

从岗位基本信息、企业基本信息和岗位对人才要求三方面进行分析。

（四）数据可视化

使用matplotlib 库和wordcloud 将分析结果通过饼图、柱状图、词云等方式进行可视化展示。

三、大数据就业岗位招聘数据分析结果说明

（一）岗位基本信息分析结果

1.岗位的需求量

大数据相关岗位的招聘数量如图1 所示。

图1 大数据相关岗位需求量

图1 表明，数据分析师和算法工程师的需求量分别达到7823 和7265，是目前需求量最大的岗位。数据采集工程师和大数据架构师相对需求量不大。另外，可以看出大数据岗位涉及开发、实施、运维、分析、测试等产品研发的各个阶段。

2.热门城市

依据招聘岗位所在的城市，分析大数据岗位需求量大的十大热门城市，结果如图2 所示。

图2 十大热门城市

图2 显示，大数据岗位需求量较大的热门城市为北京、上海、深圳、广州等这些数字经济发达的城市。同时从图中可以读出西安、武汉等这些省会城市需求量也较大，和这些城市近几年重视人才引进，重视科技发展，经济发展势头逐年提升分不开。

3.薪资分布规律

（1）整体薪资分布：根据每条招聘记录的最低薪资和最高薪资，计算出每条招聘岗位的平均薪资。笔者把平均薪资根据税收制度收入的划分分为六个档次，分别为5000 及以下，5000-8000，8000-17000，17000-30000，30000-6000 和 60000及以上。分析得出最低平均工资为1000 元，最高平均工资达到550000 元。6 个档次的平均月薪分布如图3 所示。

图3 平均月薪分布

图3 显示，17000-30000 这个区间的薪资所占比例最高，达到36.7%，其次为8000-17000 档次,所占比例也高达33.2%。很明显大数据行业薪资高于其他行业，这是由这个领域的高门槛性和人才的稀缺性决定的。

（2）岗位和薪资的关系：按照岗位分组，分析岗位和平均薪资的关系，结果如图4 所示。

图4 岗位和平均薪资

从图4 可以读出，大数据架构师的平均薪资最高，达到28325，其次为算法工程师和数据挖掘工程师岗位，大数据运维工程师的平均月薪也超过2 万，大数据开发工程师和采集工程师平均月薪分别为17588 和13728，最低为数据分析师。算法工程师岗位和数据挖掘工程师需要较深的数学功底，大数据架构师要求技术全面经验丰富，所以这3 个岗位薪资都较高。数据分析师的薪资低应该和目前市场缺口巨大，对人才要求降低有关。值得注意的是大数据运维工程师的薪资赶超大数据开发工程师。

（3）城市和薪资的关系：按照城市分组，分析各个城市的平均薪资水平，得出前20 个高薪资城市，结果如图5 所示。

图5 高薪资城市

图5 显示，大数据薪资最高的城市为北京，平均月薪达到24557 元，排名第2 到第4 的是深圳，上海和杭州，其余的16 个城市的平均薪资几乎持平。值得注意的是，三门峡和昆山这样三线城市，虽然需求量没进前20，但是平均薪资和广州、苏州类似。

（二）企业基本信息分析结果

1.企业的性质

设立大数据相关岗位的企业性质构成比例如图6 所示。

图6 企业性质构成

从图6 中可以看出，民营公司占63.3%，是引领大数据行业的领头羊。其次是上市公司、合资、外资和国企，分别占9.6%、8.1%、7.5%和6.9%。因为这类性质的企业拥有大量的数据，所以具备大数据分析预测等需求。

2.企业的规模

企业规模构成如图7 所示。

图7 企业规模构成

图7 表明，规模在50-5000 人以下的企业所占比例较多，共占了78.9%，人数较多或较少的企业所占比例都较低。

3.企业所属热门行业

招聘大数据相关岗位的企业所属十大热门行业如图8 所示。

图8 招聘企业所属十大热门行业

从图8 中可以看出，需求量最大的行业是计算机软件、互联网/电子商务、计算机服务类行业，其次为金融/投资/证券、专业服务通信、电子技术和通信类行业。这些行业都属于第三产业。此外，值得注意的是服装/纺织/皮革等传统行业也设置大数据岗位，说明大数据技术已向传统产业渗透，大数据专业发展前景广阔。

（三）人才要求分析结果

1.学历要求

（1）整体学历要求分布情况：大数据行业对学历要求的分布如图9 所示。

图9 学历要求分布

大数据行业对学历没有特别要求，其中本科学历的岗位所占比例最高，为61.6%，高学历和低学历所占比例都很少，分别为4.3%和7.7%，要求大专学历的所占比例的为13.6%，无学历要求的也占到11.5%。图9 充分说明大数据行业正处于发展阶段，行业整体对学历要求不算高。

（2）大数据行业具体岗位和学历关系：大数据行业具体岗位和学历关系以及每种岗位对学历要求所占比例结果如图10 所示。

图10 岗位和学历要求

从图10 中可以看出，调研所涉及大数据岗位中本科学历所占的比例都是最高，其中数据挖掘工程师和算法工程师要求学历较高，硕博学历的比例紧跟其后；数据采集工程师、数据分析师、大数据开发工程师和大数据运维工程师岗位的学历要求较低，大专学历的比例占第二。

2.工作年限要求

（1）行业整体工作年限要求分布：大数据行业对工作年限要求的分布如图11 所示。

图11 工作年限要求分布

图11 显示，大数据行业对人才的工作年限要求不高，各类工作年限所占比例较均衡。所占比例最大的为3-4 年，占比33.2%，对工作年限无任何要求次之，所占比例高达29%，1-2 年要求的占比为26%。

（2）岗位和工作年限：本文同时分析了每种岗位对工作年限要求的比例，结果如图12 所示。

图12 不同岗位对于工作年限要求分布

图12 显示，大数据架构师最欢迎工作5-9 的人才，所占比例超过60%；大数据开发工程师、大数据运维工程师和大数据挖掘工程师最青睐工作3-4 年的人才，算法工程师、数据分析师和数据采集工程师对工作经验要求相对较宽松。

3.知识技能素养要求

大数据相关岗位所需的知识技能素养（受技术所限，本文没有对岗位要求的分词结果进一步

图13 知识技能素养关键词

图13 显示大数据相关岗位所需的知识主要包括编程语言类、数据库、操作系统和大数据组件。常用的编程语言为Python 和Java；常用的数据库为MySQL 和HBase；操作系统一般为Linux，大数据组件中出现频率最高的为Spark 和Storm。所需的技能的高频词主要包括逻辑思维、解决问题、商业、数据处理等。大数据相关岗位最看重的职业素养为学习能力、责任心、沟通表达和团队合作能力。

四、高校大数据人才培养的对策建议

1.大数据领域目前发展迅速，岗位人才需求缺口巨大，在专业岗位设置中数据分析师和算法工程师需求量最大。高校大数据人才培养招生比例、师资选聘必须考虑这一市场需求因素，及时调整政策适应企业需要；作为大学生来说，在考虑自身兴趣爱好的同时也要照顾到这一客观要求，减少专业选择的盲目性，避免就业时的困扰。

2.基于岗位职责不同，大数据各类岗位对人才学历层次也是不同的，既有博士和硕士的学历需求，又有无要求。这就要求高等院校在设置大数据专业人才培养方案时必须注重发挥各自优势、分层次培养专业人才。如，211 或985 院校注重发挥理论前沿的研究优势，一般院校或高职院校要注重培养专业复合型、动手能力强的学生，如此才能使得毕业生在进入企业工作时更好地发挥自身优势。

3.从市场需求来看，大数据专业人才需求旺盛的企业大多集中数字化经济程度较高的大城市，从区域分布来看，华北、中南和华东三个区域在大数据产业发展方面持续领跑。这就使得企业所在地的高校具备了大数据专业人才培养的实践基础和动力，也为大数据专业的毕业生就业提供了充分的就业岗位。高等院校设置人才培养专业计划必须结合所在地的市场优势，一方面为人才专业的质量负责，另一方面也为大学生就业负责。

4.大数据专业知识具有非常强的实践性，这就要求高等院校大数据专业培养方案应当加入企业研发因素，一方面以企业正在进行的技术内容、方案、模式创新充实、激励高校理论研究的更新；另一方面高校与企业合作可以相互促进、提高理论研发能力。按照企业的性质，民营企业在大数据人才就业岗位可能稍占优势，当然这也不排除有些大型国有企业在相关领域具有大数据方面的专业优势。