基于大数据的人才管理平台构建研究

2024-03-17何泽君云雄鲍斌

科学与信息化 2024年2期

何泽君云雄鲍斌

中国民航信息网络股份有限公司重庆分公司重庆 401122

引言

大数据时代，数据已成为企业发展和生存的重要资源。企业正面临VUCA这一新常态，为应对众多的跨界挑战者、不断变化的市场和持续演进的技术，需快速适应和敏捷转型，这给企业人才管理工作带来了前所未有的挑战[1]。互联网时代以来，企业普遍实现了人才管理信息化，主要以人力资源部门为主体，采用互联网技术建设独立的人才信息系统，实现人才信息的统计、分析。新形势下，功能单一、相互独立的人才信息系统已不能满足企业人才管理需求。全面引入智能技术，构建大数据技术为基础的人才管理平台，成为破解人才管理难题的新思路[2]。

1 人才管理的现状和问题

互联网时代，我国企业人力资源信息化建设开始蓬勃发展，企业基于不同部门职责，建设了功能相对独立的信息系统，企业人才管理转变为对人才数据的管理利用。当前人才管理的现状和问题主要有以下几个方面。

1.1 数据认识不足，管理方式落后

大数据时代，人才管理者对基于数据的管理方式缺乏理论认识和应用经验。传统的管理主要以人事管理为主，注重流程管控，所能应用和参考的数据有限，导致管理模式和决策具有较强的片面性和主观性。此外，独立的人力资源部门难以与市场、研发等部门配合。当前，大部分企业管理者并未意识到大数据技术在人才管理中的价值，也没有合适的方法和工具，无法利用大数据优化管理。这些问题都成为提高企业管理能力的掣肘之处[3]。

1.2 数据融通不够，管理效率低下

大数据时代，爆炸式增长的信息和互联网下分布的海量数据未被充分利用。企业人力资源信息化建设盲目激进，系统功能单一、信息集成水平低、安全问题严峻[4]；员工产生的大量高价值的非结构化数据无法被利用；企业内外部数据无法融通。这些问题造成了人才数据失真、数据获取成本高昂、数据利用效率低下，降低了人才管理工作的效率。

1.3 数据分析不足，管理规程滞后

大数据时代，人才管理不仅要对员工基础数据、绩效、外部人才市场数据等进行分析，更重要的是对员工产生的非结构化数据进行挖掘。当前人才管理的方式通常是预先设计好，数据分析多是事后总结，难以挖掘企业与员工间潜在关联信息，不能为企业提供有价值的战略方针，更无法为管理者提供预测指导，是一种滞后的管理[5]。

2 关键技术

2.1 大数据技术

Hadoop是一种分布式系统基础架构，它包括多个生态组件：HDFS、MapReduce、HBase、Hive等。HDFS为海量数据提供存储，容错性高，部署硬件要求低；MapReduce是一种用于处理大规模数据集的并行计算框架；HBase是一个高可靠、高性能、面向列、可伸缩、实时读写的分布式数据库，主要用来存储非结构化和半结构化的松散数据；Hive是一个开源的SQL解析引擎，用于将SQL语句转换成MapReduce任务以处理大规模的数据集。

Flink是一个用Java和Scala编写的分布式流数据处理引擎，用于在无界和有界数据流上进行有状态计算。其流水线运行时系统可以同时执行批处理和流处理程序，并支持任意数量的流变换。Flink还提供了现成的源和接收连接器，例如Kafka、HDFS等。

2.2 人工智能技术

朴素贝叶斯算法适用于大多数情况，但精度不够高，要求数据量大，计算效率低。朴素贝叶斯算法的核心思想是将每个特征看作是一个条件概率分布，然后将每个样本看作是一个条件概率分布的投影，投影到每个类别上得到一个新的条件概率分布。最后，根据样本的条件概率分布来计算其分类结果。

支持向量机对数据需求量小、计算精度高，但对缺失的数据处理效果差。支持向量机通过训练一个分类器来寻找最佳的超平面，并将数据映射到高维空间中，同时将分类器的结果与真实标签进行比较，再根据比较结果更新超平面的位置，以使得正例和负例之间的距离最小。

深度学习是一种基于神经网络的一类人工智能技术，在自然语言处理中的文本分类、实体识别、关系识别、语义识别有广泛的应用。它通过多层非线性变换来实现对数据的高效表示和分类，主要算法有人工神经网络、卷积神经网络、循环神经网络、自编码器等。

3 基于大数据的人才管理平台建设

大数据人才管理平台旨在促进人才管理智能化发展，应具有数据资源和服务集约化，数据分析智能化，运维管理成本低、高可用、易扩展、具备产业生态系统支持的特点[6]。通过问题现状分析和技术调研，确定平台建设采取以Hadoop为核心的融合化技术方案[7]。大数据人才管理平台架构，采用层次结构，从底层向上层依次是数据接入层、数据存储层、数据处理层、数据应用层，以及贯穿始终的数据安全规范和数据管理规范要求。

3.1 数据接入

平台的数据来源于企业信息系统、物联网智能终端感知数据、内外部网络数据、人员行为数据等，按数据类型可分为结构化数据、非结构化数据，数据源具有来源分散，类型多样的特点。针对企业OA平台上的各类系统采用Sqoop工具，对各种关系型数据库通过任务管理实现批量采集。针对人员行为日志、外部系统消息、网络爬虫动态捕获的互联网数据，采用flume+kafka完成多源异构数据的实时采集。

3.2 数据存储

平台采集的数据结构复杂、质量标准不统一，需按照数据治理管理要求进行数据预处理和存储。数据应进行ETL预处理，可以结合统计学方法、SQL清洗、粒度聚合等方法处理。数据存储应具有高效性、可扩展性和容错能力，存储采用基于Hadoop与MySQL整合的数据仓库。其中，Hadoop用于存储多源异构的原始数据进行分布式运算；MySQL用于存储面向应用的结果数据，实现大数据存储、高效能运算、实时查询的需求[8]。根据数据运算需求平台采用Hive、Presto、Spark、Flink作为数据仓库的引擎，实现大数据的批处理和流式处理。利用Hive完成长时间运行的离线批处理，实现数据仓库统计分析工作。利用Presto的高并发性、高吞吐量和高可用性等特点，通过联合hive使用、加速Hive的查询，实现更高效、更准确的大数据处理。采用Spark联合Flink的设计，Spark擅长处理结构化数据，而Flink则适合处理非结构化数据。当需要处理机器学习任务时，可以将数据分为结构化和非结构化部分，分别交给Spark和Flink处理，最后将它们合并为一个数据集。对于流处理任务，可以将Spark作为主要的流处理器，将Flink作为从库或工作队列来处理数据，实现数据处理的分布式实时性能。

3.3 数据处理

平台数据处理应满足人才管理领域的统计分析需求，更重要的是能实现人才管理智能化。人才数据具有特征稀疏、深度关联性强的特点，分析需要依赖平台的批处理、流处理实现运算能力。数据分析的方法主要采用统计学和人工智能技术。针对人才管理业务需求，数据处理需要完成人才盘点数据处理、人才特征数据挖掘和人才画像智能分析。对于人才盘点的数据处理，主要采用人才管理领域的规则和统计学方法，实现人才年龄、学历、岗级等各类维度的统计分析。对人才特征挖掘主要采用统计学方法和人工智能技术中的分类、聚类、关联分析、深度学习等方法，实现人才能力、潜力、心理动向等特征挖掘，以及自然语言文本信息挖掘。对于人才画像智能分析主要采用人工智能技术中的预测分析、回归分析等方法，实现岗位匹配度、人才相似度、高风险人才等的分析工作。

3.4 数据应用

平台需满足多种应用需求，采用专业的数据可视化技术如ECharts、BI工具等，能提供丰富的图表，例如：折线图、饼图、散点图、气泡图、树形图或箱型图等，以及具有交互功能的数据分析界面[9]。平台面向企业管理层能提供的企业人才大屏，面向人力资源部门提供的人才盘点九宫格分析，面向企业个人提供的成长历程等应用功能。采用RESTful、微服务技术，提供接口服务，快速实现其他系统与平台组态化构建，提高其他系统智能属性，例如：提供给招聘管理系统的智能简历文本分析接口。采用网络协议数据传输技术，提供批量数据文件传输，例如：财务系统所需的专业报表数据文件。

4 大数据人才管理平台应用优势

4.1 以人才管理平台为载体，实现多学科优势互补

大数据背景下，人才管理的理念、方法、模式都发生了重大变革，单一的人力资源学科领域，无法支撑目前的需求。谷歌、腾讯等企业都已组建由统计学、组织行为学、人力资源管理的专业人才担任分析师的人力资源团队，为企业提供前瞻性战略指导、降低管理成本、提升人力资源的服务质量[10]。以大数据人才管理平台为载体，能实现多学科交融互补，利用计算机技术、信息管理技术构建平台；利用统计学、人工智能算法实现数据挖掘、智能决策；利用人力资源、心理学原理的知识、经验，构建丰富的应用模块。多学科优势在平台上得以交融互补，提高企业人才管理水平。

4.2 利用平台大数据优势，提高人才管理工作效率

大数据人才管理平台汇聚了全面的数据信息，并进行了科学的数据治理，具有高效的数据运算能力，能够支撑人才管理工作中的各类数据统计分析场景，从而大大提升了人才管理工作效率。例如，企业可以通过平台快速搜集准确数据，为人才规划工作提供科学客观的数据参考；平台具有完善的数据，融合了各类统计分析技术，能够实时完成人才盘点工作，提高了工作效率。

4.3 利用平台智能化优势，提升人才管理工作质量

大数据人才管理平台对数据进行深入挖掘，利用先进的机器学习算法实现人才特征分析、画像分析；利用平台智能分析优势，可以预测潜在离职人员，实时向管理者预警，动态优化管理策略。通过平台关联分析方法找到与稳定性相关的典型特征，建立特定人员的画像模型，便于人力资源部门实施定向服务。借助平台智能化技术，显著提高人才管理工作效益。