浅谈数据挖掘技术在部队在外人员管理中的应用
2019-05-23刘皛宋村夫
刘皛 宋村夫
摘要:部队在外人员管理已成为制约部队安全和发展的“瓶颈”,通过利用数据挖掘技术收集部队在外人员海量数据、建立分类模型、分析数据关联,挖掘潜在有用信息,以此评估在外人员安全系数、预测倾向性问题和高频率易发问题,为部队管理决策提供支持,实现部队精细化管理。
关键词:在外人员;数据挖掘;分类;模型
中图分类号:TP393 文献标识码:A
文章编号:1009-3044(2019)08-0252-02
部队在外人员因违规违纪引发的事故问题,暴露出一些部队教育管理的重大漏洞。在大数据背景下,利用数据挖掘技术从海量在外人员数据中提取挖掘信息,建立分类模型,分析数据关联,可以达到评估在外人员安全系数、预测倾向性问题和高频率易发问题、及时采取有效应对措施、确保部队安全稳定的目的。
1部队在外人员管理现状
在外人员主要是指外借、探亲休假、住院、待转业、因公出差和在外学习培训等,不在部队营区内、不在管理视线内、不在组织和群众直接监督之下的人员。在外人员远离部队、远离组织,教育管理易出现空档和盲区,是易发生事故案件和违纪问题的重点对象。
随着部队信息技术革新和大数据工程的全面推进,人员管理也不断向信息化转变,从基础计算工具到信息数据存储,再到全面管理乃至于战略决策支持,对信息技术的应用不断深入和扩展。但尽管部队自身拥有丰富的大数据资源,在外人员信息数据却未受到关注,更未从中挖掘出隐藏的、事先不知道、但是有潜在关联的信息,以满足部队精细化、科学化管理的需要。
2数据挖掘在部队在外人员管理中的应用构想
数据挖掘是将传统的统计分析方法和处理大量数据的复杂算法结合起来,从大量的、不完全的、有噪声的、随机的数据中提取隐含在其中的、事先不知道的但又是潜在有用的信息和知识的过程。通过综合部队在外人员信息数据和历史事故案件数据,利用数据挖掘分类和回归算法,建立符合管理实际的评估模型,实现细致的分类管理,提高预防等级。数据挖掘通常分为四步:资源发现、信息选择和预处理、建立模型和评价。
2.1收集在外人员相关数据
通常,大数据采集是通过RFID射频数据、传感器数据、视频摄像头的实时数据、来自历史视频的非实时数据,以及社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化及非结构化的海量数据。我们综合在外人员基本情况、思想状况、军事训练情况、考核情况、岗位特点、专业技能、兴趣爱好、家庭情况、居住情况、消费情况、季节特点、外出时间、活动场所、动态轨迹、社交网络等数据,存储并处理三类信息:人事档案信息,即电子化人事信息;日常管理信息,即在部队期间的考勤、考核、思想现状、岗位特点、工资待遇等信息;动态管控信息,即在外时间、外出季节、在外事由、活动场所、动态轨迹、社交情况等信息。
2.2数据转换与选择
因为进行挖掘的数据必须满足完整性、精确性、一致性等要求,才可以作为数据模型输入的字段值,而项目的数据可能来自多个系统,不同的系统其数据質量不一,存在数据代码化、关键属性值缺失或无法拆分聚合数据等情况,各数据源的原始数据并未经过加工和处理,所以,需要对数据进行预处理。数据预处理主要划分为以下几个步骤:原始类型转换、清理、整合、拆分、终止。在数据清理阶段,判断数据是否重复。数据清理完成后,根据需求将数据整合为数据库,并根据不同的主题分类抽取数据变量,通过数据导入功能存入数据中心库中。以此完成数据的准备工作,为后续数据模型的生成建立基础。
2.3建立模型
数据挖掘主要有四种任务,即关联分析、分类与回归、聚类分析和离群点检测。其中,分类和回归是两种不同的预测方法,逻辑回归是广义线性回归分析模型的一种,具有易解释、易使用等优势特点。为分析在外人员动态数据与人员发生事故风险情况之间的规律,预测倾向性问题和事故案件发生的概率,可建立基于逻辑回归算法的在外人员分析模型,在轨迹数据处理的基础上,使用逻辑回归算法,得到以在外人员评分模拟关系为计算基础的风险评分,为科学决策管理提供依据。
2.4模型评估
完成模型训练后,采用分析节点的模型准确率分析功能,进行模型准确性分析。为保证基于逻辑回归的在外人员评分模型的算法有效性,还可以采用C5.0决策树与SVM算法,对其计算结果准确率进行比对和分析。
3应把握的几个问题
对部队而言,大数据所能带来的巨大能量已经显现,数据挖掘技术也已慢慢地从高端的研究转向日常的应用。基于大数据的数据挖掘技术在部队在外人员管理中的应用应把握以下问题。
3.1提升大数据背景下部队信息化建设水平
相对于过去的数据处理方式,无论是过程、数据类型、处理标准,还是处理对象,都存在着巨大的差异。大数据在本质上仍然是海量数据,但规模更大、实时性和多样性等特点更明显,在外人员信息中包含的可能是非结构化数据,如图片、视频、文字,处理这些数据有着极其重要的意义。因此,相应的数据挖掘技术也需要有所改进,研究如何将这些半结构化甚至非结构化数据进行结构化处理,是目前大数据挖掘面临的挑战之一,也是部队信息化建设中要面对的一个重大课题。
3.2如何去噪声留信号
在海量的数据里面大部分都只是噪声而已,真正有用的信息非常少。在进行数据清洗时,不易把握清洗粒度。粒度太大,残留的噪声会干扰有价值的信息;粒度太小,可能会遗失有价值的信息。因此,部队在外人员信息数据预处理面临的一大难点就是如何将正确的信号从混杂了噪音的数据中提取出来,提高分析挖掘数据的能力。
3.3改进数据挖掘算法
在上文中提到的模型建立阶段,可采用更多的数据挖掘算法,得到不同的决策结果,从而提供更多的决策依据。另外,大数据时代数据的量级达到了一个新的阶段,而且还有其他新的特征,现有挖掘算法需要基于云计算进行改进,以适应不同应用对数据处理能力的需求。
参考文献:
[1] 陈工孟,须成忠.大数据导论[M].清华大学出版社,2015.
[2] 吴功宜,吴英.计算机网络应用技术教程[J].2014.
[3] 李孟杰.数据挖掘技术在人力资源管理领域的管理与应用[J].2013.
[4] 陶雪娇,胡晓峰,刘洋.大数据研究综述[J].2017.
[5] 舒正渝.浅谈数据挖掘技术及其应用[J].2015.
【通联编辑:光文玲】