大数据技术支持下的竞争情报净化系统模型构建
2016-06-12徐海宁孙忠林山东科技大学信息科学与工程学院
徐海宁,孙忠林(山东科技大学信息科学与工程学院)
大数据技术支持下的竞争情报净化系统模型构建
徐海宁,孙忠林(山东科技大学信息科学与工程学院)
摘要:大数据背景下,为了解决企业竞争情报信息不够准确的问题,本文提出了以大数据技术为中心的竞争情报净化系统模型,从企业竞争情报信息搜集净化子系统、情报分析处理净化子系统、情报服务净化子系统分别进行阐述,加入大数据净化模块,构成了竞争情报净化系统模型。
关键字:大数据技术;竞争情报;净化
1 大数据在企业应用现状
大数据作为一种新兴的技术,应用范围相对较大,但目前只用于四个方面。①市场方面,利用大数据进行关联分析,及时准确地把握消费者的行为,挖掘出新的商业模式。②销售规划方面,对大数据进行对比,以此优化商品价格。③运营方面,提高运营满意度和运营效率,优化成本投入,更准确地预测人员配置需求,以免产能过剩,降低人员投入成本。④供应链方面,利用大数据进行物流优化、库存优化、供应商协同等工作,缓解供需之间的矛盾,控制预算支出,提高服务。[1]
本文在大数据技术的基础上,把企业的竞争情报系统进一步优化,对情报进行提纯、进化,使其能更加准确地反映企业的需求,做出决策。
2 大数据环境下竞争情报系统面临的挑战
(1)数据的存储能力有限。大数据技术下的企业竞争情报既包含传统的数据,又包含大量的基于移动互联网、社交网络等半结构性、非结构性数据。未来的企业竞争情报系统将会面对TB级以上的数据,这对于竞争情报系统软件和硬件要求是一个巨大的挑战。
(2)数据分析不够准确。大数据技术背景下企业竞争情报的数据结构形式发生了很大变化,结构化的数据、非结构化、半结构化的数据并存。传统的竞争情报数据分析方法、模型和技术,对半结构化和非结构化的数据不能直接处理,需要把非结构化数据转换成结构化数据才能进行处理。这样不但严重影响了企业情报分析的工作量和成本投入,也使得竞争情报分析的准确性大打折扣。[2]
(3)情报安全风险加大。大数据技术时代下,情报获取的方式繁多,QQ、网络日志、社交网站、微博、微信等媒体迅速地将各种动态信息发布到世界各地。有些信息可能是企业的核心情报,这些情报一旦泄露,会给企业造成重大损失,甚至可能造成毁灭性的打击,竞争情报的安全存储也面临重大威胁。同时,企业的运作产生大量的数据,主要包括市场交易数据、技术研发数据、客户信息数据、财务经济数据、科技成果数据等,有的甚至包括员工之间交流的数据,看似不起眼的这些普通数据中很有可能蕴藏着巨大的竞争情报信息,必须妥善保存、加强保密,否则就会泄露商业机密。竞争情报存储主要使用云存储、移动硬盘等工具,最好采取双重保险的方式,对十分重要信息的保存要慎之又慎。除此之外,还要防范人员的泄密,禁止员工使用网络发布与工作相关的任何信息,对于相当重要的机密数据要控制保密人数。
(4)多数企业对大数据的认可程度较低。社交网站、移动互联网、微信、网络日志、微博等提供了大量有价值的情报信息,但是,大多数企业竞争情报者很容易忽略掉这些情报信息,认为大数据应该是亚马逊、京东商城、阿里巴巴、淘宝等这样的大企业才关心的。对大数据的认知程度不够,这样会使得企业竞争情报部门的工作在大数据时代变得更加被动。
(5)企业竞争情报的处理分析。数据种类繁多、数据规模庞大,要想获得有价值的竞争情报,必须对大数据进行有效地处理分析。其中,最关键的是数据的清洗,剔除无关紧要的数据,并对数据进行分类划分,按相关性程度对数据排序,建立模型,还要对数据进行关联分析、聚类分析、技术路径分析等,挖掘有价值的竞争情报。[2]目前,对外部数据和非结构化数据的利用较难。根据一项调查显示,超过50%受访单位把内部数据作为“大数据”的首要来源。这些数据通过企业多年的数据资源规划、数据库智能管理应用和其他相关工作收集获得,利用大数据技术解读这些来自业务往来、交易和电子邮件等企业内部数据为组织提供有价值的情报。[3]
(6)大数据技术分析人才匮乏和成本高昂。大数据自从被提出和应用以来时间较短,其专业性分析人才紧缺,尤其是能够掌握大数据平台框架(如Hadoop、NoSQL)并能处理和分析大数据的专业人才少之又少。大数据技术对企业的计算力、存储力和数据分析能力提出了更高的要求,全面的数据存储和分析代价高昂,仅有少数企业有能力和资金建立超大规模的数据中心,对大数据进行处理,从PB级别到ZB级别数据量的存储和计算。[4]
3 大数据技术支持下的企业竞争情报净化系统模型构建
传统的竞争情报系统包括信息搜集子系统、信息分析处理子系统、情报服务子系统。基于大数据技术,对传统的三个子系统进行优化,融入一个新的系统——净化系统。
3.1企业竞争情报信息搜集净化子系统
情报收集系统为竞争情报系统提供稳定可靠与丰富多样的信息资源,是实施竞争情报系统的关键环节,更是企业决策支持的依据。企业根据自己的情报需求,把任务分配给情报部门,收集、整理各种信息,最终形成一个企业竞争情报的文本集合。[5]
为了使收集的信息更加准确,减轻后期分析处理的压力,在原来模型的基础上演化成了企业竞争情报信息搜集净化子系统(见图1)。该系统首先着力于信息源的选择。再者,就是信息分类和信息管理。这两个环节非常重要,决策层基本是从这里获取信息、进行决策的。
为此,建立了以大数据为中心的净化处理中心,对信息管理和分类进行验证,确定其准确度,最后存入数据库,供情报部门利用。存入数据库的情报不一定是完全正确,因此,要定时净化数据库的情报信息,只有这样才能保证信息的利用效率。
3.2企业竞争情报信息分析处理净化子系统
企业竞争情报信息分析处理系统是将大量零散的、看似无关紧要的信息集中、比较和重新组合,从而发现新价值的过程。只有经过处理的情报信息才能被决策者使用,才能方便传递和存储,才能体现出其经济价值。企业搜集到信息后,下一步需要采取的措施是对这些信息进行科学地分析、处理,发现存在其中的主要问题,找出隐藏在问题背后的本质原因。[6]
数据的准确度在信息分析处理阶段,更是关键中的关键,因此,数据净化显得格外重要。本文的企业竞争情报信息分析处理净化子系统(见图2)是在原有的情报信息分析处理子系统的基础上,加入以大数据技术为处理中心的净化模块,在信息分析处理的各个环节中,主要是在筛选、处理、分析、评价环节进行净化,因为这四个环节是保证数据准确的关键。其中,在整理和分析的相关算法和模型处理阶段,也要进行数据的净化,最后再交付情报部门,情报部门也不是被动地利用数据,如果数据不合常理,也可以再次进行数据的净化验证,这样双重保险,就可以得到相当准确的结果。
图1 企业竞争情报信息搜集净化子系统
图2 企业竞争情报信息分析处理净化子系统
3.3企业竞争情报情报服务净化子系统
企业情报服务子系统是根据决策者、情报分析人员、企业内其他人员的情报需求,创建各类分析报告,并通过适当方式及时传递给企业决策者的过程。情报产品是情报服务和情报传播的主要内容和形式,是企业竞争情报系统的最终产品和成果体系。[7]
情报的最终还是为决策者服务的,本文的企业竞争情报情报服务净化子系统(见图3)同样是在原有的基础上添加净化模块形成的,在这可以提供人工帮助,来验证用户需要的信息的准确度,进行数据的净化,然后反馈给用户,并以可视化的界面,形象地描述。情报部门为决策层提供信息,分析竞争对手、竞争环境,制定竞争策略,在提取的过程中可能产生误差或者错误,所以数据的净化是必要的。决策层对决策的数据和数据库的原始数据进行比较,也能反映出其决策的正确率。
图3 企业竞争情报情报服务净化子系统
[参考文献]
[1]张引,等.大数据应用的现状与展望[J].计算机研究与发展,2013(S2):216-233.
[2]赵芳.基于大数据的企业竞争情报分析方法研究[J].图书馆学刊,2015(2):33-36.
[3]于磊,徐凤姣.基于应急管理视角的政府应急专业处置能力建设的思考[J].中国管理信息化,2012(22):92-94.
[4]顾涛.基于大数据的竞争情报协作分析研究[J].情报科学,2013(12):114-118,135.
[5]鞠洪斌,马林山.企业竞争情报系统建设中的情报信息收集[J].情报资料工作,2007(5):102-103.
[6]官思发,等.基于Web2.0的企业竞争情报系统模型构建[J].情报科学,2014(1):47-53.
[7]李会,程刚.基于数据挖掘技术的企业竞争情报系统模型研究[J].情报理论与实践,2011(1):95-99.
Research on the Model of Competitive Intelligence Purification System Based on Big Data Technology
Xu Hai-ning,Sun Zhong-lin
Abstract:In order to solve the problem of inaccurate enterprise competitive intelligence information,this article proposes a competitive intelligence purification system model which is based on big data technology.It analyzes the model from 3 aspects:information collection subsystem,information purification subsystem,and enterprise competitive intelligence service purification subsystem respectively which consist the model of competitive intelligence purification system
Keywords:Big Data Technology;Competitive Intelligence;Purification
中图分类号:G250.7
文献标志码:A
文章编号:1005-8214(2016)04-0100-03
[作者简介]徐海宁(1990-),男,山东科技大学信息科学与工程学院在读研究生,研究方向:信息系统工程;孙忠林(1962-),男,山东科技大学信息科学与工程学院教授,硕导,研究方向:云计算和数据库系统。
[收稿日期]2015-09-17[责任编辑]菊秋芳