大数据技术支持下的竞争情报净化系统模型构建

徐海宁，孙忠林（山东科技大学信息科学与工程学院）



大数据技术支持下的竞争情报净化系统模型构建

徐海宁，孙忠林（山东科技大学信息科学与工程学院）

摘要：大数据背景下，为了解决企业竞争情报信息不够准确的问题，本文提出了以大数据技术为中心的竞争情报净化系统模型，从企业竞争情报信息搜集净化子系统、情报分析处理净化子系统、情报服务净化子系统分别进行阐述，加入大数据净化模块，构成了竞争情报净化系统模型。

关键字：大数据技术；竞争情报；净化

1　大数据在企业应用现状

大数据作为一种新兴的技术，应用范围相对较大，但目前只用于四个方面。①市场方面，利用大数据进行关联分析，及时准确地把握消费者的行为，挖掘出新的商业模式。②销售规划方面，对大数据进行对比，以此优化商品价格。③运营方面，提高运营满意度和运营效率，优化成本投入，更准确地预测人员配置需求，以免产能过剩，降低人员投入成本。④供应链方面，利用大数据进行物流优化、库存优化、供应商协同等工作，缓解供需之间的矛盾，控制预算支出，提高服务。［1］

本文在大数据技术的基础上，把企业的竞争情报系统进一步优化，对情报进行提纯、进化，使其能更加准确地反映企业的需求，做出决策。

2　大数据环境下竞争情报系统面临的挑战

（1）数据的存储能力有限。大数据技术下的企业竞争情报既包含传统的数据，又包含大量的基于移动互联网、社交网络等半结构性、非结构性数据。未来的企业竞争情报系统将会面对TB级以上的数据，这对于竞争情报系统软件和硬件要求是一个巨大的挑战。

（2）数据分析不够准确。大数据技术背景下企业竞争情报的数据结构形式发生了很大变化，结构化的数据、非结构化、半结构化的数据并存。传统的竞争情报数据分析方法、模型和技术，对半结构化和非结构化的数据不能直接处理，需要把非结构化数据转换成结构化数据才能进行处理。这样不但严重影响了企业情报分析的工作量和成本投入，也使得竞争情报分析的准确性大打折扣。［2］

（3）情报安全风险加大。大数据技术时代下，情报获取的方式繁多，QQ、网络日志、社交网站、微博、微信等媒体迅速地将各种动态信息发布到世界各地。有些信息可能是企业的核心情报，这些情报一旦泄露，会给企业造成重大损失，甚至可能造成毁灭性的打击，竞争情报的安全存储也面临重大威胁。同时，企业的运作产生大量的数据，主要包括市场交易数据、技术研发数据、客户信息数据、财务经济数据、科技成果数据等，有的甚至包括员工之间交流的数据，看似不起眼的这些普通数据中很有可能蕴藏着巨大的竞争情报信息，必须妥善保存、加强保密，否则就会泄露商业机密。竞争情报存储主要使用云存储、移动硬盘等工具，最好采取双重保险的方式，对十分重要信息的保存要慎之又慎。除此之外，还要防范人员的泄密，禁止员工使用网络发布与工作相关的任何信息，对于相当重要的机密数据要控制保密人数。

（4）多数企业对大数据的认可程度较低。社交网站、移动互联网、微信、网络日志、微博等提供了大量有价值的情报信息，但是，大多数企业竞争情报者很容易忽略掉这些情报信息，认为大数据应该是亚马逊、京东商城、阿里巴巴、淘宝等这样的大企业才关心的。对大数据的认知程度不够，这样会使得企业竞争情报部门的工作在大数据时代变得更加被动。

（5）企业竞争情报的处理分析。数据种类繁多、数据规模庞大，要想获得有价值的竞争情报，必须对大数据进行有效地处理分析。其中，最关键的是数据的清洗，剔除无关紧要的数据，并对数据进行分类划分，按相关性程度对数据排序，建立模型，还要对数据进行关联分析、聚类分析、技术路径分析等，挖掘有价值的竞争情报。［2］目前，对外部数据和非结构化数据的利用较难。根据一项调查显示，超过50%受访单位把内部数据作为“大数据”的首要来源。这些数据通过企业多年的数据资源规划、数据库智能管理应用和其他相关工作收集获得，利用大数据技术解读这些来自业务往来、交易和电子邮件等企业内部数据为组织提供有价值的情报。［3］

（6）大数据技术分析人才匮乏和成本高昂。大数据自从被提出和应用以来时间较短，其专业性分析人才紧缺，尤其是能够掌握大数据平台框架（如Hadoop、NoSQL）并能处理和分析大数据的专业人才少之又少。大数据技术对企业的计算力、存储力和数据分析能力提出了更高的要求，全面的数据存储和分析代价高昂，仅有少数企业有能力和资金建立超大规模的数据中心，对大数据进行处理，从PB级别到ZB级别数据量的存储和计算。［4］

3　大数据技术支持下的企业竞争情报净化系统模型构建

传统的竞争情报系统包括信息搜集子系统、信息分析处理子系统、情报服务子系统。基于大数据技术，对传统的三个子系统进行优化，融入一个新的系统——净化系统。

3.1企业竞争情报信息搜集净化子系统

情报收集系统为竞争情报系统提供稳定可靠与丰富多样的信息资源,是实施竞争情报系统的关键环节，更是企业决策支持的依据。企业根据自己的情报需求，把任务分配给情报部门，收集、整理各种信息，最终形成一个企业竞争情报的文本集合。［5］

为了使收集的信息更加准确，减轻后期分析处理的压力，在原来模型的基础上演化成了企业竞争情报信息搜集净化子系统（见图1）。该系统首先着力于信息源的选择。再者，就是信息分类和信息管理。这两个环节非常重要，决策层基本是从这里获取信息、进行决策的。

为此，建立了以大数据为中心的净化处理中心，对信息管理和分类进行验证，确定其准确度，最后存入数据库，供情报部门利用。存入数据库的情报不一定是完全正确，因此，要定时净化数据库的情报信息，只有这样才能保证信息的利用效率。

3.2企业竞争情报信息分析处理净化子系统

企业竞争情报信息分析处理系统是将大量零散的、看似无关紧要的信息集中、比较和重新组合，从而发现新价值的过程。只有经过处理的情报信息才能被决策者使用，才能方便传递和存储，才能体现出其经济价值。企业搜集到信息后，下一步需要采取的措施是对这些信息进行科学地分析、处理，发现存在其中的主要问题，找出隐藏在问题背后的本质原因。［6］

数据的准确度在信息分析处理阶段，更是关键中的关键，因此，数据净化显得格外重要。本文的企业竞争情报信息分析处理净化子系统（见图2）是在原有的情报信息分析处理子系统的基础上，加入以大数据技术为处理中心的净化模块，在信息分析处理的各个环节中，主要是在筛选、处理、分析、评价环节进行净化，因为这四个环节是保证数据准确的关键。其中，在整理和分析的相关算法和模型处理阶段，也要进行数据的净化，最后再交付情报部门，情报部门也不是被动地利用数据，如果数据不合常理，也可以再次进行数据的净化验证，这样双重保险，就可以得到相当准确的结果。

图1　企业竞争情报信息搜集净化子系统

图2　企业竞争情报信息分析处理净化子系统

3.3企业竞争情报情报服务净化子系统

企业情报服务子系统是根据决策者、情报分析人员、企业内其他人员的情报需求，创建各类分析报告，并通过适当方式及时传递给企业决策者的过程。情报产品是情报服务和情报传播的主要内容和形式，是企业竞争情报系统的最终产品和成果体系。［7］

情报的最终还是为决策者服务的，本文的企业竞争情报情报服务净化子系统（见图3）同样是在原有的基础上添加净化模块形成的，在这可以提供人工帮助，来验证用户需要的信息的准确度，进行数据的净化，然后反馈给用户，并以可视化的界面，形象地描述。情报部门为决策层提供信息，分析竞争对手、竞争环境，制定竞争策略，在提取的过程中可能产生误差或者错误，所以数据的净化是必要的。决策层对决策的数据和数据库的原始数据进行比较，也能反映出其决策的正确率。

图3　企业竞争情报情报服务净化子系统

［参考文献］

［1］张引，等．大数据应用的现状与展望［J］.计算机研究与发展，2013（S2）：216－233.

［2］赵芳．基于大数据的企业竞争情报分析方法研究［J］.图书馆学刊，2015（2）：33－36.

［3］于磊，徐凤姣．基于应急管理视角的政府应急专业处置能力建设的思考［J］.中国管理信息化，2012（22）：92－94.

［4］顾涛．基于大数据的竞争情报协作分析研究［J］.情报科学，2013（12）：114－118，135.

［5］鞠洪斌，马林山．企业竞争情报系统建设中的情报信息收集［J］．情报资料工作，2007（5）：102－103.

［6］官思发，等．基于Web2.0的企业竞争情报系统模型构建［J］.情报科学，2014（1）：47－53.

［7］李会，程刚．基于数据挖掘技术的企业竞争情报系统模型研究［J］.情报理论与实践，2011（1）：95－99.

Research on the Model of Competitive Intelligence Purification System Based on Big Data Technology

Xu Hai-ning，Sun Zhong-lin

Abstract：In order to solve the problem of inaccurate enterprise competitive intelligence information,this article proposes a competitive intelligence purification system model which is based on big data technology.It analyzes the model from 3 aspects:information collection subsystem,information purification subsystem,and enterprise competitive intelligence service purification subsystem respectively which consist the model of competitive intelligence purification system

Keywords：Big Data Technology；Competitive Intelligence；Purification

中图分类号：G250.7

文献标志码：A

文章编号：1005－8214（2016）04－0100－03

［作者简介］徐海宁（1990－），男，山东科技大学信息科学与工程学院在读研究生，研究方向：信息系统工程；孙忠林（1962－），男，山东科技大学信息科学与工程学院教授，硕导，研究方向：云计算和数据库系统。

［收稿日期］2015－09－17［责任编辑］菊秋芳