大数据应用的技术体系及潜在问题研究

董好伟

摘要：伴随时代的进步，科技水平的不断提升，目前计算机、移动通讯、互联网有了大量应用，走进了千家万户，深入到社会生产与生活的各个方面，成为民众生活中不可缺少的重要组成之一，不断改变着人们的生活方式，改善人们的工作条件，所以世界各个国家与地区都在致力于无线网络的建设与智能移动终端的发展，近十几年来，我国上网人数飞速增长，人们的各种行为表现出一些规律性，基于移动网络与智能终端的大数据也应运而生，并且随着时间的推移，其作用越来越重要。大数据技术的应用极大地推动了我国经济与社会的发展，所以对大数据应用的技术及潜在问题展开研究，具有十分重要的现实意义。

关键词：大数据;技术体系;潜在问题

中图分类号：TP311        文献标识码：A

文章编号：1009-3044（2019）15-0043-02

当大数据概念被提出之后，伴随通讯与无线网络技术的进步而得到飞速发展，大数据技术的应用能够帮助我们在人们看似没有规律没有秩序的各种活动与行为中，找出一定潜在规律，如果将其应用于商业活动当中，就能够充分掌握消费者的习惯特点，进而进行产品的精准研发与投放;如果将其应用于社会管理当中，就能够帮助国家与相关机关部门制定更加科学合理，且更有针对性的政策与方针，提升社会的稳定性，构建和谐社会。然而在其发展过程中也表现出一些不足之处，只有克服这些问题，才能推动大数据技术的持续发展，更好地服务于社会。

1 解析大数据应用技术体系

目前随着网络与智能手机广泛应用，上网人数急剧增加，每天都会产生大量的数据，借助传统的办法与手段，在规定时间内不能对其进行有效处理，并归纳成对国家与公司决策有帮助的一系列信息。但是借助于大數据技术，在较短时间内就可以在庞大的数据中提炼出有用讯息。目前，对于大数据的界定就是通过多种形式、多种渠道收集大量讯息数据，能够实现搜集数据的动态化、实时化，较之传统手段，其速度特别快。大数据给我们提供便利的同时，还会对我们的私人信息造成一定的泄漏风险，这也是大数据的一大重要特点。

1.1 大数据技术的构成

（1）云计算

对于大数据技术来说，其是不能单独存在的，基于技术角度进行分析，大数据与云计算互为依托，如同事物的两面，两者紧密相连。云计算是建立在经济驱动基础上的一种分布式模型，通常情况下，其把各种网络资源进行虚拟化处理，构建庞大数据中心，组建超级网络计算机体系，进而形成一种平台系统，将各种信息提供给使用者。

（2）硬件系统

根据大数据相关定义，大数据需要通过多种途径，多种方法来获取大量数据资源，而这些资源的获取，则需要借助于互联网络、无线网络、分布世界各地的计算机以及集成于移动终端（如智能手机、平板电脑等）之内的各种传感器而构成。通过这些传感元器件，就能够获取到使用者的各种信息，然后借助于网络进行数据传输。对于大数据来说，硬件系统是其运行重要载体。

（3）信息处理程序

大数据具有强大的处理能力，其处理能力主要通过各类信息处理程序来发挥作用。这需要用到计算机编程，其中最主要的编程模型为MapReduce模型，该模型采用的是并行运算方式，具有强大的运算能力，能够同时处理超过1TB庞大数据量。该技术的作用机理是把大量的数据进行划分，利用网络分散到多个子处理体系当中，充分利用网络的云计算能力，最后再借助于网络将信息汇总起来，从而得出相关结果。

由上可知，大数据技术通常是由云计算、硬件系统以及信息处理程序三部分构成。由这三部分共同组成了一个庞大的数据信息处理系统，由其对各种信息进行搜集，并进行深度加工处理，不断提炼，最终形成有用信息。

1.2 大数据获取途径

（1）传感器

传感器大量应用于各种智能移动终端（如手机、平板等）以及汽车导航仪当中，传感器能够实时收集各类信息，例如人们的位置信息等。传感器的普及，为应用大数据提供了必要的数据来源保障。而且传感器应用相当广泛，被应用于诸如医疗卫生、商业以及军事等各个领域当中。

（2）扫码

随着条形码与二维码技术的发展与成熟，很多大中小型超市商场，乃至街头小贩、个人收付款等都会用到扫码技术。当使用人群达到一定程度之后，就能成为一种重要的大数据来源。通过扫码可以迅速搜集客户的购买信息，从而掌握其购买偏好，了解其消费习惯，制定合适的商业推广计划。

（3）web2.0

Web2.0对被称作第二代互联网，通过其构建了一个平台体系，其是由大量用户共同参与而构建的一种平台，记录了用户的一系列网络活动行为，用户登录时就创建一个身份标识，用户借助该标识畅游于各种基于网络的软件当中，可以在网络上发布各种信息，感兴趣者还会进行大量点击，网络上充斥着各种信息与话题，点击率的高低反映了受众的喜好程度，对其进行分析与研究，能够为各种决策提供数据支持，方便人们的应用。

2 大数据运用阶段存有的问题与应对策略

2.1 缺乏专业性人才

于大数据背景下所需要解决的首要问题分别是资金与人员，大数据方面人才的严重缺乏是现今大数据市场难以进一步发展的主要因素。尽管不同行业实际业务数据给后期的数据剖析奠定了一定基础，然而科学家数量上的缺乏却使大数据的可持续发展受到了很大限制。

大部分数据科学家均为综合型人才，需掌握多个领域的知识，比如统计、计算机等，且能够就不同的讯息数据实施预估价值剖析，因此，需要增强在大数据方面的人才培育。

为改进大数据人才培训机制，需要投入更多的精力与资金支持，加大相关人才的培养力度，增强专门培训机构的培训能力，在高校设置相关专业，加大人才自主培训力度。另外，还可以引进相关高端人才，利用企业融智作用促进大数据技术的发展。

2.2 安全和隐私方面

在大数据的发展过程中还存在着很多安全与隐私方面的隐患，伴随社会经济的快速发展，传感器与摄像头等监控装备数目呈现逐年递增的态势，对社会公众来说，这些设施对其具体位置情况进行了记载与监控，而经过深入研究与剖析其大量讯息数据，便能充分掌握其在出行与消费等方面的规律，进而对社会公众的生命与财产安全产生直接危害。

另外，伴随云计算技术的进一步发展，云设备本身还会具备一定的经济特性，如此便可以为“僵尸网络”创造很大的发展机会与空间，加大了密码体系破译的可能。且由于该项技术的发展，为人们带来了更加便利的工作生活条件，与此同时，社会公众对计算机的依赖性逐年提升，并会把很多个人讯息、工作讯息等储存到网络中，这无疑加大了讯息泄露的概率。

为克服大数据使用过程中的讯息安全问题，部分学者指出了一种K-匿名的方式，使自身和周围多个用户一起构成特定范畴中拥有集成性的U1性，再进行位置服务申请，便能够对自身的准确定位进行模糊处理;当然，仍有少数学者指出能够利用周围K-1用户具体位置讯息的收集与归纳工作，再利用某个讯息发出位置服务申请，便能将具体坐标进行有效隐藏。有学者运用集中信息流把控与差分隐私保护等方法，把相关数据融合到数据形成与运算的过程中，设定了保护隐私体系，利用该体系可以防止运算过程中把部分未经授权的隐私讯息数据进行泄露，并为运算结果的自主解密提供支持，如此操作能够防止定位讯息泄露等问题的产生。

目前苹果公司相关产品上主要以其自主开发的电子剖析污染技术为基础，对用户使用产品过程中形成的不同行为讯息数据采取污染与混淆处置的方式，减轻了讯息泄露的概率。而此项加密方式和手法所采用的机理实际上是一旦加密手法难以确保个人讯息的安全性，便可利用更加冗杂的讯息来对有效讯息进行干扰，如此便可以加大讯息盗取的费用，从而直接减少讯息泄露的概率。

3 结语

处于新时代背景下，大数据的快速发展既要面对很多全新的机遇，也要克服很多未知的挑战与难题，需要提前做好更加系统化的规划。对于大数据讯息的处置非常重要，它可以带给企业更加快速、精准的讯息，同时还为企业创造了更大的利益，使企业经济效益有所提升。另外，大数据的处置还会让社会公众的日常生活更为便捷，给民眾创造了更加优良的生活条件。所以，全方位熟悉与掌握大数据的基础定义，标准化大数据的处置流程，增强大数据运用技术上存有问题的进一步分析，对后期落实相应的应对策略来说十分有利，同时还可提升大数据讯息的处置质量，有效提升大数据应用阶段的工艺水准。目前，大数据处置流程当中，云计算属于一项最基本的技术，然而从安全隐私角度来讲，该技术仍没有提出更加有效的保护方式。所以，针对其有效性的分析十分必要，能够使大数据本身的安全性能有所提升。

参考文献：

[1] 陈健. 我国大数据技术发展的政策体系研究[D].云南师范大学，2017.

[2] 张超.浅析大数据应用的技术体系和潜在问题[J].数字技术与应用，2016（8）：234.

[3] 张莉.大数据应用技术体系与潜在问题与挑战略述[J].信息与电脑（理论版），2015（15）：66-67.

[4] 靳琦.大数据应用的技术体系及潜在问题探讨[J].电子技术与软件工程，2015（9）：199.

【通联编辑：代影】