大数据应用发展及挑战

白　晟，李荣香

（东北石油大学，河北　秦皇岛　066004）

大数据应用发展及挑战

白晟，李荣香

（东北石油大学，河北秦皇岛066004）

随着现代社会信息技术的高速发展及网络、云计算在人们日常生活中应用的增加，产生了大量的非结构化数据，这些数据为我们了解、认知、改造世界提供了重要的依据.企业和个人通过计算机、移动设备、网络等工具不断制造并传输着大量的信息，这些信息既包括了企业的还涵盖了个人及其它事物的，同时信息还在不断繁衍并迅速的增加.大数据已经悄然融入到我们的生活的每一个角落，并无时无刻的影响着我们.如何发掘、利用、组织这些种类繁杂的数据并保证数据在传递和使用过程中的的安全是我们当前非常重视的问题之一，同时它也给我们带来了巨大的挑战.

大数据；信息安全；大数据应用；大数据挑战

1　大数据概述

当今世界处在信息数据高速发展的时期，伴随着IOT、SNS、移动网络、云计算等技术的不断革新，大量增长的数据给我们的生活带来了便利、提高了我们的工作效率以及对科学发展模式的变革，但同时也出现了一些严峻的问题诸如：数据安全、数据存储、数据处理等带来了新的挑战.大数据作为新一代的生产力将为人类的发展提供巨大的财富，对整个社会的进步起着非常重要的作用.

2　大数据的定义

大数据（bigdata），指不能在可承受的时间范围内用普通软件工具进行搜集、管理和处理的体量非常大的数据集合.大数据技术可以从种类繁多、体量巨大的数据中迅速、方便得到有价值的资源.我们所认知的大数据还包括搜集数据的设备、系统和数据分析平台.

整个世界的数据体量出现了惊人的增长，在高速增长的各种资源中，数据无疑是高增长之一的资源.根据国际数据公司的测试统计，全世界的数据总量在2009年比之前的年代足足增长了百分之六十二.截止到2014年仅中国的数据总量都到达了909EB，这样的数据量占全球份额的百分之十三左右，再过十五年数据量还会爆发增长至8060EB.对于在数据类型中的结构化数据和非结构化数据也伴随着数据总量不断增长.作为当前国家非常重视的大数据医疗、大数据教育、大数据电商、大数据使用等热点问题，受到了很多学科领域、政府部门等专业人员及领导的关注及重视，但是对于非结构化数据的处理我们使用以前的方法、经验已经难以应付.如何面对当前的数据资源的利用、采集、整合等问题，给我们的处理方式带来了巨大的挑战.

3　大数据特点

对于大数据具有公认的几个基本特点:数据规模大（Volume），数据种类多（Variet｝｝，数据要求处理速度快（Velocity），数据价值密度低（Value），即所谓的四V特性.

第一，数据体量大.当前数据规模从TB单位发展提升到PB，更大级别的为EB单位.1024GB=1TB；1024TB=1PB；1024PB=1EB；1024EB=1ZB；1024ZB=YB.从以上的公式换算中我们可以明确了解到数据单位的体量大小.如果以人类语言量大小为单位，我们所统计出来的人类历史至今的语言量为5EB.

第二，数据类型繁多.结构化数据和非结构化数据作为数据类型的分类标准.结构化数据的主要内容以方便储存的文本为对象.非结构化数据在各种场合应用日益增多对我们的处理带来了更高的技术难度，如何应对是我们所面临的首要问题.对于除文本之外的SNS社交日志，声音、动画、照片、地理位置等信息的采集、过滤、输出需要更高的方法.

第三，数据价值密度低.我们对于视频数据的采集和发掘比较费时，对于一个小时的视频内容，我们采集、监控挖掘需要很多的时间，但是真正有价值需求的数据却很少.那么如何通过特定的机器算法和软件算法快速找到需要的数据是我们当前亟需解决的问题.

第四，处理速度快.对于大数据和传统海量数据最大的一个区别就是数据体量和对数据处理的速度.大数据要求对数据的实时处理速度很高.对计算机硬件架构及软件算法都有很高的要求.我们传统的对数据运算计时单位分别是星期、日及小时.此时下降到更短的计时周期分别以分钟和秒为计量单位.数据处理的速度成为大数据重要价值表现之一的特点.

这些数据特点相对于传统的数据概念和单纯的数据体量—“海量数据”也不相同，海量数据主要的特征是数据的体积量，而大数据不但用来表述海量的数据，而且更进一步表现出数据的复杂特点、数据的快速时间特性以及对数据的搜集、加工等专业化管理，最终取得有用的数据信息.

4　大数据应用

大数据的价值体现在可以帮助改善、提高我们在农业、医疗、卫生、保险、能源、安全、教育和交通运输等各个领域等各方面领域的应用效率，其内涵概念非常宽泛，那么大数据是如何帮助我们在各个行业中挖掘出有用的价值信息呢？我们通过举例来罗列出其所分析应用上的关键领域：

4.1改善生活

提到大数据，我们多数人会想到一些高端应用的领域，但是随着其应用的广泛，其慢慢满渗透到我们的日常生活中，例如在我们可以通过一些智能可穿戴设备监测我们每天运动消耗的能量，并还可以对睡眠的状态实时跟踪.通过分析、搜集、分析这些数据来改善提高我们的生活及运动方式.对于年轻人喜爱浏览的SNS网站，我们通过大数据分析可以迅速定位、匹配到我们喜爱的对象.

4.2提高医疗和研发

在医疗领域中我们经常遇到一些难以治疗的疾病，相应的治疗方案更是无法制定.此时我们通过计算机使用大数据对病人的DNA进行解码，同时可以帮助医生更加准确、判断病人的状态，并制定出相应的治疗方案，对于一些隐性疾病也可以做到提前预测以便防患以未然.在目前的医疗诊治中，尤其是早产婴儿和患病婴儿中，我们通过大数据技术分析婴儿的心跳频率来判断、识别婴儿的疾病状态以及婴儿可能会出现的不适症状，一般更好的对婴儿疾病进行诊治.

4.3改善我们的城市交通

大数据还被应用在改善我们城市交通中，我们在日常出行中经常交通堵塞，通过大数据分析可判断实时路况，并给出合理的行车路线，极大提高我们的出行效率，节省我们的出行时间，当前有很多城市都在尝试进行大数据分析和试点.

4.4金融交易

金融交易是的当前大数据在啊金融领域的主要应用之一.在应用领域较多的高频交易中，大数据的算法对交易决定给予了支持.对于金融交易中的股权交易需要通过大数据分析，并利用SNS数据属性及网站的实时资讯来决定要交易的方式是买入还是卖出.

5　大数据技术领域的挑战

5.1对数据库管理技术的挑战

系统复杂度高：不同的数据库管理系统所开发出不同的数据管理模块，对于模块间的差异性问题比较突出，很难能够有一个统一的标准模型对所有的大数据进行建模.

用户案例多样性：针对于不同的场景特例，使不同的用户类型产生了不同的数据类型，对于有着统一用户代表行为的数据类型很难获取.

数据规模庞大：如果说我们传统的用户数据规模是一个水池，那么如今的大数据的规模则可以比喻成一所大海，对于如此庞大的数据体量，传统的输数管理、数据存储、数据分析方式需要分布式数据库管理系统在全世界的范围内利用数万计的计算机进行处理.

5.2实时性的技术挑战

传统的数据库管理系统、商业智能（BusinessIntelligence）对于处理器返回运行结果的时间并不是非常高.对于延迟一些时间的数据仍然不影响整个系统的分析.大数据对数据运行、处理的要求速度和实时性很高，这也是大数据和传统数据仓库和商业智能的的主要区别之一.

5.3对数据安全的挑战

大数据带来机遇的同时也给我们带来了挑战，挑战来自于数据计算模型的升级、数据隐私安全的保护和计算机硬件的升级换代等.

随着社交网络不断升级扩容，里面的数据也在不断增加，在数据高速增长的当前，我们每个人的私密数据将有可能被暴露出来.网络病毒的泛滥、黑客的攫取、及一些利益链之间的数据买卖都成为我们所面临的一大威胁.当我们开车行走在城市的街头，我们的车牌数据会被记录.当我们就医录入的的个人信息都会被存储，追访.我们在商场购物、网络博客、微信、QQ、酒店住宿等等来自于不同场所的各种数据信息都会被大数据系统经过计算、筛选后轻易的罗列出来.这些信息在给我们带来了便利的时候也可能会使其成为威胁.这些会给我们生活带来巨大的变化或影响包括了正面和负面的.如何规避风险、那么需要政府制定一系列的政策和法律法规对不法个人和机构进行约束、管理，避免数据的滥用和公民隐私安全的暴露是我们政府应当积极面对的问题.

6　结论

大数据的应用渗透到我们的生活中并融入到了社会中的的各行各业.大数据分析、数据处理的的地位已经深入人心，不可撼动.这些海量的数据借助于云计算平台，推动着工业、商业等各个领域的变革、创新，并对显著提升生产力创造出巨大的社会价值有着巨大的贡献.大数据带来了价值，同时也受限于硬件、软件系统资源的更新，他对新的技术变革提出了巨大的挑战，还面临着一定的数据风险和威胁，对于这把双刃剑如何利用、挖掘及控制系统性风险也是我们也要时刻关注并防范着.

〔1〕赵春雷.大数据时代的计算机信息处理技术［J］.世界科学，2012．

〔2〕冯伟.大数据时代面临的信息安全机遇和挑战［J］.中国科技投资，2012.

〔3〕元博.浅谈大数据时代网络信息的安全与保密技术［J］.网络安全技术与应用，2014．

〔4〕梁巧琴.大数据应用的现状与展望［J］.信息通信，2015.

〔5〕廖建新.大数据技术的应用现状与展望［J］.电信科学，2015.

TP311.3

A

1673-260X（2016）07-0020-02

2016-03-25

基于AR的互动式3D电子书的研究与发展（201502A004）