大数据技术的应用分析

◆孙发友

(南京机电职业技术学院 江苏 210000)

大数据技术的应用分析

◆孙发友

(南京机电职业技术学院 江苏 210000)

大数据需要专业化的技术和管理人才。大数据解决方案的设计和实施，需要专业化分析复杂数据集的工具和技术。大数据的有效应用需要解决大容量、多类别和高时效数据处理的问题。传统数据库处理不了数TB级别的数据，也不能很好支持高级别的数据分析数据。大数据时代，数据价值越来越大，面对海量数据的收集、存储、管理、分析和共享，信息安全问题成为重中之重。

大数据；数据挖掘；数据分析

1 大数据时代的时代特征

1.1 大数据的特点

大数据(Big Data)是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合。”业界通常用4个V(即Volume、Variety、Value、Velocity)来概括大数据的特征。

1.2 大数据存在的问题

为企业打开这一“金矿”的钥匙.然而传统的IT基础架构和数据管理分析方法已经不能适应大数据的快速增长.大数据的爆发是我们在信息化和社会发展中遇到的棘手问题，需要我们采用新的数据管理模式，研究和发展新一代的信息技术才能解决。

2 大数据技术

2.1 大数据量遥感图像的薄云去除

大数据量图像重采样，抽样就是从总体中合理抽取一定量的样本 ，并依据这些样本对总体数据进行合理地推断。样本必须与总体尽可能一样，两者保持大致相同的分布。薄云识别，对于一个大数据量的遥感图像，为了提高图像处理的速度 ，一个有效的方法就是仅仅对有云的区域进行薄云去除 ，不改变无云区域的性质。

2,2 基于格网划分的大数据集 DEM 三维可视化

在 GIS 中 TIN 被看作为表达 DEM 的最佳方式， 原因在于TIN不仅数据量小， 且表达了一定的拓扑结构. 但TIN需要消耗较大的内存空间， 计算量大， 且需要较多的预处理工作。规则格网结构则要简单得多， 且在实际生产中 DEM 往往使用规则格网表达，常见的是基于点阵的栅格表达方式， 一般使用位图格式进行存储. 但规则格网所占存储量较TIN 大， 且不具有拓扑结构。

3 大数据的应用

大数据的类型大致可分为三类：（1）传统企业数据（Traditional enterprise data）：包括 CRM systems的消费者数据，传统的 ERP数据，库存数据以及账目数据等。（2）机器和传感器数据（Machine-generated /sensor data）：包括呼叫记录（Call Detail Records），智能仪表，工业设备传感器，设备日志（通常是Digital exhaust），交易数据等。（3）社交数据（Social data）：包括用户行为记录，反馈数据等。如Twitter，Facebook这样的社交媒体平台。

大数据挖掘商业价值的方法主要分为四种：（1）客户群体细分，然后为每个群体量定制特别的服务。（2）模拟现实环境，发掘新的需求同时提高投资的回报率。（3）加强部门联系，提高整条管理链条和产业链条的效率。（4）降低服务成本，发现隐藏线索进行产品和服务的创新。

3.1 大数据时代新闻业面临的新震荡

大数据技术渗透到新闻生产的核心环节，大数据技术重树新闻质量标杆，大数据技术进一步提升受众反馈的价值，大数据技术拓展用户分析广度与深度。在大数据技术等因素的推动下，新闻业务将实现一些方向性调整，如趋势预测性新闻和数据驱动型深度报道分量的增加，数据呈现、分析与解读能力的提高，新闻生产中跨界合作的增强。

3.2 大数据在公共交通中的应用

基于大数据的智能交通数据处理体系流程依次为：（1）输入交通数据。（2）数据中心对实时交通流数据进行提取，促进数据交换中心之间对数据进行交换和处理。（3）通过基于云计算的云存储来对数据进行储存， 将大数据集成起来。（4）控制中心将这些大数据在电脑地图上以不同色彩来呈现。

3.3 大数据背景下商务管理

现代企业的生产管理与商务决策在很大程度上依赖于社会媒体、网民群体、上下游合作企业以及竞争对手所构成的“网络生态系统”，并逐渐呈现出纵向整合和横向联合的两种新发展趋势．快速积累的海量数据使企业难以及时洞察出有用的信息来作出营销决策，但同时也为企业营销带来前所未有的机遇。

4 大数据的机遇和挑战

4.1 大数据分析机遇

关系数据库和 MapReduce 混合技术研究：关系数据库和MapReduce 技术各有优缺点， 如何融合关系数据库和MapReduce 技术， 设计同时具备两者优点的技术架构 也是大数据分析技术的研究趋势。继续改进 MapReduce 的性能， 提供数据分析的实时性： MapReduce 是面向批处理的并行计算模型， 其性能与关系数据库相比仍然有一定的差距。

4.2 大数据时代的挑战

“大数据”时代同时提供了挑战。除了诸如计算机病毒、盗版软件以及对服务器的恶意攻击等这些熟悉的问题之外。这也就意味着，在一个给定的很短的时间内，把公众的真正看法与网络上各个群体恰好正在表达的观点区分开来，将会变得更加困难。另外网络“大众性”的特点可能是不合时宜的，因而需要重新进行定位。

5 大数据的前景展望

我们要在大数据环境下面向技术创新管理的双向决策模型，整合传统的“目标驱动决策”与大数据环境下的“数据驱动决策”理念及方法，分别从“技术评估与预测”及“技术监测与预警”两个方面构建适用于我国技术创新管理的新方案，应对大数据环境，有效并快速提取知识与观点的能力，并最终促进我国核心技术创新与升级。

[1]曹磊，陈薇娜，缪其浩，陈超．大数据：数字世界的智慧基因[J]．上海：文汇报，2011．

[2]陈宪宇．大数据的商业价值[J]．浙江：企业管理，2013．

[3]严霄凤，张德馨．大数据研究[D]．工业和信息化部计算机与微电子发展研究中心(中国软件评测中心)．北京，2013．

[4]2013RSA信息交全大会传真，大数据作为革命性的解决方案应对信息安全的全面挑战[J]，2013．

[5]夏欣．电子商务潮流下大数据的应用及发展[J]．武汉：决策信息，2013．

[6]谢华美，李荣艳，田艳琴，别荣芳．基于大数据量遥感图像的薄云去除[J]．北京：北京师范大学学报，2006．