大数据关键技术及其经济社会应用研究

2020-09-10王尊

新闻研究导刊 2020年17期

摘要：大数据的Map-Reduce、Hadoop和数据可视化技术可以最大限度地提升人类视觉感官对多源、海量及动态数据背后信息的理性洞悉。本文从“知识与传播服务”“商事服务”“智慧政务”3个方面论述大数据应用研究的几个前沿主题。

关键词：大数据；技术；应用；智慧政务

中图分类号：P208 文献标志码：A 文章编号：1674-8883（2020）17-0247-02

“大数据”并非一个新概念。《促进大数据发展行动纲要》（国发〔2015〕50号）中阐释：“大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的交易数据、交互数据与传感数据的集合。”国际学界主要从“3V”“4V”甚至“5V”特性来对大数据的概念进行归纳，例如，Gartner公司提出的“3V”特征及其概念，即大数据至少应满足“规模性（volume）、多样性（variety）和高速性（velocity）”3个特性，而价值性（value）或真实性（veracity）等尚存诸多争议。本文就大数据的技术和应用方面进行论述。

一、大数据关键技术

（一）Map-Reduce及Hadoop

自Google（谷歌）在2004年提出Map-Reduce，其在处理TB和PB级数据方面已经成为使用最广泛的并行分布式编程模型之一，也是云计算的关键处理技术[1]。Map-Reduce主要利用“Map（映射）”进行任务的分解和“Reduce（化简）”进行结果的汇总，即通过定义良好的接口和运行时支持库，自动并发执行大规模的计算任务，隐藏底层实现细节，降低用户并行编程的难度。例如，将MapReduce应用于数据挖掘和模式发现等领域，或利用分布式内存缓冲（如GemFire）来进行性能优化[2]。当然，Map-Reduce的标准规范、性能升级、大规模底层基建以及针对不同实验平台的实现将逐渐成为可能的研究热点。

Hadoop是Apache基于Map-Reduce和GFS开发的一个开源分布式计算框架，高扩展性、高可靠性、高可用性、高时效性及低成本等方面的优势使其成为了大数据开源技术的代表[3]。对Hadoop进行平台性能、高效查询处理及索引构建使用等方面的改进，并将其应用于不同场景的海量处理已成为新的研究热点。例如，将Hadoop分布式技术与Linux集群技术结合起来开发并实现高效易扩展的海量数据存储管理系统，如海量海洋科学数据存储平台[4]。不过，Hadoop也不能很好地解决稳定性和能耗等问题。已有学者运用GemFire分布式内存数据库平台计算交通领域多源动态海量数据，研究表明至少可以减少原系统10%左右的计算时间[5]。

（二）数据可视化

数据可视化技术可追溯至20世纪50年代的计算机图形学，如今已经应用到科学数据、社交网络、旅游地理、趋势预测等多个领域。在大数据时代，传统的“文本形式”已不能有效解释并呈现海量数据的复杂关联性，引入可视化技术是解析数据价值中非常关键的一环。大数据可视化的实质是借助人机交互式分析方法和交互技术，清晰有效地传达与沟通信息，以图形化形式辅助人们更为直观和高效地洞悉大数据背后的信息、知识与智慧[6]。

具体来说，大数据可视化应用可以分为4类，即多维叠加式数据可视化应用，如社交网络与网络地图的叠加导航；揭示数据关联趋势的可视化服务，如百度指数；思維导图（Mind Map）可视化工具，已成为各类可视化应用的基础技术之一；数据交流社区的可视化平台，如纽约时报的数据可视化实验室[7]。这些应用所进行的信息挖掘与知识洞悉多以文本、网络关联（图）、时空序列及多维数据等图形化形式呈现出来。

二、大数据的经济社会应用领域

（一）知识与传播服务

1.数据新闻。社会化媒体、移动终端和大数据正在渗透到新闻生产的各个环节，这些新技术正极大地影响着传统媒体与新媒体的融合[8]。大数据已成为新闻核心资源之一，新闻生产正趋向于数据驱动型和趋势预测型。有学者认为，大数据时代的传播学研究面临新变革，如舆情研究将从传统的内容视角、信息采集方法、结构化舆情库和离散主体方法转向内容与关系、数据可视化、非结构化舆情库及关联聚合主体等新范式[9]。大数据提供了挖掘品牌接触和用户需求平衡点的关键技术和传播能力，这不仅会造成新闻与传媒的新震荡，也会重构传播品牌市场新格局。

2.数据图书馆。在大数据时代，对复杂、多源、动态数据的存储和深度挖掘将成为图书馆从“物理图书馆”向“数据图书馆”转型的关键动力[10]。当前，信息服务与知识挖掘是图书馆服务的主要内容，而在知识服务基础上的创造性服务才是数据图书馆服务的核心。这方面的技术主要通过采集用户Web日志的数据，挖掘关联规则、内容分类和用户聚类的行为需求，建立一站式数据资源交互服务平台，使用户与图书馆都成为资源的接受者、学习者、发布者和贡献者，从而能提高个性化服务与差异化服务[11]。由此看，基于大数据的数据图书馆智慧服务及趋势预测有很大的研究空间。

（二）商业信息传播

1.企业竞争情报。大数据的核心就是预测，这在商业竞争中表现得尤为明显。有学者提出从“社会化的价值创造、网络化的企业运作、实时化的市场洞察”等研究视角来探讨大数据背景下的现代商业决策模式创新，认为产品生产与价值创造将越来越依赖于用户参与体验数据，同时企业的运营及生态也将趋向于网络化与动态化，而基于精准数据的实时需求洞察将成为未来营销的主要模式[12]。不过，现有企业数据库大多不能集成、存储TB级数据，也在高级别的情报分析方面缺乏技术支持，还会造成情报实时性的高损耗[13]。

2.云会计。企业财务决策所需的支撑数据已从企业内部财务数据扩展到包括税务部门、会计师事务所、银行等多主体参与在内的各种半结构化或非结构化数据。企业可以利用云会计平台和大数据分析技术从海量数据中挖掘出有用信息，并实施科学预测与精准决策。同时，云会计平台和大数据技术为企业财务决策中公允价值的确定带来了新的方法，还有望应用于企业成本控制系统。不难看出，“云会计”的概念基于对云计算的服务内涵及模式分类的理解，而大数据将使云会计研究更具价值。

3.互联网金融。随着大数据时代的来临，这种对传统金融模式产生重大影响已成为必然趋势：互联网金融格局将呈现横向综合化与纵向专业化交错的矩阵结构；第三方支付和移动支付逐步替代传统支付业务（如银行汇款、信用卡）；网络信贷市场空间巨大，将逐步替代部分传统存贷款业务；众筹融资将替代部分传统证券业务[15]。中国的互联网金融研究大多是将大数据作为时代背景，考察互联网金融模式与传统金融模式及商业银行的区别和影响关系。

（三）智慧政务

智慧政务研究是对传统电子政务、电子治理的继承。学者姚国章在研究“智慧旅游”时曾提出智慧政务在旅游管理中的应用，大体也认为智慧政务是电子政务、移动政务等的深化应用，同时也必须是基于智慧化技术的政府管理和服务模式的创新。有学者认为，智慧政务通过跨边界的集成与泛在化公共服务的提供，推动着包容性电子治理的实现。黄璜等认为，大数据对电子政务的影响莫过于对政府决策的影响。也有基于大数据的智慧政府门户方面的研究，从智慧感知、智慧建站、智慧推送、智慧测评、智慧决策等5个方面提出了建设智慧政府门户的思路，像站内搜索关键词变化趋势、网站页面点击热力图等技术都被用来作为实施精准决策的工具。

三、结语

信息是国家治理的重要依据，大数据是国家战略，要以信息化推进国家治理体系和治理能力现代化。推动大数据市场化运用和创新发展，培育新技术、新业态、新模式、新产业。通过大数据推进政府管理和社会治理模式创新，实现政府决策科学化、社会治理精准化、公共服务高效化。同时，集中统筹布局一批绿色数据中心，吸引大数据企业落地进驻，推动大数据政用、民用、商用，构建良好的大数据发展生态链。实践证明，发挥比较优势、抢抓发展机遇、建立生态链，才能够赢得发展主动权。

参考文献：

[1] 陈全，邓倩妮.云计算及其关键技术[J].计算机应用，2009（09）：2562-2567.

[2] 谢桂兰，罗省贤.基于Hadoop Map-Reduce模型的应用研究[J].微型机与应用，2010（08）：4-7.

[3] 王珊，等.架构大数据：挑战、现状与展望[J].计算机学报，2011（10）：1741-1752.

[4] 崔杰，李陶深，兰红星.基于Hadoop的海量数据存储平台设计与开发[J].计算机研究与发展，2012（S1）：12-18.

[5] 徐翔，等.基于GemFire的海量数据计算性能实验分析[J].计算机应用，2013（01）：226-229+ 233.

[6] 任磊，等.大数据可视分析综述[J].软件学报，2014（09）：1909-1936.

[7] 张浩，郭灿.数据可视化技术应用趋势与分类研究[J].软件导刊，2012（05）：169-172.

[8] 彭兰.社会化媒体、移动终端、大数据：影響新闻生产的新技术因素[J].新闻界，2012（16）：3-8.

[9] 喻国明，等.传播学研究：大数据时代的新范式[J].新闻记者，2013（06）：22-27.

[10] 樊伟红，等.图书馆需要怎样的“大数据”[J].图书馆杂志，2012（11）：63-68+77.

[11] 韩翠峰.大数据带给图书馆的影响与挑战[J].图书与情报，2012（05）：37-40.