APP下载

基于Hadoop平台的突发公共事件网络舆情监控研究

2016-06-25施利萍

科教导刊·电子版 2016年15期
关键词:突发公共事件网络舆情

施利萍

摘 要 随着自媒体社会网络的快速发展,大量网络数据的产生,给网络舆情监控带来了严峻的挑战。本文分析了大数据时代网络舆情的现状和特点,通过对大数据的主要技术Hadoop技术的研究,结合突发公共事件的特点,探索了如何构建基于Hadoop平台的突发公共事件网络舆情监控系统。

关键词 突发公共事件 网络舆情 Hadoop

中图分类号:C91 文献标识码:A

1大数据时代对网络舆情监控的影响

随着近年来我国网民数量的激增和移动智能设备的普及,社交网络等新媒体工具逐渐渗透到人们的生活当中,突发公共事件在网上传播的速度越来越快,人们对突发公共事件的关注度越来越高。网络传播中的各类信息,既有积极的、正面的,也有虚假的、反动的不良言论。部分社会矛盾在网民的关注下,会急剧放大、集聚、引爆,一旦失去控制将进一步危害国家安全和社会稳定。因此针对网络舆论的管理及监控,政府部门需要进行有效的引导和治理,实现对网络舆情的实时监控,防止事态恶化。而借助大数据技术的优势,舆情信息工作部门可以从网上海量的、多样的信息数据中迅速分析、挖掘出有价值的舆情信息,大数据将在突发公共事件网络舆情信息工作中发挥重要的作用。

2大数据在网络舆情中的应用

2.1突发公共事件舆情监控系统

突发公共事件网络舆情监测系统主要通过在线收集定位网络信息,识别有害消息,利用统计分析进行舆情识别发现,然后发布预警公告。该类系统一般具有信息采集、信息预处理和分析与舆情服务三大功能。信息采集部分实现自动抓取数据源(论坛、博客、网站、微信、微博等)上新闻、帖子发布及回复、聊天记录等信息;通过网页去重、标准化、关键词筛选、主题分析等工作对信息预处理后识别出有价值的信息,分析事件的背景和特征,分析事件的关联性、背后隐藏的规律和发展趋势,提供突发公共事件预警支持;最后将舆情信息用图表方式直观化、拓宽报送及发送渠道,利用移动互联技术实现舆情信息集纳和推送。

2.2关键技术Hadoop技术

当前国内外许多机构开展了关于云计算技术的研究,其中最为著名的是由Apache 开发,基于Google文件系统设计思想的Hadoop开源框架。Hadoop是当前较为流行的分布式计算框架,它为处理海量数据,充分发挥集群的处理能力以及存储能力提供了方案。Hadoop平台基础架构由三大核心组件组成,分别是分布式计算模型MapReduce、分布式文件系统HDFS(Hadoop Distrubuted File System)、数据仓库工具Hive和分布式数据库HBase。

3基于Hadoop平台的突发公共事件网络舆情监控系统

3.1舆情信息采集和存储

将来自于网站、微信、微博、论坛等国内外著名网站的舆情数据,采用网页抽取技术,可进行关键词采集、语义话题采集,通过关键词管理、URL管理、过滤词典及分类管理等系统管理配置,同时进行网页解析,利用Dom 解析html 和抽取信息。

Hadoop平台上,通过HDFS就能实现文件的读写,但为了使数据更清晰、程序更简便,选择将数据写入HBase。完全分布模式下HBase的运行基于HDFS文件系统,HBase处在HDFS和MapReduce的中间,可通过MapReduce实现算法对HBase进行操作,系统将经过预处理的用户数据上传到HBase分布式数据库中。HDFS作为面向大数据应用的分布式文件系统,在底层提供高性能的硬件资源管理和存储管理支持,实现舆情大数据的高效存取和交换。Hive作为建立数据仓库模型的ETL工具,对信息数据进行提取(Extract)、转换(Transform)、加载(Load)等处理过程,形成数据索引和舆情词汇库,建立舆情数据仓库,将这些信息数据加载到Hbase数据库中,Hbase采用面向列的稀疏存储模式,以非关系型数据库N0SQL替代传统关系型数据库,解决当前web2.0社交网络大规模、高并发的数据处理问题。

3.2舆情监控分析

舆情监控分析是系统的关键模块,主要完成最新消息、热点话题、活跃人物追踪、热点区域追踪、传播途径分析、走势分析、网络社会关系分析等功能。利用Hadoop框架中的HDFS 分布式文件系统和MapReduce编程模型进行开发,根据专家库中建立的舆情搜索规则及存储的URL地址,实现抓取的新舆情信息分类,对热点话题追踪,并进行情感偏好分析,标记出信息的情感属性,统计分析舆情情感归属分类,进行词性(正面、负面、中立)的判断,预测出舆情未来的发展形势及走向趋势。最终通过事件趋势图、观点百分比饼图、频率分布网状图、负面舆情度直方图等丰富的图表形式发布展示到用户界面,为更进一步的舆情分析和研判提供更直观的决策参考。

4结语

本文分析了大数据时代网络舆情的现状和特点,以及当前网络舆情信息工作存在的问题,通过对大数据的主要技术Hadoop技术的研究,结合突发公共事件的特点,探索了如何构建基于Hadoop平台的突发公共事件网络舆情监控系统。

参考文献

[1] 史玉珍,单冬红.基于Hadoop的网络舆情监控平台的研究[J].电子测试,2015(05):71-73.

[2] 张宁熙.大数据在突发公共事件网络舆情信息工作中的应用[J].现代情报,2015(06):38-42.

猜你喜欢

突发公共事件网络舆情
突发公共事件中的微博传播过程分析
传统媒体与网络新媒体对突发公共事件报道的框架分析
浅析网络舆情治理
突发公共事件中微信公众号的谣言治理
基于社会稳定视角的网络舆情预警机制构建的思考