网络舆情热点新闻发现技术研究

◆黄克敏 先 科 李 帅 魏洪凯 冯建巩



网络舆情热点新闻发现技术研究

◆黄克敏 先 科 李 帅 魏洪凯 冯建巩

（贵州航天计量测试技术研究所 贵州 550000）

随着互联网逐渐迈入移动化时代，智能手机和平板电脑等智能设备的广泛使用成为移动互联网时代的重要标志。网络新闻在成为移动互联时代重要信息来源的同时，网络热点新闻则成为网络舆论和社会舆论的重要源泉。因此，对网站发布的网络新闻内容进行监管及时发现热点新闻评论内容意见的倾向性，准确把握网络舆论动向显得尤为重要。为了实现热点新闻的发现及对不同领域热点新闻分级监管的需求，需要建立热点新闻发现规则及对热点新闻按照报道内容的不同进行领域分类。热点新闻发现及分类技术是网络舆情检测系统中的一项重要技术。本文在研究新闻结构及特点的基础上，针对大众和政府部门都比较关注的热点新闻，在深入研究新闻结构和特点的基础上改进热点新闻发现算法，并通过大量实验样本对改进算法的有效性进行了验证。

网络舆情；新闻结构；热点新闻；热点新闻发现规则

0 引言

互联网是一把双刃剑。一方面，互联网为人们的生活、工作、学习、娱乐带来巨大的便利；另一方面，一些不法分子利用热点新闻事件的巨大影响力发表不当言论，煽动群众情绪，制造社会动荡，极大影响社会公共秩序和社会稳定。因此，为互联网建立一个合理的监管机制，对非法的网络言论进行监管。通过对热点新闻评论的内容进行意见挖掘进而掌握舆论倾向性，对不良的网络舆论导向进行合理引流和正确引导，无论是对于维护社会稳定，打击利用网络违法犯罪活动，还是对净化网络环境，保护公民的身心健康都具有重要意义。

当前，对网络热点事件发现及评论倾向性研究已成为信息安全研究中信息内容安全研究的一个重要部分。本文在研究网络新闻结构和特点的基础上建立热点新闻特征规则，研究并改进热点新闻发现算法，并对网络热点新闻进行发现；为了方便对不同领域的热点新闻事件进行分级监管，需对发现的热点新闻进行领域划分，以方便舆情系统中对不同领域的热点新闻事件的网络评论做倾向性分析，掌握网民的网络舆论倾向，对公共的舆论进行正确及时的引导，减少消极舆论倾向带来的负面影响，从而确保互联网内容安全，使互联网这把双刃剑真正做到趋利避害。

1 网络舆情热点新闻发现技术研究

1.1网络新闻结构

无论是网站根据用户对新闻阅读数或参与讨论的评论数，还是百度风云榜根据用户搜索量作为判断热点新闻事件的标准都不能体现普通新闻事件转换为热点新闻事件的发展趋势的强度及过程，因此存在一定的不合理性。由于本节针对手机客户端的新闻APP产生的新闻进行热点新闻的发现，因此首先要分析新闻的结构。下面以凤凰新闻APP新闻“大学生掏鸟案被告父亲自首称9次行贿办案人员”为例，分析新闻结构，其新闻内容如图1所示。

由图1可知，新闻内容包括新闻标题、新闻来（转载）源、新闻发布的时间、新闻评论数目、新闻正文内容等部分组成。

由图2 可知，新闻评论包括热门评论和最新评论。热门评论主要是指评论点赞数超过一定数目的评论数。热门评论包括热门评论数、评论者的头像、评论者的昵称、评论距当前时间、评论内容、评论点赞数，如果开启允许地理位置分享的话，还会有地理位置信息。最新评论和热门评论包括的部分几乎相同，就不再做过多介绍。

1.2热点新闻判别标准

由于热点新闻能够在短时间内吸引网民的关注、引起网络舆论热议，形成以一定的舆论倾向，因此对热点新闻进行判断检测显得尤为重要。根据哪些条件判断当前新闻是否为热点新闻。表1中选取部分参数作为判断新闻是否为热点新闻的参考标准：

图1 新闻内容

图2 新闻评论

表1 判断热点新闻的参考参数

1.3 热点新闻发现算法

影响热点新闻因素可以分为两个方面：一个是从媒体角度考虑；另一个是从网民角度考虑。目前常用关注度来描述某事件当前的状态和热度，即某事件被关注的程度。百度借助百度指数描述某个关键词用户关注度（用户热度）和媒体关注度（媒体热度）来表示某个关键词的重要程度，因此本文借用百度指数的思想用热点新闻的关注度描述当前新闻被关注的程度，用媒体关注度和网民关注度来表示热点新闻关注度。本文提出的热点新闻发现过程为：首先对参数进行定量化表示，在此基础上提出热点新闻发现算法,并用实验对算法有效性进行检验。

1.3.1媒体关注度的数学描述

媒体关注度指新闻被媒体报道关注的程度。某一新闻被媒体报道越多或重复转载性越高，说明该新闻受媒体关注程度越高；新闻只有被报道且为大众所熟悉并引起广泛关注才能成为热点新闻，因此媒体对新闻从普通新闻到成为热点新闻起着重要的推动作用，对于这种推动作用用媒体关注度表示。用来衡量媒体关注度的标准主要包括：单位时间新闻报道数（新闻报道频率）、新闻报道持续时间、新闻报道总数，以上三个标准都是针对某一段时间内的统计量或计算量。

在话题的热度分析中，Khoo Khyou Bun提出TF*PDF（Term Frequency*Proportional Document Frequency）算法用于热点话题的发现，此种方法并没有考虑特征项出现的频率因素。因此本文在TF*PDF基础上，将某一段时间内新闻报道时间越多则该新闻越重要这一事实考虑在内，提出改进媒体关注度计算方法，其方法的数学描述如下所示：T(i,t)为某段时间t内，信息i在网站上的媒体关注度。1式中指数描述的是某一信息报道数量越多,该新闻的PDF越大；新闻报道的时间越多则新闻越重要。公式如下：

RF(t)数学表达式为：

(2)

其中，时间t是任一时间段，如几个小时、一天、一周等；RF(t)为在时间段t内新闻i的报道总数，即新闻i报道的频数；RT(t)为在时间段t内报道的新闻i的总数；TR(t)为时间t内有新闻i报道时间，以天为计算单位；TS(t)从第一条新闻报道到当前统计的时间间隔；N为新闻i报道总数。

1.3.2用户关注度的数学描述

用户关注度指新闻被用户关注的程度。影响用户关注度主要有三个参数：新闻阅读数、新闻评论数、单位时间评论数。新闻阅读数用RN（Reader Number）表示，新闻评论数用CN（Comment Number）表示。新闻阅读人数越多说明用户对此新闻越感兴趣。新闻评论人数越多说明新闻受关注程度和重要程度越高。

新闻评论数和新闻阅读数对热点新闻形成所起的作用大小不同，应该对其设定不同的权重。通常情况下如果用户对某个新闻比较感兴趣，则会在阅读后对新闻进行评论，所以认为新闻评论人数对热点新闻的形成比新闻阅读数更要要，应赋以较高的权重。本文经过多次试验发现新闻阅读数的权重是新闻评论数两倍时，热点新闻的发现效果达到最佳。因此得到用户关注度的计算公式如下3式所示:

其中a为：

(4)

计算公式为：

计算公式为：

(6)

其中： 表示在时间段t内用户对新闻i的关注度；表示对新闻i评论人数所占的比例；λ为动态调整因子，用于平衡相关因子对公式的影响；表示新闻i阅读人数所占的比例；CN为时间段t内新闻评论数；时间段t为任意一段时间：可以为几个小时、一天、一周等。

热点新闻关注度用媒体关注度和用户关注度表示。因上面讨论媒体关注度和用户关注度的数学描述，所以热点新闻关注度应将媒体关注度计算公式和用户关注度的计算公式结合起来。因此得到热点新闻关注度的计算公式如下7式所示：

公式中参数a和b为调整参数，主要作用是调整媒体关注度和用户关注度的数值因子差异，防止出现因一方数值过大把另一方给淹没的可能性。

1.3.3热点新闻的获取实验

利用采集的新闻和评论数据作为实验数据源，利用热点新闻发现算法作为热点新闻发现方法，通过实验验证热点新闻发现算法的有效性。

（1）实验数据源

实验选择从腾讯网站采集的2016年11月和12月两个月的新闻数据，其数据大小如表2所示。

表2 热点新闻发现数据源

（2） 实验方法和步骤

为了保证公式7中用户关注度T(i,t)中的值随着用户阅读数和评论数增加，用户关注度呈现正相关变化，对数的底数a>1，此处λ值取λ=1。另外新闻的评论中并没有直接给出评论阅读数，此处把新闻评论数和点赞数之和作为新闻的阅读数。

首先需要对媒体关注度和用户关注度的权值因子：即公式7中的a和b进行确定。通过随机选取11月份和12月份各500条新闻数据及对应的评论，对式子中a、b值进行从[0,1]遍历，遍历步长为0.01，并对筛选出的结果进行统计，最终选择筛选出结果时所对应的a和b值。

其次利用公式12对热点新闻关注度计算，最后对实验结果的结果进行统计分析，将得到的热点新闻与同时间段内百度搜索风云榜新闻排行数据对比。

（3） 实验结果

根据（2）的实验方法，得出7式子中a=0.65，b=0.27，此时发现热点新闻发现效果最佳。

按照上述实验步骤，最终得到实验数据如表3所示。

表3 热点新闻发现结果统计表

将上述实验发现的热点新闻与同一时间段内的百度搜索风云榜排行新闻对比可知此种方法与百度风云榜热点新闻的重合度在85%以上，说明此方法有效。

[1]刘星星，何婷婷等.网络热点事件发现系统的设计[J].中文信息学报，2008.

[2]宋双永，李秋丹，路冬媛.面向微博客的热点事件情感分析方法[J].计算机科学，2012.

[3]王国华，邓海峰，王雅蕾等.网络热点事件中舆情关联问题研究[J].情报杂志，2012.

[4]龚凯，唐明，尚明生等.在线热点事件的时空演变规律[J].物理学报，2012.

[5]焦超,刘功申.网络突发热点事件的热点分布[J].信息安全与通信保密，2012.