大规模突发事件决策支持系统的研究与实现
2016-03-25赵琼何健武晓伟邢小璐
赵琼,何健,武晓伟,邢小璐
大规模突发事件决策支持系统的研究与实现
赵琼,何健,武晓伟,邢小璐
摘 要:为应对各类异常事件,政府已经拥有比较完善的汇报机制如安全巡防员、110报警电话等,也有比较健全的各类应急预案。但是对于大规模异常事件,由于事件的复杂性和突发性,使得决策者很难判断事件的真实情况,因此,启用相应应急预案是一个复杂的决策过程。大规模突发事件决策支持系统通过学习大规模突发事件的警报内容,利用社交网络上的相关信息,建立大规模突发事件信息分析模型及实时监测系统。在突发事件发生之后,对于相关信息进行即时分析,抽取各类观点并计算其可信度,为政府应急机构提供即时、客观、全局的决策依据。
关键词:大规模突发事件;决策支持系统;政府应急机构
0 引言
随着我国城市化进程的不断加速,城市人口密度增大,结构趋于复杂化。新兴大中城市在给市民带来生活便利及就业岗位的同时,也更容易面临各种大规模突发事件,其中既包括海啸、地震、台风等自然灾害,也包括大规模恐怖袭击等人为灾害。这些大规模突发事件通常具有如下特性:(1)成因相对复杂(尤其是人为灾害);(2) 涉及城市面积相对较广;(3)各区域受影响严重程度不同,所需应对资源类别、数量也各不相同。我国虽然已有比较完善的突发事件汇报机制(如安全巡防员、报警电话等),也有比较完备的灾害处理预案,但政府应急机构在处理此类事件时仍会面临决策困难的问题。
在应对大规模突发事件时,利用信息化技术建立大规模突发事件决策支持系统,通过对社交平台的分析了解舆情和事件实时状况,结合对大规模历史事件的学习,使政府应急机构尽快了解事件的全面情况,可以正确判断复杂的形势,总揽全局、协调各方面,及时果断准确地制定针对突发事件的对策,尽可能的减小突发事件造成的危害。
1 研究现状
1.1 相关概念
决策支持系统是综合运用了管理学、运筹学、控制论等多方面知识,借助于计算机科学技术实现的信息化的系统。
决策支持系统能够帮助决策者准确全面地认识事件情况,将计算机的知识封装,把分析技术与传统的数据存储和检索方式结合起来,使非计算机专业人员能够简易便捷的使用该系统。决策支持系统虽然能够为决策者提供有效及时的信息,但并不代表决策者的意愿,系统并不一定能够为决策者提供最优的解决方式,但是能够为其提供较为良好的方案,让决策者参考方案,得出最终的决定。
在实现的过程中,决策支持系统包含了知识库管理系统、数据库管理系统、模型库管理系统等多方面的知识,将这几个方面结合起来,应用到多个方面,如人口管理、产业动态、宏观经济监测等。
1.2 研究水平及发展趋势
在我国,国家公布了一些举措和方案,能够在突发事件发生时提供指导性方针。自2006年成立国务院应急办以来,发布了一系列以《国家突发公共事件总体应急预案》为代表的应急预案,使得应急进入“国家”层面,在全国建立起了规范有效的应急框架体系,对于突发事件的处理卓有成效。但是由于缺乏信息流通的平台和有效的信息分析,决策者有时不能全面准确地判断形势,使得决策还是存在瑕疵,在许多时候都无法对局势做出最佳的处理。
在国外,许多国家的政府都有自己的应急机构。例如,美国的联邦紧急事务管理署,俄罗斯的紧急情况部。以美国为例,其面对突发事件的预案已经非常成熟。联邦跨部门运作计划(Federal Interagency Operational Plans)阐述了联邦政府如何分配资源和保证其国家准备目标(National Preparedness Goal),国家准备目标是指在面对会对国家造成巨大的威胁和危害时,预防(Prevention)、保护(Protection)、减缓(Mitigation)、反应(Response)、恢复(Recovery)的能力。其中的联邦跨部门运作计划的反应篇(Response Federal Interagency Operational Plans)可以作为突发事件发生后,联邦政府采取行动的指南。
但是从历史上大规模突发事件的情况来看,可以发现国内外的政府应急机构缺少可以在短时间内整合信息和分析信息的平台。在面对突发事件时,短时间内决策者只能得到相对局部、片面的信息,无法做出相应的决策。
随着近年来互联网的发展,社交网络(如人人、微博、微信等)因为能够充分满足人们的交友需求而受到青睐。在大规模突发事件爆发后,很多目击者更倾向于通过社交网络向公众传递事件现场及自身状况。这对于灾害情报收集提供了新的渠道,而且该渠道收集的信息往往更及时。为此,我国已有很多政府及企业采用舆情系统来动态地发现、监测及追踪网络舆情。这些系统通过采集各大新闻网站及社交网站,从海量文本信息中提取一段时间内最热门的人或事,以及某个具体事件在一段时间内的变化过程,包括关注数量,正负面情绪等。
然而由于网络舆情仍需要一定形成时间且现有舆情系统单纯从在线资料中抽取事件信息,这些系统均存在时效问题。而突发事件发生后的前30分钟是政府最需要了解情报的阶段,对灾情做出正确的判断有助于各项工作开展,然而大规模舆情形成并被探测到往往所需时间更多。因此,在大规模突发事件发生时虽然有一定有用的灾害描述被传上网络,但由于舆情系统本身的局限却无法及时为灾害应对负责人提供相关信息。
2 实现方案
2.1 系统目标
大规模突发事件决策支持系统为了能够尽快的对当前事件作出反应,当灾害初期具体成因还不明确时,利用网络舆情得到的信息,再结合报警信息及历史事件的知识库,对大规模突发事件进行综合判断,得出决策支持结果。
为了以最快速度将大规模突发事件的详细面貌呈现在决策者的面前,以帮助决策者进行决策,减少因决策不当而造成的不必要的经济损失或人员伤亡,减少大规模突发事件对于社会安定的影响,本项目将重点研究以下问题:
(1)学习现有报警、灾害汇报数据,得到突发事件发生时信息的特征。
(2)研究从已有警报信息中提取关键词,获取关联词等技术,以便到网络中寻找相关信息,准确收集事件警报信息。
(3)研究为各种灾害信息(包括报警以及网络信息)分类,生成小结,同时研究计算其可信度与支持度的技术。
(4)开发一个自动化决策支持系统:自动从报警信息中发现事件并在网络中丰富事件描述,最后自动形成事件描述,对于相互矛盾的描述,每类呈现可信度与支持度。
2.2 系统架构
为了避免时效性过低、系统负载过大等问题,目标系统以报警信息(110、巡防员或应急反应人员等报警)为基础,当确认大事件发生之后再从互联网查找更多描述以丰富事件具体内容,并形成事件简报。系统的基本模型,共分为准备、监测和汇报3个循环,如图1所示:
图1 大规模突发事件决策支持系统架构图
准备循环的目的是学习历史警报信息形成突发事件资料库。历史警报既包括正例(大事件中的报警内容),也包括反例(普通事件的报警内容)。机器学习可分为两种,监督学习和非监督学习。监督学习准确性较高,但伴随着较高的人力投入以及仅能识别人为确认的信息;非监督学习恰好相反。为了发挥这两种学习算法的优点,“重大事件学习模块”同时运用两种学习方法:利用监督学习来准确发现已知事件;同时采用非监督学习来发现一些隐性(之前未曾发生或未被掌握)重大事件。“重大事件资料库”中包含各种已知及未知事件的语言特征供发现模块评价当前警报。为了进一步提高准确度,准备循环可以根据人工反馈进行进一步学习。
监测循环主要根据重大事件资料库的语言特征对最近一段时间的报警信息进行分析以判断警报涉及内容是否为重大事件。如果确认为重大事件,则抽取目标事件的特征(如事件名称、发生地点、发生时间等),并以此特征启动重大事件汇报循环。
为保证警报系统核心“重大事件汇报模块”的通用性,汇报循环既可以由事件发现模块启动,也可以由人工输入目标事件特征来手动启动。考虑到报警人的局部视野及情感偏差,仅从报警内容中了解事件全貌往往不够。因此警报系统从互联网的社交网络及新闻媒体中丰富事件描述。为了更高效的从互联网获得信息,系统具有统一的搜索接口。当确认事件发生时,系统可向搜索接口提供相应关键词及筛选条件(地点、时间等),由搜索接口获取相应的新闻、博文及讨论内容。汇报模块从这些文本中抽取相应主题(不同人,不同地点对于事件严重情况的描述)以及这些主题的支持度和可信度。根据这些主题,汇报模块利用摘要生成工具为事件决策者还原事件的全貌。考虑到重大事件往往是一个演进的过程,汇报循环应可以根据决策团队的反馈(或是新的报警内容)来更新目标事件特征,然后重复信息搜索及主题、摘要提取过程,为决策者提供实时事件更新。
3 关键技术
为了完成该系统,需要搜索引擎技术、实体名识别、句法分析、语义分析、文本模型(包括文本表示、权重和相似度计算等)、文本分割、文本聚类及类排序、指代关系处理、自动摘要等技术。其中一些关键技术的具体研究方案如下:
3.1 实体名识别
实体名识别是查询分析中非常重要的模块。它包含了两个部分:1.如何发现一个实体名,即如何判断一个字符串是否代表一个实体。2.标志该实体名,即当发现实体名后,将该实体名分为哪一类别。实体名分为名字(姓名、地名、机构名)、数字(日期、时间、百分比和货币)两大类。目前中文实体识别的方法主要有:基于规则的方法、基于统计的方法、规则和统计相结合的方法等。
应用于各类型的系统和研究中的自然语言处理的各种形式模型种类繁多,包括基于短语结构语法的形式模型、基于合一运算的形式模型、基于依存和配价的形式模型、基于格语法的形式模型、基于词汇主义的形式模型、语义自动处理的形式模型、系统功能语法、语用自动处理的形式模型、概率语法、Bayes公式与动态规划算法、N-元语法和数据平滑、隐马尔可夫模型(HMM)、统计机器翻译的形式模型。
在本系统的实现中使用基于机器学习的实体名识别方法。通过积累,在拥有经过词性标注和实体名识别的中、英文语料库的基础上,进行比较充分的机器学习。在系统实现过程中使用了两种方案:其一是用神经网的方法。实体名识别的实质可认为是一个函数,它以各种特征信息为输入参数,输出值为特定的实体名类型。这种判决函数很容易联想到用神经网来实现,只要给定足够的样本,使神经网充分地学习,一旦学习过程完成后,对任意给定的输入,即可求得相应的输出;其二是基于自动标注的方法,用隐马尔可夫模型方法进行初始的标注,再利用错误驱动的方法加以修改。
3.2 基于知识库的语义分析
系统研究了实用意义下的语义分析,通过语义分析获得虽然是浅层的但是却很有价值的信息。实现的方法是通过知识库来进行语义标注。
根据国际ACE会议的定义,事件抽取需要找到相应的触发动词,发生的时间、地点,参与的人物等信息,一般一个事件范围不超过一个句子。大规模事件抽取方式利用语义角色标注可以很好的完成,系统能够找出每个事件对应的触发动词,然后标注出它的各种语义角色作为事件的参数,并根据参数的特点,进一步确认是否为需要的事件。在实际应用中,参数往往是较长的人名、地名、机构名、时间和数字等,因此,对这些实体的识别变得异常重要,实体的识别准确率提高,语义角色标注的性能也将随之提高。
3.3 文本模型
文本模型是大规模文本处理非常基本的因素,确定了文本模型也就基本确定了文本的内部表示、权重和相似度计算,以及文本的排序策略。系统采用经典的向量空间模型作为本项研究的文本模型,并针对本项任务进行必要的改进。
系统在文本表示、权重计算和相似度计算改进原有的文本模型,对互联网中的大规模文本进行数据挖掘,选取特征项为词项是常用的选择,这样文本是一个非常高维度的向量,使用SVD奇异值分解、LDA主题模型对文本进行降维处理。
在权重计算上,一方面根据文档本身的结构化信息,如标题、显示风格等和网页中的链接信息来修改基本的权重公式;另一方面则研究了文本长度的归一化方法。
实时性是大规模文本处理的基本要求,这就决定了不能采用过于复杂的相似度计算方法。目前,系统根据向量的余弦相似度公式来计算文本之间的相似度。该计算公式未考虑特征项之间的相互作用,而只是简单地把它们累加在一起,也就是说,不同的特征项被认为是正交的。在本系统中使用组合方法生成彼此更独立的特征项,其中包括了自动聚类、线性变换和词汇语义索引技术。
3.4 文本聚类
文本聚类是一种无监督的机器学习算法,它将相似的文本分到一个组中,每一个组叫做一个类。类中的文本是相似的,类间的文本是不相似的。文本聚类的方法有很多种,有以K-MEANS为代表的划分方法,BIRCH的层次方法,以及一些概率模型的方法。
在系统中多次用到了聚类的方法,例如,对历史的报警信息进行聚类,对互联网上的海量文本进行聚类等等。为了对不同的信息进行聚类,系统对现有的方法进行了改进,如对微博使用短文本聚类。面对大数据量、高维特征等问题,通过牺牲精确度的概率方法以及降维方法来完成分析。
4 总结
大规模突发事件决策支持系统的研究与实现,能够应用在政府应急机构中,为政府处理大规模的突发事件提供强有力的支持,达到及时了解事件情况,通过对历史突发事件的学习和参考,对当前的局势做出准确的判断。虽然系统目前仍然存在着一些不足,如在实现过程中警报数据的来源目前是一些非准确数据等,但是大规模突发事件决策支持系统仍然具有重要的现实意义,值得深入的探索。
参考文献
[1] 曾思轶.我们有备而来——细数我国灾害应急机制的形成过程[J].百姓, 2008 (6):6-10.
[2] 曾平辉,王海军.公共危机下政府应急机制的缺失及对策探析[J].惠州学院学报,2007,27(5):40-44.
[3] Federal Emergency Management Agency [EB/OL]. (2014-12-11).https://www.fema.gov/
[4] EMERCOM of Russia [EB/OL]. (2014-12-11). http://en.mchs.ru/
[5] Security Homeland. Response Federal Interagency Operational Plan [G/OL]. 2014,8.
[6] 冯志伟.自然语言处理的形式模型[M].中国科学技术大学出版社,2010,3,4
Research and Implementation of Large-scale Emergencies Decision Support System
Zhao Qiong, He Jian, Wu Xiaowei, Xing Xiaolu
(Software School, Public Performance and Information Research Center, Fuan University, Shanghai 201203, China)
Abstract:In response to various anomalous events, the governments already have perfect emergency mechanisms such as security scouts, 110. They also have all kinds of contingency plans. However, for large-scale emergencies, it is difficult to know the real situation of them for policymakers due to the complexity and suddenness. So the process of choosing a suitable contingency plan is very complicated. Large-scale Emergencies Decision Support System has the function of monitoring and analysis on large-scale emergencies through machine learning and public opinion monitoring. Once the emergencies happen, the system can do real-time analysis through the relevant information. Thus all kinds of opinions can be extracted and credibility can be calculated. The system can provide immediate, objective and global information for the government to make policy accordingly.
Key words:Large-scale Emergencies; Decision Support System; Government Emergency Institution
收稿日期:(2015.04.21)
作者简介:赵 琼(1991-),女,复旦大学,软件学院,复旦大学公共绩效与信息化研究中心,硕士研究生,研究方向:电子商务与电子政务,上海,201203 何 健(1989-),女,复旦大学,软件学院,复旦大学公共绩效与信息化研究中心,硕士研究生,研究方向:电子商务与电子政务,上海,201203武晓伟(1992 -),男,复旦大学,软件学院,复旦大学公共绩效与信息化研究中心,硕士研究生,研究方向:电子商务与电子政务,上海,201203邢小璐(1991 -),男,复旦大学,软件学院,复旦大学公共绩效与信息化研究中心,硕士研究生,研究方向:电子商务与电子政务,上海,201203
文章编号:1007-757X(2016)01-0051-03
中图分类号:TP311
文献标志码:A