基于大数据驱动的突发事件情报整合机制建构研究
2020-10-12陈耿丞
于 洋,陈耿丞
(1.广东警官学院,广东 广州 510000;2.深圳市公安局,广东 深圳 518000)
一、问题的缘起
(一)研究背景
我国地域辽阔,气候和地理环境以及民族风俗都存在较大的差异,使我国成为各类自然与公共突发事件频发的国家之一。2002年,“非典”爆发后国务院专门成立了“突发公共事件应急预案小组”,开始大规模制定我国相关的应急管理机制。2007年,《中华人民共和国突发事件应对法》正式施行,成为我国应急管理层面的基本法律。2011年—2016年,国务院颁布了《国家自然灾害救助应急预案》并废除了2011年版本的《国家自然灾害救助应急预案》。2018年3月,根据第十三届全国人民代表大会第一次会议批准的国务院机构改革方案,中华人民共和国应急管理部成立,应急管理部的成立标志着突发事件的处置在我国上升成为国家意志与政府责任。
在世界范围内从20世纪90年代以来,突发事件发生频率迅速增加,影响不断扩大,因而各国政府纷纷开始制定一系列的措施来应对突发事件并尽可能降低其危害后果,日本于1995年成立了以综合防灾减灾为主的“内阁危机管理总监”;“9·11”事件发生后,2002年美国总统在白宫签署《2002年国土安全法》,宣布成立国土安全部(U.S.Department of Homeland Security,US DHS)以应对各类突发事件,国土安全部的正式成立是美国自1947年成立国防部以来最大规模的一次政府应急管理机构调整。纵观世界范围内突发事件情报收集与整合的历史,人类社会经历了从书信、无线电到网络时代的发展历程,大数据时代的到来使得突发事件中情报的收集与整合发生了革命性的变革,进而颠覆了突发事件指挥与处置的基本模式,引导突发事件由经验主导向数据驱动的方向不断发展。[1]此次在2019年末世界范围内爆发的新型冠状病毒肺炎(Corona Virus Disease2019,COVID-19)公共突发事件,再一次让世界各国政府以及应急管理部门认识到建立突发事件情报整合与共享机制的重要意义与核心价值。
(二)研究现状分析
图1 大数据和突发事件文献指数分析[2]
学界对大数据环境下突发事件的情报收集与整理也开展了不同维度的研究,通过在中国知网搜索“大数据”与“突发事件”,经过指数分析得出如下结果,见图1。通过图1可以看出,突发事件相关内容近十年来一直是研究关注的热点,近两年来虽略有回落但仍保持较高水平。而大数据作为新兴的关键词近五年来被关注和研究的频率迅速上涨,成为突发事件情报整合与融合性领域中的研究热点。其中具有代表性的研究包括:唐明伟等学者希望通过物联网将互联网数据进行储存与分析,从而进行重新整理和输出以达到预警作用,同时认为应将突发事件预警的情报研究模型同情报监测与分析相结合;[3]一些学者对突发事件发生的不同阶段所需不同类型的情报信息进行了分别论述,以期使情报的收集和整理更加全面准确,其中徐健构建了突发事件应急知识库,希望通过将相关信息储存于知识库之中,进而达到“信息海量而有用”的目标;[4]也有一些学者针对网络突发事件提出了相应的应急管理机制,针对信息传播和沟通不畅的问题提出了相应的举措,其中彭知辉则对当下公安情报收集提出了新的概念,扩大了数据收集的范围和种类,同时强调了传统情报收集方法的重要性。[5]
近年来,在互联网不断发展的背景下,突发事件有着影响人数、面积、地域、频率以及危害后果不断扩张与恶化的趋势,其突发性、危害性、不确定性以及扩散性[6]对人类社会的政治、经济、文化等各方面都有不同程度的消极影响,在全球一体化趋势的当下时代,各国政府都更加注重突发事件情报信息的有效整合与积极共享。与此同时,大数据时代的来临使得情报整合系统更加智能与人性化,为相应问题的解决提供了重要的技术支撑。构建基于大数据驱动的突发事件情报整合与分析机制,是互联网时代人类应对突发事件的重要前提与基础。本研究将通过文献研究与数据分析的研究方法,以理论情报学和应用情报学为基础,遵循情报学研究的客观规律和原则,以多主体、多元数据、多维度进行交叉比对为研究视角,对大数据环境下突发事件情报整合机制的建设进行深入研究,进而探索多主体参与的情报体系与多元数据的情报挖掘与共享机制以及多维度情报资源整合方法之间的相互关系。
(三)大数据环境下突发事件情报整合机制建构的价值与意义
随着大数据环境发展与科技手段的进步,突发事件的情报收集手段必然呈现数据化发展趋势,通过融合创新实现情报收集手段的自动化与科学化,挖掘潜在数据信息之间的深度关联关系,从而有助于将突发事件情报整合机制形成一套完整的工作体系,并使其在实践中不断通过检验而获得完善。
构建大数据背景下的情报整合机制体系,有利于应急管理部门对突发事件发展态势与情形的把握,有助于处置主体对突发事件进行快速反应和快速处置,更有利于形成系统化的情报分享与分析体系。通过与社会情报源、其他政府部门的情报源相融合,打破情报壁垒,促进情报收集手段发展。在建立起科学的情报整合机制环境下,应急管理部门可以对多元异构数据进行有效清洗、归纳以及转换,并形成相应的数据库,通过数据库形成准确及时的数据源,在突发事件处置过程中可以为指挥者决策提供有力的数据化分析支持,为有效处置突发事件贡献科学的应对方案。
二、大数据背景下的突发事件情报整合困局
(一)大数据环境下突发事件的变化模式
《中华人民共和国突发事件应对法》对突发事件(Emergency)做出了如下界定:突然发生,造成或者可能造成严重社会危害,需要采取应急处置措施予以应对的自然灾害、事故灾难、公共卫生事件和社会安全事件。[7]由于自然突发事件具有难以力抗、不可预测(如地震)等因素,本文所指的突发事件情报整合机制建构更多地关注除自然灾害以外的其他类型突发事件。互联网的加速发展促使网络科技迅速扎根于政治、文化以及经济等各个领域,且影响不断扩大。网络的普及使得突发事件与非接触性犯罪也呈现出高发的态势,新型犯罪导致的突发事件不断增加,例如因涉众性的网络诈骗与经济案件而引发的群体性冲突等。大数据背景下突发事件情报整合机制研究的重要目的在于从源头对突发事件进行情报收集、控制乃至防范,进而做到对于突发事件的可防可控。在大数据背景下我国的突发事件呈现出如下发展特点:
第一,类型的多元化。传统的突发性事件以接触性为主要表现特征,例如人群的聚集以及由于人群聚集所导致的严重危害后果。在大数据环境下网络科技的发达使得突发事件的蔓延后果可以通过网络的方式得以传播,例如造成民众恐慌或者散布无端谣言等。因而对突发事件情报的收集以及整合工作提出了更多的挑战。
第二,跨区域蔓延与区域化特征的交织。随着全球一体化的趋势不断发展,突发事件也呈现出跨区域性的蔓延趋势,例如,2019年在世界范围内爆发的新冠肺炎疫情,在很短的时间之内就造成全球超过200万人感染,蔓延速度之快远远超过了各国应急管理部门的预期。与此同时地域性突发事件具有一定的规律性,如因征地拆迁补偿而导致利益不均所产生的突发性群体聚集与上访事件,因为经济利益而引发的非法聚集突发事件,等等,此类突发事件以地缘性为连接,通过邻里关系或者血缘关系进行结伙,容易导致共同犯罪,由此引发的群体性突发事件具有典型的地域性特征。
第三,显性化与隐形化危害后果交错。传统的突发事件通常会对经济、秩序等方面造成一定的直接影响与损失,然而随着互联网的发展,突发事件对于民众的影响不仅仅表现在显性方面,显性化影响依然存在的前提下更多地表现为隐形化与长期化的影响,且隐形化的影响与显性化影响相互交织而不断扩大负面影响,例如,2019年末发生的新冠肺炎疫情对于全球的防控观念、秩序理念以及民众恐慌与不信任情绪等多方面都造成了长期的影响,并且将进一步改变人类社会的相处方式与秩序模式。
(二)传统突发事件情报收集面临的困境
在传统的情报收集手段中,政府应急管理部门在情报收集过程中针对的信息大多为实时信息,而深层次与预测性的情报产品偏少;同时存在显性信息偏多而隐性信息不足的问题。传统的情报收集方法通常具有如下缺陷:
第一,情报信息收集手段单一,情报信息分散。传统的情报收集方法主要运用人力资源,而突发事件的突发性和不确定性是人力情报收集所不能预测的。首先,互联网社会环境中所产生的巨量数据是难以通过人力方式进行全面收集的,因而无法满足突发事件中情报储备与分析需要。其次,受限于人力收集个体的敏锐性差异而无法识别潜在的信息,同时因为人力识别能力和资源的制约,导致许多信息无法及时掌控。
第二,情报信息收集时效的滞后性。传统的人力情报收集模式通常局限于对已发事件的统计与记录,缺乏对于实时发生信息的敏感性捕捉能力,更难以通过现有实时态势进行预见性的情报收集与整理,因而情报的收集与整理工作往往具有一定的总结性,而丧失了情报本身具有预见性的实时辅助决策功能。
第三,缺乏开放性的情报共享机制。由于缺乏大数据与互联性思维,传统的情报收集仅限于不同专业以及不同系统内部的信息统计,不同专业领域与系统的情报只能反映突发事件中某一维度的特性与情况,难以通过大数据理念对整个事件发展的态势进行全面的掌控与预见。
综上所述,传统的缺乏互联网思维的情报收集与整理使得情报资源利用率低下且质量较差,情报工作投入资源重复消耗,造成了资源利用价值效率的极大损耗甚至产生错误指引。
(三)传统情报整合在大数据环境中的困局
突发事件的情报收集手段与方法在大数据环境下已经明显体现出其不适性,然而对于收集后的情报如何进行科学整合也同样面临一定的困局。传统的情报整理方法主要依靠人力资源完成,形成的文字或图像信息以物理方式存放于资料库中,但由于情报采集环节的标准不统一,数据归纳整理的方式不一致,造成数据治理困难,极易导致应用过程的模糊性与错误。与此同时,传统的情报整理方法在异构性情报方面的缺失较为突出。数据依据计算机的识别能力可以分为结构化数据、半结构化数据和非结构化数据三类。传统的数据库只能接受通过精准查找匹配其中5%的结构化数据,其余95%的半结构化、非结构化数据都无法利用。容错率低导致相似样本无法匹配与对比,使突发事件的隐性深度关联信息无法被发掘与对比,进而形成有效的情报产品。
相对于大数据环境下的数据库建设,传统的情报收集方法未能将相似突发事件相关案例形成相应的数据库。传统的数据库只能进行单一维度的信息查询,无法将案件形成海量的、多维度对应的案例库以及模型库。当突发事件发生时,应用者无法从数据库中获得可比性的情报模型与处置经验,只能依据个体经验进行处置,因而难以避免因个人认知偏差或缺失所导致的决策错误与偏失。与此同时,缺乏有效的情报分享与互联互通机制同样制约了突发事件中情报的有效利用。突发事件的蔓延性使得应对须依靠政府综合力量进行,缺乏有效的情报整合与分享机制使得突发事件情报的收集与整合具有一定的片面性。情报整合的效果同样制约了后期分析产品输出的质量,目前我国应急管理部门在大数据的环境下缺乏专业的综合性情报分析人才对大数据环境下的半结构化与非结构化情报进行归纳分类,情报信息难以体现分析人员的心智模型,因而无法为决策者提供有效的决策建议与预测性情报产品。
三、基于大数据驱动的突发事件情报整合机制建构
传统的突发事件情报收集与整理流程是一个相对独立与封闭的过程,情报收集、处理、分类与整合彼此孤立存在,使得突发事件情报的主观性风险大大增加,同时客观性描述和利用率降低。大数据背景下的情报整合机制是根据用户需求,针对海量与复杂形式数据进行动态性的监测与整合,构建多元化与开放性的情报应用平台,促进情报产品质量与利用效率显著提升。[8]针对我国现阶段突发事件情报收集与整理的现状评估,笔者认为应当形成系统性与目标导向的情报整合机制,如图2所示,包括应急情报源模块,应急情报对象目标与需求模块,应急情报数据收集与清洗模块以及应急情报分析在智慧分析中的应用模块。在形成完善的系统闭环基础上,应当构建多主体参与的情报体系,从而进行多维度情报资源整合以及多元数据情报的深度关联与融合性研究。
图2 大数据背景下的突发事件情报整合系统
(一)多主体参与的情报体系建设
大数据环境下,应急管理部门中的“智慧应急”迅速发展,应急情报网络与互联网、物联网的紧密结合形成“三网互联”。由此体现了情报收集源已经不仅仅局限于应急管理内部力量,还包括了各政府部门的遥感信息采集系统、社会企业用户资料数据库等,多元主体参与的情报信息整合机制建构有利于扩大情报信息的来源以及维度,为后期情报分析产品质量的提升奠定了重要基础。
1.政府公共信息资源库。电子政务的发展促进了政府职能的转变,政府正不断从被动服务的角色逐渐转变为数据化服务型政府。这要求政府拥有自己的公共信息数据库,其内容包括:人口户籍信息、出入境信息、企业信息、商务信息以及政府部门信息等。这些数据格式统一且信息精准,既方便其他内部数据库的信息调用,也便于政务公开满足群众需求。这些数据库是政府参与应急管理情报体系建设的重要凭证,在应急管理资源调度过程中可以发挥非常重要的指导性作用。
2.公安业务数据库。公安机关作为突发事件的主要处置力量,其数据库的建设同样不可忽视,其内容主要包括:公安业务数据、治安与犯罪相关数据、应急资源数据、警力部署数据以及以视频为主的警务感知层数据。通过这些数据我们可以对当下社会的社情、舆情和危机事件发展的状态进行实时监控,由此生成危机事件处置策略与方案。目前,公安业务数据在跨省、跨市甚至跨区的数据库仍然存在一定的信息壁垒,数据壁垒与信息孤岛是当下公安业务数据库的重要障碍,在应急管理工作中破除数据库间的信息壁垒是构建大数据整合机制的首要任务。
3.社会公共数据。社会公共数据指的是散布在政府掌控体系之外的各类电子数据,例如公司数据与民商用监控数据等。此类数据在“三网结合”的趋势下,发生了从人工方式调取纸质情报到网络调取与授权的革命性转变。社会公共数据是应急管理情报收集中涉及面最广、内容最多、存在形式最繁杂的部分。社会主体是情报体系建设的重要主体之一,突发事件处置过程中对于相关社会公共数据的掌控同样对事态的发展与处置方案的生成具有重要的作用。
4.数据共享机制的建立。现阶段,无论政府、应急管理系统、社会公共系统都有属于自己的应急情报数据库,在突发事件来临时难以及时形成联动,容易导致事件处置滞后,因而建立多主体联动的数据共享机制是大数据背景下突发事件情报整合的重要前提。在突发事件处置过程中通过多方的信息互通与共享将突发事件制止在初始阶段,尽可能将处置成本降至最低。如现阶段较为典型的因金融诈骗导致的被骗群众冲击政府或公共场所群体事件,对该类型的突发事件可通过公安系统和银行系统共同实施转账冻结、资金流异常监控等方式进行预防与干预,也可以通过政府授权加强各数据库融合,进而形成全数据链条对资金进行追踪与安全保护,从而为事件的解决提供决策参考与有力的诉讼证据支持。因此,大数据背景下的情报收集与整理都需要多元主体参与以及多部门的协力共济,同时建立与完善突发事件情报整合机制,形成主体明确、分工确切以及责任明晰的突发事件情报整合制度,通过制度化建设确保突发事件处置过程中情报收集的准确性以及情报利用的高效性。
(二)多维度情报整合机制建构
1.多维度情报整合机制建构的整体特性。
(1)广泛覆盖性。覆盖范围广阔的信息感知网络是构建大数据背景下智慧应急管理的基础。智能化的情报整合机制及其信息感知网络应当覆盖整个社会的时间、空间、对象等各种要素,能够实现情报信息采集与整合的不同属性、不同形式以及不同密度的需求。当然广泛的覆盖性并不是对城市中所有的信息都进行囊括,情报整合的智能化应当以系统的适度需求为导向,在标准统一性原则的架构下构建分层次的全方位、多领域以及广覆盖的立体化信息整合平台,实现信息情报的统一配置监控与管理。
(2)深度互联性。智能化的情报信息整合机制要体现多维度情报之间的深度关联,从而发掘深层次关联当中的情报价值。在情报整合机制的构建过程中,情报网络的价值同其网络节点的数量通常构成正比,因而加大多维度情报信息的深度互联性可以有效地提升情报发掘的价值形成应急情报网络节点扩充与信息增值的正向反馈,进而构建数据、平台、应用与终端四位一体的应急情报联动机制。
把数量关系的研究转化为图形性质的研究,或者把图形性质的研究转化为数量关系的研究,这种解决问题过程中“数”与“形”相互转化的研究策略,就是数形结合的思想.
(3)协同共享性。在智能化情报整合机制构建过程中应尽可能避免资源孤岛和信息孤岛的现象,因而要增强各系统之间的协同性与共享性,使得各类资源可以根据系统的需要各司其职,发挥其最大的价值与作用,同时使得各子系统中所蕴含的资源性价值能够按照整体协同的目标进行统一调配,加强其传输、集中、处理、共享和使用的动态管控,从而实现整个情报系统价值体系显著高于各子系统简单叠加的价值效能。
(4)智能处理性。在大数据乃至全数据的互联网时代,应急事件的处置现在面临的更多的是数据的繁杂以及非智能化的筛选与鉴别。多维度情报整合机制建构的重要目标之一还包括对所拥有海量信息进行智能化处理的能力,情报分析系统根据应急事件发展过程中不断触发的各类需要对数据进行分析,从而产生所需知识并可以自主进行判断与预测,进而实现智能化的决策。
2.多维度情报资源整合体系建设。突发事件情报资源维度较多,以突发事件情报数据库为基础,通过储存多元异构情报并进行清洗、整合,使得数据库与物联网、互联网连接,通过应急管理系统加以综合授权,进而实现物联网和互联网收集情报信息反馈至数据库进行处理,实现不同资源主体之间的综合联动应用。在突发事件处置过程中可以实时调用数据库寻找历史相似数据,并同时得到标准处置流程,及时为突发事件态势感知与决策服务。通过多维度情报资源的综合应用,将突发事件情报收集与整理流程标准化,同时促进应急情报系统在数据库中通过机器学习不断完成自身的智能化进步。
(1)物理情报的储存。就数据发展与存储的态势而言,物理性情报信息的存储并没有完全被云存储所替代。对于收集来的物理性情报,各机构都应进行妥善储存。应急管理情报部门应建立有效的突发事件综合情报存储机制,将物理资料运用数据情报的编号方式进行编码,并将内容通过扫描等方式保存副本在云端,同时通过一定的技术手段将历史性物理情报转变为现代计算机可检索的数据性情报,在突发事件处置过程中,既能快速调用原件,也能在线查看副本资料并与其他数据性资料进行交叉查询与碰撞比对。
(2)建立突发事件情报数据库。在大数据背景下构建突发事件情报整合机制,从本质而言最底层架构应当为多源数据的数据库建设,其基本建构理念应当包含如下模块:
第一,数据清洗模块。情报在收集后虽然经历了滤重,但大多数数据并非处于完全无污染状态,结构不一致、数据残缺不全、重复记录甚至人工操作失误等情况较为常见。因而情报在整理后还需要进行清理才能入库存档,其过程主要分为两个步骤:清洗不规范的“非纯净”数据和统一数据格式。为了对非纯净数据进行数据清洗,首先需要规范情报信息的格式。在突发事件中,情报可以通过“关键词、来源、时间、等级”等不同格式与维度进行规范。这样既可以方便后续的情报数据调取,同时也兼顾数据清洗与跨库交换。需要清洗的数据通常展现出不完整、不一致或相似重复的特点。针对不完整数据,可以通过缺失参数填充的方式补全数值,并对缺失的数值结论进行估算,最终输出完整的数据。针对不一致的数据,在对数据进行检测后需进行预处理以规范格式。如果出现了新的不规范,要对新的数据进行再次检测与修复直至其符合入库与检索格式要求;针对重复数据,在经过滤重后还需要对重复数据进行合并,通过加权进行等级评估,最终按时间或类别序号进行归档。
第二,突发事件数据仓库。数据库的重要功能在于保存和运输数据。而数据仓库则可以集储存、运输、清洗、转换、集成为一体,将应急管理系统内多源数据库进行整合,通过将数据拆分、映射、滤重统一格式后进入数据仓库。当情报需要被使用时,也可以运用统一格式将其输出,无须再进行转换处理,适应多种数据应用部门的专业数据库以及社会数据子系统的需要。突发事件的情报收集与防控处置作为应急管理部门情报建设的最基础环节,实时产生数量级庞大的各类数据,因此,数据仓库的建设也成为了数据库建设中的最核心架构之一。
第三,可视化检索系统。为了方便在情报分析过程中对于信息的调取,对突发事件数据库的检索系统需要进行有序化规范。对突发事件情报相关信息进行统一,形成数据库。数据库内的内容不能以碎片化知识进行归档,必须对突发事件全貌加以理解并进行整合,最终形成知识链与知识图谱。通过语义整合构建突发事件演化特征,对突发事件处置过程进行过程构建,厘清各阶段与各特征及概念之间的关系,使得情报数据被调用时利于分析人员对突发事件的各个方面具有更为直观的理解,通过可视化技术标注出关键词与关键要素信息,帮助指挥者在决策中迅速找到相关关键点。在此基础上可通过图形可视化技术或社会关系网络可视化技术将情报分析中的重点要素进行关联,以便将情报分析人员的心智模型转化为易于复制与传递的可视化模型。
(3)物联网信息化处理。物联网连接着社会生活乃至应急管理工作的方方面面,将网络的服务延伸到物体层面,是对物体特征进行信息化处理的过程。无论是情报收集还是情报整理,都可以通过对物联网的应用进行信息化处理。物联网不仅有自身的感知技术,可以自行对情报进行收集,并通过自身的信息处理能力将获得的信息转化为有价值的情报,通过云计算平台进行格式规范,最终将高效整合后的情报反馈给应急管理分析系统。对于物联网自动获得和处理的信息,实时性的部分能上传至云计算平台直接使用,需要储存的部分可以存到应急管理情报数据仓库进行储备。
3.多元异构数据的情报整合方法。大数据环境下的突发事件情报来源多种多样,情报结构也较为复杂,主体来源包括交通卡口以及治安卡口信息、移动终端与自助终端信息、数据工作站以及视频监控等信息,面对复杂多样的突发事件情报信息来源,我们必须建立以数据驱动为理念的情报整合方式,通过突发事件情景建模、多源异构信息的动态融合以及多维关联可视化分析,实现分析结果的智能化解读,最终实现突发事件处置过程中指挥、防控与处置的智能化,如图3所示。
图3 大数据背景下的多维度突发事件情报整合架构
在大数据环境下突发事件情报从来源解读可分为同型异源情报与同源异构情报。同型异源情报通常是指运用相同的情报整理方法得到的情报,但由于学科、领域、部门等壁垒无法实现情报互通互联,由此形成了同型异源情报;同源异构情报是指在同一信息源的情况下,对数据进行不同的处理,形成了表现形式为文字、图片、录音以及视频等形式的结构化、半结构化以及非结构化数据。对于多元异构信息,需要针对其多元表示、相关性原理以及意义构建三个特点,运用数据记录的滤重、要素映射与拆分以及异构数据的加权三种方法进行情报整合。
(1)数据记录的滤重。在数据融合整理的过程中情报分析人员通常会发现同型异源情报中有许多一致之处,因而需要对此类数据情报的一致性内容进行滤重。通过数据记录的去重首先可以减少相同的数据的干扰,进而降低情报分析和整理的负担。在滤重的基础上对相似信息进行归类,并通过设定唯一格式进行储存,方便后期检索与分析利用。
(2)要素映射与拆分。在文字信息中大多数信息由字段组成,但由于中华文化语义表达的多元性,在数字字段融合的过程中,拥有相同标识的字段可以直接融合,而拥有差异与互补的字段,可以统一为其中的任一个字段的别名进行归纳整理,这样通过关键词标识其代号或别名就可以实现精准的查询与检索。对于包含要素的字段,整合过程中还可以通过拆分关键词的方式实现检索效率的提升,以“大数据环境下突发事件的情报收集与整理”为例,可将其拆分为“大数据、突发事件、情报收集、情报整理”四个关键词进行整理,对涉及单位、作者、年份的信息同样可以拆分检索,以免相似的关键词混肴了核心情报信息。
(3)异构数据的加权。异构数据的加权可以理解为对情报信息进行分级整理,当异构数据分为文字、图片、录音、视频后,对这些数据进行加权整合。加权方式通常分为积分法与统计实证法。在突发事件的情报整理中,积分法是一种较为基础的手段,通过对数据信息进行积分分级,情报人员对需要审核分级的情报信息进行评分,以两人为基准并取其平均分。若是两人积分差距过大,则交由第三人或者交由专家进行积分,取较为接近的两人平均分进行评级。得到等级后进行储存,当需要对此类情报进行调取时,通过等级我们就能对情报的轻重缓急以及价值信息作出判断。统计实证法是突发事件情报整理的另一种重要手段,通过围绕一个或一类级别较高的情报,将级别较低的情报与其进行整理,例如,以一个或多个突发事件现场视频为核心,将相应的现场图片、文字情报与视频整理为一个更全面的情报知识关联图谱,这样可以展现出突发事件多元的信息维度和一个较为完整的事实概貌,情报分析人员从而更加易于从中找寻隐含的线索,为突发事件处置与决策提供了思维模型。
(三)多元异构数据的全网发掘
1.多元异构数据的全网发掘。大数据环境下针对数据的海量与复杂性特征,单一网络以及单一形式的数据整合已经难以满足应急处置决策需求,对于多元异构的全网数据信息进行深度挖掘是突发事件情报整合的发展趋势。全网信息挖掘是在已知情报对象样本的情况下,提取情报特征进行分析研判,从各种网络与系统中进行过滤和抓取信息,经过归纳、储存、加工以及碰撞等方法,抽取其潜在价值,挖掘出能够帮助应急管理系统进行人流管控、突发事件预警、社会面防控、领导层决策等的重要关键要素。全网内容挖掘即通过搜索相关文字、图片、地图、音频以及视频等多类型数据,从中发掘有价值信息。通过互联网、物联网、应急管理平台、社会公共网络等多种途径获得更多元的动态性信息,对正在发生的突发事件现场态势(通过现场感知系统)作出快速研判,由此生成及时精准的情报分析产品。
通过全网网络结构挖掘对网络中的组织结构和链接中包含的隐藏信息进行深度关联,其实现途径主要可分为Web挖掘、内部结构挖掘、URL挖掘三个方面。Web挖掘可以通过网页主题与网页内容进行自动聚类和分类,对相似兴趣用户进行筛选,对网页访问日志进行识别。在突发事件中,可以通过Web挖掘寻找当事人相应的关系人,收集当事人的相关情报,进而挖掘隐藏情报信息。内部结构挖掘可以获取网络内部组织结构,通过可视化技术可以将网络信息进行结构分析,发掘关键要素之间隐藏的内在关联。其中较为著名的“六度分离理论”(最多通过五个人你就能够认识世界范围内任何一个陌生人)就是一个经典案例。在突发事件情报收集过程中,情报分析人员可以通过可视化技术将重点人员的通话记录、人物关系等信息进行内部结构挖掘而得到隐藏信息。URL挖掘是指URL作为网络资源的唯一地址标识,其具有时序、正交、长度等有效特征。利用此类特征分析人员可以对网页进行实时信息读取、网络结构优化、网页类别鉴别等信息整合工作。URL通过识别“首页式、列表式、正文式”三大特征对后台进行解构,解决人工分类和人工识别时间耗费的问题。在突发事件情报收集中,URL识别能对网络突发事件进行最迅速的网络数据层级分类,自动识别目录信息等相关要素,使应急管理部门可以在第一时间从源头掌控与遏制信息流的传播,防止突发事件不良影响的扩大。与此同时,在进行全网结构挖掘的基础上推进网络用法挖掘,进而发现用户在行为过程中产生有价值的信息,利用网络用法发掘技术掌握用户在网络中的行为轨迹,包括服务器访问、浏览器日志、注册信息以及搜索内容等,由此预测和分析用户的偏好以及活动轨迹,从而掌握突发事件发展态势。
2.多元异构情报全网发掘的实现路径。在大数据环境下,应急管理部门通过全网信息挖掘的方法对突发事件进行情报收集,通过挖掘隐藏信息对事件发展态势进行监控和预测,具有代表性的发掘方法包括如下技术:
(1)搜索引擎挖掘。通过应急管理内部平台和互联网搜索引擎之间的信息碰撞,对关键人员的通讯号码、人员信息、涉案物品以及行动轨迹等数据信息进行碰撞、研判与比对而获取隐藏情报,进而得到重要人员的关键线索。由于搜索引擎的多样性,情报人员通过多引擎变换的方法搜索有关人员在衣食住行、言论自由方面的实时信息,实现了从传统的人对人、人对物且以文字为主的基础性情报收集到多要素整合、多结构情报融合的实时性情报整合模式的转变。
(2)绑定信息查询。随着大数据的发展,微信、支付宝和手机号码已经成为民众日常生活不可或缺的生活应用组成部分。在生活中,我们会习惯用手机号去注册许多网站的账号,用微信去绑定众多应用程序,用支付宝绑定淘宝账号,通过这三个主要的注册绑定信息,我们能清晰地查询相关人员的身份、通讯地址、生活轨迹等信息,从而提高情报检索效率。
(3)访问日志。用户在使用计算机时计算机会产生相应的日志,而计算机访问互联网过程中也同样会产生相关的痕迹。情报收集部门可以通过挖掘储存的日志信息,对相关的网络访问痕迹进行挖掘而掌握异常动态,并对其检索的关键词进行碰撞比对进而发现潜在信息关联。还可以通过其IP地址查询其登录位置,通过URL地址分析其检索信息,以印证已获得情报与先前情报信息的符合程度。
(4)注册登记信息。注册登记信息是指网站用户注册信息以及网页用户注册信息。用户在网页上注册通常需要用到个人信息,当需要查找相关社交信息时可通过其在网络上的实名登记信息进行调查,以最快掌握其真实身份信息。对于网站主体的相关认证,情报人员可以通过网络监管部门的注册登记信息确认该网站的创建者、持有者、直接管理人员、服务器管理人员、服务器登记信息等情报,解决情报收集和固定证据定罪量刑问题。
(5)GPS定位信息。GPS定位信息包括导航用GPS定位和移动运营商网络GPS定位。通过导航用GPS定位可以确定关键要素移动轨迹;整理车载GPS和道路监控摄像头的记录,我们可以得到过去30天甚至更长时间的人员轨迹,从而分析其行为特征,进而预测突发事件发展态势。通过运营商GPS网络定位,我们能获得车辆交通以及区域人流等信息,在一些人流密集的活动中可以起到人流管控与疏导的作用,尽最大可能减少因突发事件而产生的次生或衍生灾害。
3.多元性情报的可视化呈现。可视化呈现与检索同样是情报整合的常用模式与手段之一。无论是结构化、半结构化还是非结构化数据,都可以通过可视化技术将信息展现出来,并通过不同信息间的关系形成关系链与证据链。以IBM公司研发的I2(Information to Image)可视化情报分析系统为例,该系统能针对不同来源、不同结构的情报源和数据结构形成信息网络,通过图表、网格以及图形等方式展现,将情报中实体、时间以及空间关系通过网络、层次、分组、时间序列、主体等布局方式直观地展现出来。如图4所示,利用I2 Analyst’s Notebook可视化分析软件对于此次新冠肺炎疫情防控中的一名感染者轨迹进行可视化呈现,通过可视化的直观形式描绘出该人的出行史以及密切接触人群,进而为下一步部署针对性的应急解决方案提供精准的情报支撑与决策参考。
图4 I2 Analyst’s Notebook可视化情报整合