基于深度认知神经网络的跨媒体情报大数据智能处理技术

白亮 郭金林 老松杨

随着物联网、云计算以及多传感技术的不断发展,图、文、声、像融合表现的多源跨媒体信息呈现“爆发式”的涌现现象.以互联网为例,截至2015年底,全球互联网图、文、声、像等多媒体数据总存储量已达数百亿TB以上,并且还在以59%以上的年增长率迅速增长.不同的学科领域,正在不同的层面上广泛地关注着大数据对自己的研究和实践带来的深刻影响,信息化战争中的情报分析与预测工作也不例外.

信息化战争中各种传感器和数据获取手段极大丰富,情报数据存在形态表现为:多源跨媒体情报大数据,即在多媒体数据的基础上,利用各种媒体的形式和特征,对相同或相关的情报信息用不同的媒体表达形式进行处理,由此而产生存储、处理、检索和共享等活动,其特点是:1)多源跨媒体情报数据来自于不同类型传感器,时空尺度大、模态多样化;2)多种类型媒体数据混合并存,包括图像、视频、音频等相互关联的不同模态,且动态变化、真伪混杂;3)跨媒体情报数据组织结构复杂;4)不同类型媒体数据从不同侧面表达同一语义;5)感知主题跨越时空,检索中需要根据媒体之间存在的各种联系,从一种媒体跨越到另一种媒体.因此,多源跨媒体情报数据具有复杂、海量、异质多源、大范围时空关联等特点,它们构成了复杂的情报感知网络.一方面,以图像、视频为代表的非结构化数据处理带来的挑战,使得对海量、复杂的跨媒体数据进行有效的分析、处理与挖掘,成为亟待解决的难题;另一方面,跨媒体特性对于海量数据语义理解具有重要意义,原因在于交叉关联信息可加强被检索特征的表示,有利于实现被检索资源的综合、归纳和过滤,有助于从海量数据中搜索发现有价值的情报信息,进而提供“从数据到决策”的各种智能情报分析服务.

1 跨媒体情报大数据分析需求

情报分析是一个包含了知识获取、分析和利用等活动的过程[1−4].由于技术条件的改善、研究方法的发展以及用户需求的变化,目前情报分析研究正日益由“情报”工作向“研究”工作方面偏移,也就是对深加工的研究和分析性工作要求越来越多、越来越深入,不仅要求情报分析研究成果具有综述性,还要具有研究性和预测性.这要求情报分析不仅完成一般性的统计功能,还应该在知识层面揭示情报之间的相互关系,进一步实现“知识发现”.可以说,情报分析的本质就是要最大限度地辅助情报分析人员揭示、提升军事情报的价值,满足军事斗争的需要.随着多源情报获取手段极大丰富,现有情报分析与预测技术手段存在的问题和不足也逐渐暴露出来,主要体现在以下几个方面:

1)现有情报管理偏重资料管理,情报间跨媒体关联性较差

各系统对情报资料的管理重心放在收集和整理原始资料上,通常提供简单的编目、分组、存储和查询,但缺乏内容层面的关联建模,特别是针对海量跨媒体信息,很多资料表面上看起来似乎与情报分析无关,但往往是情报综合必不可少的基础资料[5].

2)跨媒体信息处理过程自动化程度低

情报内容分析工作大多依赖对内容的人工手动标注,分析人员处理海量跨媒体数据资料费时费力,工作压力巨大,不仅影响工作效率,还容易造成分析错误.此外,情报处理与生产过程缺乏统一指挥控制与协同计划,难以进行情报分析的全生命周期管理.

3)情报分析智能化程度低,缺乏语义层面的情报内容分析

现有系统主要依赖关系数据库,针对海量的跨媒体信息,分析和检索方法手段有限,主要基于关键字进行全文检索,虽然匹配精度高,但由于缺少语义信息,往往难以准确获得用户所关心的准确内容.同时,在传感器广泛应用,数据获取手段不断进步的情况下,跨媒体情报数据的积累爆炸性增长,分析人员需要花费大量的时间完成对资料的查找、分析,从资料中获取有价值的情报更加困难,这不仅为平时分析工作带来了不便,更难以适应瞬息万变的战场环境.

4)情报综合利用率低,缺乏对情报服务机制的统一描述

现有情报分析系统是为满足不同作战部门作战需求而建立[6−7],都是针对特定部门的特定应用,形成一个个“烟囱”式的孤立应用系统,各系统之间以约定的文件格式进行数据交换或者根本没有数据接口,数据共享程度差,情报的综合利用率不高.

因此,如何迅速地分析、过滤和综合多源跨媒体情报大数据,高效发现与挖掘其中蕴含的高价值情报知识,不断提升多源跨媒体情报数据自动化和智能化分析与检索的能力,提供“从数据到决策”的各种智能服务,最终为作战指挥决策提供精确、动态、持续的情报支持,成为保障国家情报安全的重大军事需求.而随着大数据、深度学习理论框架的提出,研究网络空间中基于深度认知神经网络的跨媒体信息智能处理技术已成为必然.本文在上述深入分析网络空间中跨媒体数据特点及其应用需求的基础上,提出一种新的深度认知神经网络方法,通过交叉关联信息加强被检索特征的表示.在此基础上构建基于深度认知神经网络的跨媒体信息处理框架,并归纳总结其中涉及的关键技术,提出解决方案.

2 深度认知神经网络方法框架

自2006年深度置信网络提出以来[8−11],深度神经网络的相关工作重新引起了大家的重视,并在计算机视觉、语音识别和自然语言理解等方面的研究取得了巨大的进展[12−15],很多研究案例已经证明深度学习方法能够有效从大数据中发现其具有的特征表示,这也正是情报分析的重要目的.情报分析的过程就是对大量数据的“认知过程”,如何让计算机能够有效学习并掌握这一认知过程,是需要解决的关键问题.

现有神经网络一般把注意建模成强化学习问题,以及近期提出记忆神经网络、存储结构、神经图灵机等研究成果忽略认知过程中的联想记忆特性、层级记忆与注意的相互作用的缺点.本文从人类视觉认知机理出发.提出一种融合注意与记忆机制的深度认知神经网络,如图1所示.

机理层:主要是归纳总结注意机制和记忆机制等关键认知过程的人体机理,并将其总结归纳为可解释、有依据、能实现的计算机制,为提出深度神经网络提供支撑.

模型算法层:融合视觉注意和记忆机制提取任务导向的特征.对于输入图像,通过卷积神经网络学习得到低层特征,然后利用视觉注意机制为每部分特征设置权重得到全局特征,最后利用记忆模块对特征进行更新,并同时添加或更新记忆.最终得到的特征可以作为下一步的输入使用,而下一步的操作可以根据具体任务来决定.

图2 网络空间中基于深度认知神经网络的跨媒体信息处理框架

3 基于深度认知神经网络跨媒体信息处理框架

大数据背景下跨媒体信息智能处理技术,针对海量跨媒体情报数据智能化处理的迫切军事需求,将海量庞杂、异质多源、大时空尺度关联的多源跨媒体情报大数据化繁为简,通过区别式或生成式,监督学习或半监督学习等方法(例如:深度学习),识别出数据集中蕴含的关键目标对象、热点事件等语义,挖掘发现海量多源情报数据内在的、有价值的关联或相关关系,准确快速检索提取满足情报需求的、人可理解并利用的情报信息和知识资源,并进一步对目标的行为规律进行挖掘,对其意图进行预测,形成对战场态势的深入洞察和准确认知.从而有效服务于情报数据分析处理、目标检测与识别、情报信息查询检索、情报安全态势的实时监控和预警预报.本文提出的网络空间中基于深度认知神经网络的跨媒体信息处理框架如图2所示.

从数据获取的角度看,本文研究的多源情报主要是通过战场网络聚合各类传感器形成的多源跨媒体情报大数据.首先,本框架采用基于视觉认知计算的深度神经网络方法,并采用GPU加速方法提高其学习效率与速度,以高效准确地从中发现有价值的情报信息.其次,通过采用深度学习框架中的模型训练、自主学习等大数据处理技术机制,对图像、文本、视频等各类数据进行数据关联、数据挖掘、自动融合匹配与关联等智能分析处理,获取多源情报隐含的关联分析.最后,通过目标检测与识别、关联分析等方法和技术,能够准确快速地检索提取满足情报需求的、人可理解并利用的情报信息和知识资源.在此基础上,结合目标时空特征数据、时序过程数据等,采用机器学习方法,进一步对目标的行为规律进行挖掘,并采用可视化的技术手段和工具对情报分析结果进行直观形象的描述和展现,辅助军事人员形成对战场态势的深入洞察和准确认知,提升情报分析工作的有效性和实用性.

4 需要解决的关键技术

本节将归纳总结跨媒体情报大数据智能处理的关键技术,并提出需要研究的内容及解决思路.

4.1 目标检测与识别

1)视觉对象检测识别

视觉对象分类与检测是认识和理解图像视频内容的两个重要方面.传统的方法割裂了对象整体和局部的联系,很难得到关于对象的全面表达,因而对视觉对象的分类与检测研究通常也是独立进行的.因此,需同时考虑整体和局部的作用,并将它们整合到同一个深度学习框架中进行类别判别和位置计算,重点研究突破对象深度表达建模、基于深度认知神经网络的对象检测识别等关键问题.同时,针对在军事情报分析领域军事目标对象的数据难以搜集,往往只有少量的标记样本的问题,小样本条件下基于深度认知神经网络的目标检测识别是其中的关键问题.主要采用大样本标记数据学习的知识对小样本目标检测模型训练指导的思路,通过迁移学习,利用小样本数据对深度认知神经网络基本模型进行调整优化,进而研究增量学习框架,实现检测模型的迭代更新,从而不断提高检测精度.

2)视觉场景分类

视觉场景(例如:爆炸、集会游行等)是更高层次的语义内容,提高对视觉场景的分析理解和认知能力,是视觉信息理解和计算机视觉领域的一个重要问题,也是跨媒体情报数据智能分析的关键环节.与对象类别不同,场景类别本身具有语义模糊性和不确定性,同一场景类别具有很大的类内差异,使得场景分类问题极具挑战.研究突破新的融合视觉注意机制和深度卷积神经网络的场景分类框架是解决这一问题的关键,需深入分析基于空间变换模型的显性视觉注意机制,研究突破具体计算方法和视觉注意的感兴趣区域自动提取技术,同时利用全局特征和局部特征具有的特征互补性,将两者进行有效融合,采用全局模型与局部视觉注意模型相结合的场景分类技术,提升场景分类准确性.

3)基于多模态数据的对象分类识别

情报的价值往往体现于细节,目标的信息越全面对情报的贡献度就越高.单纯利用视觉信息进行检测识别,往往只能得到关注目标的部分信息,而关注目标的更多细节如发生时间、背景往往包含在伴随文本或场景文字中.需研究突破多模态数据下对象分类识别方法,基于视觉对象检测识别、场景文字识别后的文本,以及图像或视频的伴随文本,采用多模态深度特征学习方法,获得视觉对象和关键文本的深度特征,计算得到视觉目标和关键文本的相关关系,实现基于多模态数据的对象分类识别.

4.2 海量多源情报关联分析

海量多源情报关联分析主要是通过采用深度学习框架中的模型训练、自主学习、知识维护、信息反馈等大数据处理技术机制,对图像、文本、视频、流媒体等各类数据进行数据关联、数据挖掘、自动融合匹配与关联等智能分析处理,获取多源情报隐含的关联分析.

1)视频内容重复检测与关联分析

视频内容重复检测与关联分析技术完成对重复视频内容的检测与过滤,并在此基础上融合多种模态的特征信息对其内容进行关联,重点研究相似关键帧的检测技术、相似视频检测技术、基于聚类的视频内容关联、融合上下文信息的视频内容关联、基于时间序列信息的视频内容关联等技术.

2)海量跨媒体数据语义内容分析与理解

跨媒体数据蕴含的语义内容是信息分析基础,赋予机器类似人类认知系统的跨媒体语义统一感知能力是智能信息处理的一个核心和热点科学问题,也是跨媒体信息分析的关键.重点需要研究解决两个方面:一是如何利用跨媒体数据语义关联特性,处理大规模跨媒体高维特征,通过分析数据在高维空间中的几何拓扑结构优化数据之间相似性计算,降低计算复杂度是需要研究的关键问题.二是如何构建更好的机器学习方法提高语义概念探测与识别的性能,重点需要解决通过多示例描述单一样本以增强样本歧义性表达能力问题.

3)跨媒体语义关联分析

对海量跨媒体进行关联挖掘的前提是能够建立不同媒体之间的语义关联.其关键问题是如何将不同类型媒体表达在同一特征空间中进行关联性分析度量.一方面,需要构建准确的数学映射将不同媒体的特征映射到同一个隐空间中;另一方面,要重点解决隐空间中特征模式相似性度量问题,传统方法通常采用两种训练样例:一种是同一语义的不同媒体数据,另一种是用单向排序的样本.如何有效利用双向排序样本的优势来增强语义关联是研究的重点.

4)基于网络模型的跨媒体数据关联挖掘方法

海量的跨媒体数据是数据生产者、制作者、消费者的偏好、意图、情感、行为的信息载体,其背后隐藏着极其庞大、复杂的社会群体与行为模式,如何从中分析挖掘出有价值的知识是跨媒体信息分析需要解决的关键问题.如何通过跨媒体语义关联的结果构建跨媒体数据语义联系,并且在此基础上,引入网络模型有效融合跨媒体用户“社会性”信息,进一步构建用户社会网络是需要解决的重点问题.

4.3 情报数据挖掘及预测技术

基于高层特征的情报数据挖掘与预测研究如何基于高层特征对目标的行为规律进行挖掘,对其意图进行预测,并通过态势可视化的方式来加以辅助.

1)情报数据时间序列挖掘

战场情报监视数据的采集通常与时间相关,数据具有时间上的关联性.利用时间序列数据挖掘方法,可以得到数据中蕴含的与时间相关的有用信息,实现知识的提取.

时间序列数据是数据挖掘中一类复杂的数据对象,其复杂性表现在:一般维数比较高,往往含有噪声;在幅度方面存在拉伸和平移,在时间轴上存在伸缩;另外还有线性漂移和不连续点.时间序列数据挖掘与一般的数据挖掘最大的区别在于其数据的有序性,是一个演化分析过程.

因此,需要针对实际的大量序列数据,根据应用目的,选取相应的挖掘工具,从序列数据中发现隐含的规则(或称为模式、知识),再以这些规律对序列未来的变化进行预测或描述.

2)情报热点传播演化分析

情报热点传播分析研究如何基于情报热点演化关系、信息语义内容和网络成员联系建立情报热点通过多源跨媒体数据及其成员传播的路径,追溯信息的起源,跟踪情报热点的传播过程及范围.如何基于情报热点演化关系和信息语义内容建立贝叶斯网络的拓扑结构是需要解决的关键技术之一;在模型推理中,综合考虑计算速度和计算精度,重点研究高效的推理算法方法,提出估计情报热点传播路径方法,分析计算情报热点在信息间传播关系的强弱.

3)情报态势可视化

为了让用户更好地理解情报态势,降低态势认知门槛,针对多源情报海量、异构、跨媒体、大时空尺度等特点,需要设计适合的可视化隐喻,以最适合的方式展现各种情报态势要素的时空特性和其他属性、态势要素间的关联关系以及情报态势的发展变化历程与发展趋势也是需要解决的关键技术.

5 结论

网络空间中跨媒体数据爆炸式涌现,如何对海量、复杂的跨媒体数据进行有效的分析、处理与挖掘,成为亟待解决的难题,深度学习理论的出现为处理跨媒体大数据提供有效的解决思路,总的来说:一是要注重大数据与深度神经网络的结合,深度神经网络是解决大数据分析的有力工具,同时大数据也为深度神经网络的应用提供了数据支撑;二是要注重人类认知机制与深度学习方法的结合,人脑在进行复杂思维、关联分析方面具有极大的优势,如何将人脑的认知机制转化为计算模型,进一步与计算机强大计算能力有机结合,是大数据分析的关键;三是要注重跨媒体关联,大数据的一个重要特点就是“数据关联性”,有价值的信息往往隐藏在纷杂繁芜、千丝万缕的“关联”之中,特别是不同模态数据之间的关联更是跨媒体大数据时代的重要挑战和巨大机遇.

本文深入分析网络空间中跨媒体数据特点及其应用需求,提出一种新的深度认知神经网络方法.在此基础上构建基于深度认知神经网络的跨媒体信息处理框架,并归纳总结其中涉及的关键技术,提出解决方案.实现网络空间中跨媒体情报大数据的综合、归纳和过滤,辅助从海量数据中搜索发现有价值的情报信息,进而提供“从数据到决策”的各种智能信息服务.