大数据情报化技术应用研究

赵厚理

引言：

大数据核心价值：大数据情报化。高关联度的深度挖掘呈现。纵深横向关联挖掘呈现。

随着学科的深入交叉融合及社会发展、经济发展与科技发展一体化程度的增强，大数据情报化研究正从单一领域分析向全领域分析的方向发展。数据精分及呈现结果都在数据计算中凸显情报化特色，满足使用者最精准的需求。

各行业越来越依赖利用数字化科学数据以及借助复杂的数据挖掘、集成、分析与可视化工具将其转换为信息和知识的能力。对于大数据情报研究来说，应用智能化技术能自动进行高级、复杂的信息处理分析工作，在很大程度上把研究人员从繁琐的体力劳动中解放出来，尤其在信息环境瞬息万变的今天，及时收集信息分析并反馈已经变得非常重要，这都需要智能化技术加以支撑。

多维度的空间碎片数据关联是大数据情报化呈现的基础，根据不同属性对数据进行定制化呈现并通过关联计算方式智能化的解析预警，提供判断依据是大数据情报化的关键。在数据大爆炸的时代，我们如何利用好大数据呈现其应该具备的价值，是非常值得研究和探索的。

一、大数据情报化

大数据分析及呈现是将可收集的大数据内容进行定制化结果、结论的可视化呈现过程，如何将有限的数据进行高关联度延伸分析、纵深横向关联分析、类比资源输送结合分析，是业界的难题，即大数据分析呈现的情报化，是特种安全领域、情报分析领域以数据为基础的全新思维，技术相通，理念一致。

将判断威胁情报分析的引擎融入大数据分析行业则形成大数据情报分析系统。

对信息安全领域威胁的大数据情报分析内容：黑客、黑客来源、黑客属性、黑客使用武器、黑客手法、武器基因、变种方式、入侵手段痕迹、隐藏手段、窃密方式、运输手段、恶意IP库、跳板、DNS供应商、行为目的输出等。

对社会安全、生产安全、反恐的大数据情报分析内容：特殊定向人物、生活生产习性爱好、社交及行为轨迹、地理分布、危险品爆炸物关联、消费及生活环境、学历及家庭环境、征信内容等。

可以广泛应用于军事、反恐、商业、人文、农业、互联网、金融等领域。在数据呈现结果中我们需要的那部分称之为“画像”，大数据是物理世界在网络世界的映射，是一场人类空前的网络画像运动。

网络世界与物理世界不是孤立的，网络世界是物理世界层次的反映。数据是无缝连接网络世界与物理世界的DNA。发现数据DNA、重组数据DNA是人类不断认识、探索、实践大数据的持续过程。

充分计算关联碎片大数据形成情报，自由构建并呈现给用户最直观的数据挖掘内容。是当今大数据以情报分析呈现的必然趋势及需求点，因受限于运算技术能力及应用场景，目前很多大数据情报资源提供机构不能满足真实需求或不能深度挖掘呈现所需，只能做到大数据运算及呈现，情报引导引索能力尚待提高，预知呈现预警能力不高。

二、大数据情报分析应用相关技术

2.1数据应用平台和数据可视化方案

2.1.1商业智能（BI）工具

用于比较基本的，格式固定的报表展现，具体选型待定，需要根据邮政总局的实际情况，沿用历史已购买许可的BI工具，或者另外选型。

2.1.2数据分析工具

Hive 在Hadoop、Spark上实现的各种SQL引擎，可以兼容传统数据库、数据仓库的形式提供数据的查询和计算。为业务人员提供门槛较低的交互式的数据分析工具。

2.1.3情报分析工具

HD300，深度关联呈现模型，是最核心的情报呈现工具，也是核心应用模块。社交网络分析方法、空间信息分析等其他学科的分析方法，广泛应用于反恐情报、商业情报、军事情报、科技情报等领域，心理学等领域的理论也用于情报分析的认知过程，以指导情报分析及其工具的研发。

2.2数据分析及可视化

2.2.1 Web页面数据查询和数据可视化

架设在HBASE或者Spark SQL之上的高度定制化的数据展现和数据交互实现。对于定制为情报的数据分析和可视化呈现，均需要进行代码开发。可以选用业界的主流d3.js可视化框架来呈现数据。

太有意义有意义亚瑟王十五大

地理空间数据分析的分析，由于地理数据的抽象度较高，高度依赖于可视化展现，实现难度也较高，Esri API和GeoTrellis可在Spark上实现地理数据的数据分析。

更加炫目的3D动画式的数据展现可用WebGL实现，路径飞线动画就是基于WebGL实现，非常成功。可以呈现出更为直观的效果。其他受好评的数据可视化工具如tableau，processing，根据需要备选。

从技术上看，可视化、数据挖掘等计算机领域的技术，为情报研究提供了有力的技术视角，情报研究获得的知识反过来又给予其他技术领域的发展以引导。

可见，无论从思想上、方法上、技术上，各领域之间的交叉点越来越多，虽然这种相互借鉴早就存在，但现在意识更强、手段更为综合。