大数据分析技术发展迅猛，机遇挑战并存

人类社会已经进入大数据时代，大数据无处不在。通过分析行业内和跨行业的大数据，能够发现新的知识和规律，推动行业发展进步。2010年以来，阿里巴巴公司通过面向图像、图片和用户数据的大数据分析技术，从10亿量级的在线商品中发现假冒伪劣商品。美国帕兰提尔(Palantir）公司通过对电话、网络邮件、卫星影像等大数据分析，协助中央情报局(CIA)获取恐怖极端组织成员的位置信息等。就像借助于显微镜可以看清细胞结构一样，借助大数据分析技术可以分析人的行为、情感甚至思维，以及复杂系统运行规律，甚至整个社会的运行方式。

大数据分析的关键技术涉及大规模数据处理、机器学习、人工智能、认知计算、数据挖掘、自然语言处理等多个学科领域，交织并覆盖了数据的清洗融合、大规模处理框架、建模与分析、可视化的全过程。近年来，一系列大数据相关技术齐头并进地发展，带来了分析能力的逐步提升。以Hadoop等分布式文件系统、Cassandra/HBase等NoSQL数据库等为基础的大数据存储，以Kafka为代表的数据分发平台，以MapReduce/Spark/Storm等为代表的大数据处理架构，联手为各行业的大数据解决方案提供了高可用性、高可扩展的处理架构，成为开源大数据分布式并行处理的主流方式之一。机器学习与人工智能的发展，特别是卷积神经网络(CNN)、循环神经网络(RNN)、长短时记忆网络(LSTM)、双向长短时记忆网络(BLSTM)等深度学习方法的突破，显著提高了图像、音频、视频、文本等多模态大数据分析准确性。知识图谱(Knowledge Graph)与认知计算的发展和应用，提供了大数据时代千万级、亿级规模知识节点与关系的管理及处理能力。此外，众包技术带来了分解复杂问题并汇聚融合解决方案的重要手段；各种数据可视化技术为知识、信息提供了直观解释视角；数据匿名等隐私保护技术保护了大数据分析过程中用户数据的安全和隐私等。上述大数据分析相关技术正在成为大数据驱动的“知识经济”的重要驱动力，在国家政治、经济、社会等各行业发挥着越来越重要的作用。

随着大数据分析技术在各行业领域的进一步应用推广，摆在我们面前的将是更多新的机遇与挑战。例如，在综合分析政策规划相关领域大数据的基础上，社会管理有望创新管理模式、提升管理效率；通过“量化一切”实现世界的数据化，可能改变人类探索和认知世界的方式，带来全新的“大数据世界观”； “科学始于数据”的呼声正在改变人们的科学观和认知观，引发新的科学研究模式；当商业资源能够带来商业利益的时候，金融、能源、交通、健康医疗等重要行业大数据就成为了国家重要的战略资源，如何从国家安全层面对大数据进行保护，也是亟待研究和解决的问题等。