对大数据产业未来发展的策略

2021-11-20黄佳

电子技术与软件工程 2021年3期

黄佳

（南京市信息中心江苏省南京市 210009）

当前，我们应当将大数据产业的未来发展作为一个关键课题，积极加强研究、探讨与实践，尝试分别从技术、政策以及应用三个层面，采取科学的发展策略，全方位提高大数据产业水平，使其能够在社会生活、生产的信息化、数据化以及智能化建设中，发挥出更大的作用、价值。

1 大数据产业至今的发展历程

所谓的“大数据”，从字面上解释，指的是巨量的电子数据信息的集合，而从更深层次的技术运行机制来讲，其还包括了对巨量电子数据信息的存储、分析、挖掘和应用。通过对这些巨量的、碎片化的、无序的电子数据信息进行存储、分析与挖掘，我们可以从中发现各类数据关联，并将其应用于各个行业，以此推动社会的发展与变革[1]。从大数据的概念出现至今，整个大数据产业经过了三个发展阶段。

1.1 起步阶段

大数据的出现，必然是伴随传统信息化技术的全面普及与应用而来的。1998年，在信息化技术已经基本实现了全球普及的情况下，对信息化技术的深入研究依然没有停止，反而加大了研究力度，此时在USENIX 大会上，SGI 首席科学家 John Masey 首次提出了“大数据”的概念，其重点强调了“数据”在未来信息化社会中的价值和重要性，因此建立巨量的数据信息集合，不过最开始的大数据定义也就仅限于此，还不包括对数据采集、存储以及分析等方面的研究[2]。

1.2 发展阶段

大数据的概念提出以来，也曾经受到过质疑，不少人认为当时的软硬件技术，不足以实现大数据产业和应用。但即使是如此，也有很多国内外的信息化企业在大数据方面进行了大量的探索、开发与研究、应用，例如美国的google 公司，以及我国的阿里巴巴公司，均在大数据研发方面投入了巨大的人力、技术和资金成本，因此大数据的技术体系、标准构架等，开始逐渐的完善起来。

1.3 成熟阶段

从2011年开始，大数据技术逐步的投入应用，并由此形成了大数据产业，数据流量成为了资金发展的一个重要基础。如在我国，阿里巴巴公司的大数据产业布局便已经相当的完善，在今天已经被广泛的应用到了各个行业领域当中，商业、教育、交通、物流以及医疗等等行业，都通过大数据的应用，得到了推动与变革。不过，大数据的潜能在当前还没有被完全的开发出来，未来的大数据产业发展依然会受到关注的关注与重视。

2 大数据产业的未来发展策略

2.1 技术策略

2.1.1 采集技术

大数据产业的发展，是紧密依靠于技术的，只有在先进的技术支撑下，大数据才能够运转起来，并被应用到各个行业领域。而在大数据产业的构建中，最先需要考虑的问题便是如何采集数据，数据越多、价值越高，但采集难度必然也越大。为了使数据的采集更加高效，在未来应当分别发展好软采、硬采两种采集技术。所谓的软采集，及主要依靠软件进行数据采集，需要建立统一的数据采集框架，通过在待采集数据的系统中预留接口，直接和大数据平台的采集接口对接。这个统一的数据采集框架要能够适应多种多样的数据源，并且能适应大数据数据量大、更新快的特点，自动对采集的数据进行一些预处理，删除重复数据，可靠快速地完成数据采集[3]。而硬采，则主要依靠各种专业的数据采集硬件，以低功耗、针对性、高效率的硬件运行速度，实现对数据的采集。

2.1.2 存储技术

如上所述，大数据是“巨量数据”的集合，而且数据量越大，其价值越高，尤其是在产业化发展的需求下，大数据的体积可以说更是没有边界，这就对存储带来了很大的难度与挑战。目前，分布式文件系统、No SQL、New SQL 等被广泛的应用于大数据存储，但是在未来，考虑到数据量的进一步增大，访问的进一步增多，以及降低存储成本的需求，还需要在存储技术方面做出进一步的提升，以适应不断提高的大数据需求[4]。再者，在存储介质方面，未来也还须得改进，因为现目前的存储介质有效时间较短，如果要长时间存储大数据，就需要不断的搬运、转移大数据，操作复杂而且成本高，因此需要具有更加长时效性的存储介质，来进行未来的大数据存储。

2.1.3 分析技术

初步收集到的大数据信息，都是混乱的、无序的、碎片化的，简单来说并没有直接应用的价值，必须要通过高效率、专业性的数据分析，才能从中得到有价值的信息，因此对于大数据的分析技术，在未来还应当得到更大的提升。大数据分析技术主要包括已有数据的分布式统计分析技术和未知数据的分布式挖掘、深度学习技术，通过这些技术把隐藏在大型数据库或数据仓库的数据中的信息集中起来，进行萃取、提炼，以找出所研究对象的内在规律。目前常用的大数据分析及挖掘技术包括可视化分析、数理统计分析、情报检索、机器学习、专家系统和模式识别等。随着数据量的迅速膨胀，大数据分析挖掘日益复杂，如果采用普通单机进行数据分析挖掘，性能无法满足，如果采用高性能机来处理海量数据，则在软硬件成本上可能无法承受。基于云计算平台的数据分析挖掘可以在节约成本的前提下满足性能需求，是大数据分析挖掘未来的重要发展方向。另外，机器学习、人工神经网络在未来将继续成为大数据智能分析的核心技术[5]。

2.2 政策策略

2.2.1 政府政策

我国至今为了推动大数据产业的发展，已经先后出台实施了多项政策，如《关于组织实施促进大数据发展重大工程的通知》、《生态环境下大数据建设总体方案》、《关于印发促进国土资源大数据应用发展实施意见》、《关于推进水利大数据发展的指导意见》、《智慧城市时空大数据与云平台建设技术大纲》等等。在未来，大数据产业的发展，还需要国家从政策层面予以更大的帮助和指导，尤其是地方政府，应当认识到大数据产业对地方经济的带动作用，根据地方的其他产业发展情况、发展需求，通过政策的规划和指导，使地方大数据产业能够迅速的发展起来，并与其他产业紧密结合，推动地方产业整体同步发展。

2.2.2 国家法律

大数据产业的发展，势必会涉及到很多的社会伦理问题，其中最为敏感的一个问题便是个人的隐私权如何在大数据时代下得到有力的保护。为此，在未来为了促进大数据产业的健康、常见发展，应完善法律的建设需要对大数据时代下公民在网络方面的知悉权、选择权、控制权和安全请求权等，做出明确的立法规定，这样才能更加全面的保护好公民的网络信息安全。最后，还需要对侵害网络隐私权的行为进行分类，做好侵权行为的认定工作。对于隐私权责任的承担方面，要进行细分，比如停止侵害、消除影响，或者是对受害人进行赔偿等。不能因为大数据的收集和发展，影响到个人合法权益[6]。

2.3 应用策略

大数据产业本身并不能体现出实际的作用，其必须要被应用到各个实在的行业领域当中，才能产生出价值。因此，在未来还需要对大数据的应用，加强研究、探索与发展，使其能够与社会生活、生产全面的、深入的结合起来，这样不仅有利于大数据产业本身的发展，同时也有利于整个社会的生活、生产发展。如随着信息技术和人类生产生活交汇融合，未来大数据应用的涉及面将会更广泛，也更注重解决实际问题。

以电子商务为例，其通过对大数据技术的应用，一方面是可以更加精准的获取客户需求，为商品的生产、采购等提供有价值的依据，另一方面是能够更加精准的投放广告，对可能有需求的客户提供广告信息，进而降低广告成本，提高广告效果；在金融行业当中的话，通过对大数据技术的应用，则可以实现对市场变化的预测，同时实现对市场的全方位监管，这更有利于对金融风险的规避；在医疗领域当中，通过对大数据技术的应用，可以动态的、及时的采集、监测个人的健康数据信息，并与标准的健康数据信息进行对比，发出健康方面的提示、预警；在物流行业、交通行业当中，大数据技术的应用则更加的广泛，其可以帮助计算、优化运输、交通路线，提高交通效率，降低运输成本。而且就未来的所有市场行业来讲，在大数据技术的支撑下，都能够实现相互之间的深度交流、有机融合，有利于整个市场的共同发展[7]。

尤其是面对即将普及的5G 通信技术，大数据产业的应用发展，应当进一步深入终端和基层，尝试为每一个个体提供优质的大数据信息服务，在合法、安全的前提下，允许个人进行大数据的分析和运用。

2.4 安全策略

通过政策和法律，还并不能完全的保障大数据安全，需要进一步从技术层面采取安全策略，才能真正强化对大数据的安全保障。现目前，针对大数据的信息安全技术主要有数据细粒度访问控制技术、数据加密技术、数据脱敏技术等，它们均能针对大数据信息安全的薄弱环节，以技术措施、技术手段，来消除安全隐患。如数据脱敏技术包括了静态数据脱敏、动态数据脱敏，它们各有技术特点，就静态数据脱敏这项技术来说的话，其处理方式并不是实时的，具体由专门的脱敏组件，来帮助进行脱敏处理，从而为用户提供脱敏数据。在实践当中，采用这项技术，可以与大数据平台相互独立，即在大数据平台之外，独立的进行脱敏处理等工作。并且整个脱敏过程，可以预先设定任务计划安排，由其自动进行，将大数据平台当中的数据，脱敏后转移到其他的数据存储环境中去。在具体的工作当中，应当根据大数据的实际应用情况，如大数据平台的技术结构、应用传输途径、数据的敏感度等等，选择相应的技术方式，采取最可靠、最经济的安全策略。