通信及互联网技术在数据管理中的应用研究

贺志朋

摘要：大数据背景下，越来越重视数据的管理。通信技术特别是移动通信技术的应用，成为数据管理的重要工具，弥补了传统的通信技术不足，在数据的收集、上传中发挥重要作用，使数据管理对象范围明显扩大到了个人，实现个人数据的收集、传输、定制、查询。互联网技术高性能计算、分布式存储技术为数据分析、存储提供了途径，互联网中的多线程并发、数据预读传输等技术方便了数据的传输，互联网还可开展以云安全、虚拟防火墙、入侵检测、流量过滤、虚拟机自动扩展等为代表针对数据管理综合服务。文章概述了通信及互联网技术在数据管理中应用领域现状和发展方向。

关键词：互联网技术；通信；数据管理

进入21世纪以来，人类社会信息技术飞速发展，以互联网为代表的各种信息技术不断涌现，并深入到人类社会的生产、生活、工作、学习之中，成为人类不可或缺的助手。各类信息充分交融、汇集，使数据渗透至每一个行业和职能领域，成为重要的职能要素，人类正进入大数据时代。大数据背景下，越来越重视数据的管理，数据管理是大数据时代的核心工作，包括数据的收集、处理、分析、价值挖掘等。数据管理水平的提高，反过来又深深影响通信、互联网技术，本研究就通信及互联网技术在数据管理中应用领域现状、发展方向进行概述。

1 大数据背景下的数据管理

大数据时代下，数据正呈现爆炸式增长，这些数据具有量大、类型繁多、价值密度低、速度快时效高等特征。大数据时代对数据管理提出了更高的要求，主要体现在以下几个方面：（1）信息收集、处理速度加快，对信息收集、处理能力提出了更高的要求，大量应用专业的技术，如数据收集工具，信息专业与计算机行业高度融合。（2）信息共享更加方便，这要求信息系统、管理专业人员更重视团队合作，重视节点之间的通信，开发、利用更先进的与共享有关的能力，如即时通信、云端数据存储与共享。（3）大数据下，更为重视数据的挖掘，重视互联网中海量信息的挖掘，信息管理涉及的行业更加广泛，信息管理在医疗卫生、行业发展、企业战略分析等领域作用越来越突出。总而言之，大数据背景推动了数据管理领域的发展，数据管理的发展离不开通信、互联网技术的应用，对后两者提出了更高的要求，三者的融合程度进一步提高。

2 通信技术在数据管理中的应用

前文提到为实现大数据背景下的数据管理，便需要更为高效、先进的通信技术，重视节点之间的通信，开发、利用更先进的与共享有关的能力。目前，与数据管理有关的通信技术，以微信、网络电话等为代表。在中国手机网民的数量己超过7亿人，移动网络与互联网的融合明显增强，移动互联网通信极大地推动了数据管理发展，并成为数据管理的重要工具，弥补了传统的通信技术不足。需注意的是，移动通信技术也产生了海量的数据，如个人的网络浏览数据、健康信息等，这推动了更多的数据服务业务发展。以健康数据管理服务为例，移动通信技术实现了数据的收集、上传，使数据管理对象范围明显扩大到了个人，节约了数据收集的成本。移动通信技术也使数据管理的形式发生了明显改变，移动通信使用者开始成为数据管理服务的使用者，移动通信工作者能够通过移动通信技术发出指令，实现数据的收集、传输、定制、查询等工作。

3 互联网技术在数据管理中的应用

近年来，IP数据网、互联网、电信网、电视网等信息网络的融合步伐明显加快，产生了许多新的数据管理需求，推动数据管理发展。产生了许多新的网络内容，但这些网络内容包装、传送、操作、终端存在一定的差异，各有优劣，如电信、电视网络信息传输速度快，互联网尽管应用十分广泛，但可分配地址少、信息传输速度慢，不同网络的融合推动了通信技术的发展，实现了优势互补。目前已有利用互联网实现远距离控制电视网络的技术，多网融合，能够保障高话务场景下的通信，克服网络载波扩容、增加应急通信车等传统手段负荷不足的缺陷。当前，多网融合的技术储备基本成熟，有关的数学、物理学、材料科学、行为科学、计算机编程等方面都发展迅速，以码分多址（Code Division MultipleAccess，CDMA）技术、WiFi技术、LTE技术为代表的融合技术，丰富了多网融合的形式。以WiFi为例，具有较高的频带使用率，接入承载能力较好，成本低，安装便捷，非常适合大量用户移动终端接入，在无线传感控制、远程环境监测、远程视频监控等领域具有极高的应用价值，固线、无线技术的融合，有效实现了移动设备的数据管理，可实现多点、远程数据传输、远程干预。

大数据时代下对数据管理的需求明显提高，数据的计算量明显增大，互联网是实现高性能计算的途径之一。基于互联网的高性能计算，可以连接世界范围内的不同地区的计算机，分配计算任务，实现高性能计算，理论上可以实现成千上万台计算机共同计算。这种体系下，每个计算机都分配出处理器容量，如SETl@hom，Folding@home计划，互联网高性能计算主要用于宇宙物理学、大数据统计、遥感数据处理等领域。当前，云计算技术飞速发展，成了基于互联网的网络数据分析的典范。网络下高性能计算技术，根据节点能力，自适应分配不同大小的数据，进行“异构”计算，能极大地提高计算效率，甚至可利用移动计算设置。

互联网也为数据管理提供了丰富的应用途径，以云存储为典型的代表，这是一种分段式的数据存储技术，海量的数据以分段的形式存储在单独的文件中，数据库则负责管理这些文件的索引，采用系统可快速定位读取数据文件，对于海量的数据而言，非常方便，使用者可根据数据的容量，不断增加网络中的计算机单元、存储节点进行扩容。分布式的数据存储将业务数据、元数据分开管理，将业务数据储存在廉价的工作节点上、将数据存储容量扩展，适合存储海量数据的互联网企业、电信业务等企业。分布式数据存储技术以云存储为核心，商业化的云存储技术己得到应用，如Amazon公司的简单服务、Google公司推出的“Google storage”等项目，国内百度云盘、QQ云盘等。以Amazon公司的简单服務为例，这是一个强大的、可伸缩的、可靠的、按需使用的分布式存储系统，用户可以将程序调用所需要的相片、影像等文档数据资料直接存储到S3上，相当于第三方硬盘驱动，实际上分布式存储系统散布在各个地理位置许多机器上的存储空间中，后者提供虚拟化存储服务。目前为止，其内部原理尚未被公开。

互联网中的数据传输，可采用多线程并发、数据预读传输技术，进行并行检索，传输，利用网络带宽、服务器处理能力，预读与缓存数据，能够极大地提高数据传输效率。对于数据的组织，互联网可采用金字塔技术结合索引，在服务器I/O、网络带宽使用与客户端处理方面，可有效地提高效率。需注意的是，对于部分数据的处理，需要进行分类、变化、融合等处理，若采用集群处理，需要优化空间才能实现数据调度。

基于互联网的数据管理服务还包括云安全、虚拟防火墙、入侵检测、流量过滤、虚拟机自动扩展等，这些服务都为数据管理提供了便利。可以为第三方应用提供大吞吐的API存储接口，可用于互联网数据用户提供数据接口，极大地拓展了数据管理服务内容。

4结语

通信及互联网技术的发展推动了数据管理的发展，通信、互联网技术与各行各业的融合程度上升，产生了大量的数据管理服务，通信及互联网技术为数据的收集、传输、存储提供了解决方案。