基于大数据背景下的图形处理技术变革探索

赵 锐

基于大数据背景下的图形处理技术变革探索

赵 锐

（西安邮电大学，西安，710121）

随着信息技术的不断发展，云计算及物联网技术出现之后，又出现了一种新的技术变革，即大数据。大数据给计算机网络相关的很多领域带来了不同层次的影响，图形处理技术就是其一，本文以大数据背景为基础，对这一背景下图形处理技术的变革进行了深入的探索。

大数据；Hadoop；图形处理技术；3DS TDI

1 大数据

1.1 大数据及特点

大数据是计算机网络领域，继云计算和物联网之后的一次新的技术创新与革命，给众多相关领域带来了极其重要的影响。从其字面意思来看，就不难发现，它的最大特点就是巨大的数据量，通常认为其数据量大约在10TB-1PB以上（其中1TB=1024GB，1PB=1024TB）。

本文通过调查研究，将大数据的特点总结为以下3点，即：数据量大、快速化和多样化。其中，数据量大就是指在大数据背景下，需要处理的计算机信息数据量非常大，甚至发展到ZB数量级（1ZB=1024EB,1EB=1024PB）；快速化就是指在大数据背景下，需要对实时的、高速的数据流进行快速处理；多样化就是指在大数据背景下，数据的类型非常多，数据主要有图片、文本、网页、音频、视频等很多形式，这些都将增大计算机信息处理的能力。本文认识到大数据对图形处理技术的重要性，对大数据背景下的图形处理技术变革进行了较为深入的探讨。

1.2 大数据处理的核心技术

大数据处理的核心技术就是Hadoop，大数据与传统的数据之间是存在着差异的，它的数量级很可能达到PB，甚至是ZB，同时还包括了文本等非结构化数据，这就直接导致诸如传统的服务器和SAN方法难以对大数据进行有效存储，而Hadoop是目前比较流行，效果比较好的一种大数据处理技术。

Hadoop是一个基于Java的分布式密集数据处理和数据分析的软件框架，其组件主要包括：通用模块、分布式文件系统（HDFS）、Hadoop YARN、Hadoop MapReduce、Zoo Keeper、Oozie、HBase、Hive、Pig等。其具体的组件框架图，如图1所示：

图1 Hadoop架构组成

在图1的Hadoop框架中，最底层的HDFS存储Hadoop集群中全部存储节点上的文件，在一组特定的节点下才可以构建出HDFS架构（图2），在这些节点当中，有一个是NameNote，其他还有很多是DateNote，在HDFS中进行存储的文件会被分成不同的块，再将他们复制到计算机中，由客户机来决定复制的块的数量和大小。HDFS中的全部通信都是以TCP/IP协议为基础的，通过NameNote，可以对其全部文件进行控制。

图2 HDFS架构节点

Hadoop MapReduce是一种简洁的并行计算模型，它在系统层面解决了容错性、扩展性等问题，可以实现对大规模数据的的处理与分析。

在Hadoop的应用实例中，JobTracker指的是一个代表客户机在单个主系统上启动MapReduce应用程序，它与NameNote十分相似，是Hadoop集群中唯一一个控制MapReduce应用程序的系统。

2 计算机图形处理技术

计算机图形图像处理技术最主要的组成部分就是计算机的硬件设备与图形图像处理软件。一般情况下，计算机的硬件设备的性能越高，处理图形的效果越好，图形图像处理软件的作用主要是将计算机与显示终端之间建立联系。

计算机的硬件基本上包含两类：一是微型机，二是工作站。软件同样包含两类：一是微型机上的软件，主要有photoshop、Win—Images：morph以及3DS等。photoshop主要是用来处理二维图像，同时它还可以进行分色制版，3DS在微型机上专门用来制作图形,是当今社会中应用的不较多的图形处理软件。二是工作站的软件，主要有Alias和TDI，它们主要是用来制作工作站上的全部图形。

从功能上来看，工作站要比微型机好一些，究其主要原因是工作站CPU的速度更快，能够较好地进行图形显示，并且具有较大的存储容量；从造型上来看，3DS缺少了曲线曲面造型功能，而TDI则弥补了它的这一缺陷；从用户界面来看，运用3DS，需要先在一个模型上进行材质的调整，一般情况下是不能看到材质在物体上的效果的，而运用TDI，其IPR模块可以对物体及光源材质进行自动调整，直接获取图像，同时可以实现较好的效果。

3 大数据背景下的图形处理技术变革探索

3.1 大数据背景下图形处理技术的挑战

大数据时代的到来给图像处理技术带来了发展机遇的同时，也为其带来了挑战。

首先，巨大的数据量给数据存储、传输速度等方面带来了挑战。随着数据量的增加，存储空间也需要相应的进行调整，同时存储技术也要不断的提高，大数据背景下的传输时间也会加长，其传输速度也要相应的有所改善。

其次，大数据背景下的数据流十分多，在网络中会存在着黑客等破坏用户数据的现象，因此要加强网络及图形处理与存储的安全性，避免不法分子对重要数据进行盗取。

再者，大数据背景下，为计算机硬件设备及数据处理能力带来挑战。大数据背景下，计算机硬件设备决定了网络的传输速度，而且对巨大的数据量的处理能力也同样是一种挑战。

最后，大量的数据流对有价值的数据进行筛选和提取的能力提出了新的挑战。在如此巨大的数据信息中，提取有价值的信息并不是一件容易实现的事情，因此，又对图形处理技术提出了更高的要求。

3.2 大数据背景下图形处理技术及其发展方向

首先，是信息存储。信息存储就是通过一定的方式将获得的信息在结构数据库中进行存储，当用户需要某些数据时，能够直接对其进行提取，在大数据的背景下，存在数据量大、信息变更速度快等特点，因此需要对图形图像进行合理的存储，实现图像处理技术对大量数据的长时间、稳定存储。

其次，信息安全。为了能够更好的使用大数据背景下出现的信息安全隐患，在图形处理技术方面，需要做到以下几点：一是构建信息安全体系，二是加快研发大数据信息安全技术产品，在大数据背景下，传统的信息安全软件已经无法实现其数据安全，所以，我们要加紧步伐对于新的数据安全技术产品的研发；三是对重要数据进行深度检测。因为大数据背景下的数据量是巨大的，对每个数据都进行检测是浪费时间和精力的，也是基本上无法实现的，所以，我们强调对于重要数据的深度检测。

最后，是数据的撷取与传输。任何信息处理手段都是需要进行数据撷取的，数据撷取就是在对目标信息源实时监控的基础上，在数据库中存储所需数据，从而实现向各个软件系统平台提供信息输入，最后，利用数据传输技术，将处理好的数据传输到各用户。

3.3 图形处理技术的发展方向

因为受到计算机硬件的限制，图形处理技术还存在着一些局限，大数据背景下图像处理技术的发展，需要将目前的计算机网络转换为云计算机网络。未来的计算机网络将会把硬件与网络数据分开，从而实现将当前的云计算转换为云计算网络，计算机会与信息网络形成大数据网络系统。

4 结论

综上所述，本文通过对大数据及其核心处理技术的分析的基础上，研究了图形处理技术，并对其在大数据背景下面临的挑战及其发展前景作出了分析，希望能为大数据背景下的图形处理技术变革提供借鉴。

[1]冯骞. 大数据时代的信息处理技术[J]. 信息通信.2013（08）

[2]吴金朋.一种大数据存储模型的研究与应用[J].北京邮电大学.2012(12)

[3]王珊.大数据分析——RDBMS与MapReduce的竞争与共生[J].软件学报.2011(09)

Explore technological change based on graphics processing large data under the background

Zhao Rui
(Xi'an University of Post and Telecommunications,Xi'an，710121)

With the development of information technology,after the emergence of cloud computing and physical networking technology,and the emergence of a new technological revolution,that big data.Big data related to many areas of computer networks has brought different levels of influence,is one of the graphics processing technology,the paper background with large data base,against this background of change graphics processing technology conducted in-depth exploration.

big data;Hadoop;graphics processing technology;3DS TDI

赵锐（1979-），男，汉族，陕西宝鸡人，硕士，工程师，研究方向：高等教育管理、课程论与教学论