基于复变函数的混合型大数据多源集成系统设计

摘  要： 现有混合型大数据多源集成系统存在集成度较低、耦合度较低的缺陷，为了解决上述问题，引入复变函数对混合型大数据多源集成系统进行设计。根据现有系统存在的问题，搭建系统架构，以此为基础，对系统硬件计算机体系进行设计，主要由处理单元、存储单元与输入输出单元组成。系统软件主要包括数据库模块、数据查询模块与混合型数据多源集成模块。通过系统硬件与软件的设计，实现了混合型大数据多源集成系统的运行。通过测试得到，与现有混合型大数据多源集成系统相比，设计的混合型大数据多源集成系统极大地提升了集成度与耦合度，充分说明设计的混合型大数据多源集成系统具备更好的数据集成效果。

关键词： 复变函数; 混合型大数据; 多源集成系统; 集成度; 耦合度; 数据管理子模块

中图分类号： TN99?34; G255                      文献标识码： A                      文章编号： 1004?373X（2020）01?0183?04

Design of mixed big data multi?source integrated system

based on function of complex variable

ZHOU Zhijin

Abstract： The function of complex variable is introduced to design a mixed big data multi?source integrated system to deal with the defects that the existing mixed big data multi?source integrated system has low level of integration and degree of coupling. The system architecture is built in consideration of the existing system problems. The hardware computer system is designed on the basis of the built system architecture， which is mainly composed of processing unit， storage unit and input and output unit. The software of the system mainly includes database module， data query module and mixed data multi?source integrated module. The operation of mixed big data multi?source integrated system is realized by designing the system hardware and software. The test results show that， compared with the existing mixed big data multi?source integrated system， the mixed big data multi?source integrated system greatly improves the level of integration and coupling degree， which fully demonstrates that the designed mixed big data multi?source integrated system has better effect of data integration.

Keywords： function of complex variable; mixed big data; multi?source integrated system; level of integration; degree of coupling; data management sub?module

0  引  言

随着我国数字化的发展，每个领域数据的数量都在逐渐增多，并且数据来源也在不断增加，导致数据结构为混合型数据，要想对其进行查询，提取较为复杂。为了满足现今社会对数据的需求，需对混合型大数据进行多源集成，经过数据集成对数据进行相应的整理。由于大数据时代的到来，如何对混合型大数据进行多源集成成为目前重点研究问题之一[1]。

就现有的研究来看，国内外对混合型大数据多源集成研究均取得了一定成果，使用较为广泛的主要为CORDS系统、TSIMMIS系统以及基于SSH架构的数据集成系统。其中，CORDS系统主要是通过对多源数据之间的关系进行研究，以此为基础，对其进行集成，满足用户查询与提取的需求;TSIMMIS系统主要依据中间描述语言对中间件与包装器进行组件，以此为工具，在混合型大数据中对需求数据进行查询与提取，实现混合型大数据的多源集成;基于SSH架构的数据集成系统通过对混合型大数据进行深入研究，通过Spring，Struts与Hibernate技术，提升了数据的集成度与耦合度，并采用Hadoop技术对大数据进行多源集成。上述三种方法具有各自的优势，但是其均存在着集成度较低、耦合度较低的缺陷，无法满足用户对数据提取的需求，为了解决上述问题，基于复变函数对混合型大数据多源集成系统进行设计[2]。复变函数指的是自变量与因变量为复数的函数。通过复变函数的应用，可以极大地改善混合型大数据多源集成系统的性能，对现有系统存在的问题进行解决[3]，同时，设计测试实验对系统性能进行相应的测试与分析。

1  混合型大数据多源集成系统架构设计

通过对现有系统存在问题的分析，本着解决问题的目标，对混合型大数据多源集成系统架构进行设计[4]。混合型大数据多源集成系统架构如图1所示。

如图1所示，混合型大数据多源集成系统架构设计主要采用前后端分离的形式，软件开发主要采用MVC结构，完成了系统每个层次的封装处理，使数据调用过程相互独立，为系统安全提供了有效的保障[5]。

2  混合型大数据多源集成系统硬件设计

混合型大数据多源集成系统硬件设备主要为计算机体系，其主要由处理单元、存储单元与输入输出单元构成[6]。计算机体系硬件结构如图2所示。

2.1  处理单元

处理单元是计算机体系的大脑，其核心硬件为处理器，通常采用CPU对其进行表示，CPU实质上是一个集成的运算器与控制器。其中，运算器主要进行算术与逻辑运算，分为算术逻辑单元与运算寄存器组;控制器主要获取指令，经过相应的处理向各部件发送控制信号，分为指令寄存器、指令译码器与程序计数器等[7]。CPU参数设置情况如表1所示。

表1  CPU参数设置

[参数名称 表示内容 参数设置 主频 CPU内部元部件的工作频率 1.7 GHz 字长 CPU处理二进制的位数 32位 外频 CPU进行信息交换的频率 200 MHz ]

2.2  存储单元

存储单元主要是实现计算机体系的记忆功能，是程序代码与数据的载体。存储单元的结构如图3所示。

其中，外部低速存储器是目前使用较为广泛的存储器，一般以磁或光的形式对数据进行相应的存储。

2.3  输入输出单元

输入输出单元是计算机体系的重要组成部分，主要由输入设备与输出设备组成[8]。输入设备主要是将程序、数据、字符、文字、命令等信息输入到计算机中;输出设备主要是将计算机得到的中间结果或者最终结果以数据、文字或者信号的形式输出[9]。输入输出单元电路如图4所示。

通过上述过程完成了系统硬件的设计，但是其无法实现大数据的多源集成，为此对系统软件进行设计[10]。

3  混合型大数据多源集成系统软件设计

系统软件设计主要包括数据库模块、数据查询模块与混合型数据多源集成模块[11]。具体内容如下所示。

3.1  数据库模块

为了实现混合型大数据的多源集成，对数据库模块进行设计，其主要由调度子模块与数据管理子模块构成[12]。其中，调度子模块主要是对数据集成进行相应的调度，数据控制调度表如表2所示。

数据管理子模块主要是对数据库中的数据进行编码管理，其基本信息情况如表3所示。

3.2  数据查询模块

要想对混合型大数据进行多源集合，首先要根据用户的需求在数据库中对相关数据进行查询与提取。现有系统数据查询速度较慢、查询结果较差，为此采用蚁群算法对数据进行查询[13]。

蚁群算法实质上是一种寻找最优路径的概率型算法，原理图如图5所示。

数据查询过程为：

[costx=ixi?α2]

式中[α]表示查询因子。

3.3  混合型数据多源集成模块

依据上述数据查询与提取结果为依据，通过复变函数对混合型大数据进行多源集成[14]。

混合型大数据多源集成过程就是将用户需求数据进行整合的过程。复变函数可以对数据进行抽取、转换与装载，即混合型大数据多源集成过程为：数据抽取、数据转换与清洗、数据加载[15]。

混合型大数据多源集成流程图如图6所示。

通过系统硬件与软件的设计，实现了混合型大数据多源集成系统的运行，为用户提供更加精准的数据。

4  系统性能测试

上述过程实现了混合型大数据多源集成系统的设计与运行，但是对其是否能够解决现有系统存在的难题还不能确定，为此设计仿真对比实验对设计系统的性能进行相应的测试与分析。实验过程中，主要采用设计系统与CORDS系统、TSIMMIS系统以及基于SSH架构的数据集成系统进行对比实验，通过集成度与耦合度对系统性能进行体现。具体实验结果分析过程如下：

4.1  集成度对比分析

通过实验得到集成度对比情况如表4所示。

通过表4可知，设计系统的集成度远远高于现有三种系统，其最大值可以达到97%。

4.2  耦合度对比分析

耦合度表示系统软件之间的耦合力，耦合度越高，则表示系统性能越好。通过实验得到耦合度对比情况如图7所示。

由图7可知，设计系统的耦合度远远高于现有三种系统，其最大值可以达到93%。

通过测试结果显示，设计的混合型大数据多源集成系统极大地提升了集成度与耦合度，充分说明设计的混合型大数据多源集成系统具备更好的数据集成效果。

5  结  语

本文设计的混合型大数据多源集成系统极大地提升了集成度与耦合度，可以为用户提供更加精准的数据。但是实验过程中，由于實验参数的设置，导致实验结果与实际结果有着一定的偏差，虽然不影响实验结论，但是不够精确，因此需要对设计的混合型大数据多源集成系统进行进一步的研究与优化。

参考文献

[1] 刘声.数学专业复变函数教学方法探讨[J].数学学习与研究，2017，12（24）：12.

[2] 王林童，赵腾，张焰，等.配用电大数据多源集成及存储优化方法[J].高电压技术，2018，44（4）：1131?1139.

[3] 余小高，余小鹏.基于Web服务、移动代理和本体的教育大数据集成研究[J].信息通信，2017，45（9）：35?38.

[4] 何伟，张伦宁，贺成成，等.地灾监测的大数据信息平台研究及应用[J].测绘通报，2019（1）：127?131.

[5] 张治，戚业国.基于大数据的多源多维综合素质评价模型的构建[J].中国电化教育，2017，29（9）：69?77.

[6] 王卷乐，程凯，边玲玲，等.面向SDGs和美丽中国评价的地球大数据集成框架与关键技术[J].遥感技术与应用，2018（5）：3?11.

[7] 史欣田，庞景月，张新，等.基于集成极限学习机的卫星大数据分析[J].仪器仪表学报，2018，39（12）：81?91.

[8] 武鸿亮.基于大数据的Web数据集成及数据挖掘技术的研究[J].科研，2017（9）：144.

[9] 章泳，李槐.大数据下的Web数据集成与挖掘[J].电子技术与软件工程，2017，56（22）：184.

[10] 李红斌，王嘉伟.基于多源信息的数控机床故障诊断系统的设计与实现[J].电子设计工程，2018，26（18）：84?88.

[11] 申建建，曹瑞，苏承国，等.水火风光多源发电调度系统大数据平台架构及关键技术[J].中国电机工程学报，2019，39（1）：43?55.

[12] 刘金晶，曹文洁.基于本体论的多源异构数据集成方法研究[J].软件导刊，2018，17（3）：198?200.

[13] 李敏波，王海鹏，陈松奎，等.工业大数据分析技术与轮胎销售数据预测[J].计算机工程与应用，2017，53（11）：100?109.

[14] 刘瑜，詹朝晖，朱递，等.集成多源地理大数据感知城市空间分异格局[J].武汉大学学报（信息科学版），2018，43（3）：327?335.

[15] 潘可佳，王鑫，杨帆，等.面向电力大数据的多源异构数据融合技术研究[J].机械与电子，2017，35（9）：7?11.

作者简介：周志进（1988—），男，贵州贵阳人，硕士，讲师，研究方向为函数论。