对基于云计算技术的数据挖掘分析

【摘要】    本文简要介绍数据挖掘、云计算等技术概念，从通信、铁路、电力等行业分析了现阶段数据挖掘技术的使用情况，指出了数据挖掘程序现存问题，围绕云计算技术进行程序开发，以Hadoop为运行环境，增强数据挖掘程序的运行能力，最大化发挥云计算技术功能，带动各行业量化分析工作有序进行。

【關键词】    通信    云计算    市场预测    数据挖掘

在物联网环境中，人们使用多种电子设备，进行网络连接。结合视觉网络数据统计可知：国内移动终端客户数量处于稳步增长状态，在[2016，2021]年间，移动客户数量增加了18倍。预计在2023年，移动用户数量将会是2016年用户数的10倍，移动终端总数将会达到120亿。在此种较大基数的网络数据资料环境下，积极使用云计算技术，各行业开展数据挖掘工作，能够有效获取市场预测信息。

一、技术概述

1.1数据挖掘

数据智能分析是从大量的数据资料中提取有用信息的过程，表现为多级加工程序，含有多个运行流程。在数据挖掘时，按照一定法则进行源数据的提炼、优化，在前期处理完成时，再使用数据挖掘、智能匹配等技术，选择适用算法开展资料分析，继而有效获取数据分析结果。

数据挖掘是数据智能分析的一个环节，在较大数据量、完整性不足、规则性不强、含有噪声、清晰度不高等各类数据资料中，借助特定算法捕获数据中的特定规律，进行有效信息挖掘。此技术的应用，在一定程度上符合特定业务的数据资料分析需求，比如客户消费倾向、学生成绩优势科目等。数据挖掘过程，融合了多个领域的专业内容，比如数据统计、智能学习、规律识别等。数据挖掘技术能够在大规模数据量中，有效捕获价值信息，具有较强的市场预测功能[1]。在数据挖掘技术使用与推广的各项工作中，能够在短时间内完成资料分析，给予人们决策、市场投资等多重参考依据，以量化分析结果获得合理公正的决策方案。

1.2云计算

其一，虚拟化技术。此技术的使用旨在有效解决硬件性能分配不均、老旧硬件运行能力欠佳等问题。虚拟化技术的使用，有效改善了底层物理硬件，使其具有更为透明的特点，对软件、硬件两个模块未进行融合处理。在单个性能硬件中，有效衍生出多组虚拟资源，有效整合虚拟资源，提升物理硬件利用效果。其二，大规模数据处理技术。在云计算技术中，是使用大规模数据处理程序，以并联运行模型为基础形式。在此技术程序中，含有Map、Reduce两种函数。在Map函数处理时，采取逐行数据文件的提取与分析，对预处理完成数据，将其划分至新节点。在数据分配完成后，进入Reduce函数处理环节，完整读取Map处理结果，对中间资料进行合并分析。组合型数据处理技术，对于较大数据量的资料，具有较强的处理能力。与此同时，此技术表现出数据监控能力，能够自主排查数据处理异常位置，进行数据处理任务重启，确保数据处理质量。

二、各行业数据挖掘的使用分析

2.1通信行业应用

“云计算”强大的数据处理能力被广为运用在通信行业。在这个信息化时代下，人们在使用电视、手机、电脑等终端设备时所产生的上网行为数据如果能进行处理和分析就可以挖掘出具有极高价值的信息，例如对用户进行清晰的定位，除了统计学意义上的基础数据之外，还能洞察出他们的喜爱偏好、行为习惯、消费水平等等。信息化程度越高，收集到的信息也越多，云计算能够存储海量的数据，运用分析处理技术，从中为用户得出更有价值的分析。运营商可以运用云计算，根据用户的行业特性从而制定差异化的解决方案 [1]。

2.2铁路行业应用

以运维系统为例，探索云计算技术为基础的智能数据挖掘平台运行情况。

2.2.1智能感知网络

在运维系统中，添加了智能感知网络，有效集成了感知程序、信息处理等技术，以较大数字量形式进行信息传输，具有较强的故障诊断、信息校正、功能补偿能力。系统中以列车感知为主，兼有站场、线路等感知模块。各类感知网络结构中，拥有多个设备检测模块，能够有效捕获设备运行资料，以数据化形式展示运维资料，对于设备运行资料给予量化分析。

2.2.2云计算融合的运维系统

云计算以数据分析、数据处理为技术融合目标。在互联网平台中，较大数量的硬件，依据特定规则进行硬件连接。同时在需求改变的情况下，形成了低能耗、高效率的资源处理体系，在优化基础设施成本的基础上，合理控制设备运维支出。与此同时，云计算表现出较强的计算能力，在存储能力、数据安全等方面具有高性能，在特定硬盘发生质量损坏时，数据不会有丢失情况。在泛式通信体系中，便于用户自由获取数据资料[2]。智能运维系统中，融合了智能感知系统架构中的各类数据，比如监测、检测等。在进行数据整合分析、按类存储时，能够有效处理动态的、非动态的各类数据，确保数据查询有效性，增强数据查询便利性。与此同时，结合各组设备各时段的运行情况，积极使用智能算法，高效率、精准获取故障位置，有效解决系统之间联通问题。

2.2.3运维资料数据挖掘

数据挖掘技术在新型处理体系中，表现出更强的数据决策、数据分析、系统优化各项能力，有效应对数据量较大、增长能力较强、样式多种的信息资源。数据挖掘技术的融合价值，集中体现在有效数据的整合分析方面，确保数据加工精准性，有效提升数据挖掘层次。在铁路运维体系中，采用人工智能算法，进行数据分析，以往期设备运行积存的大量数据为基础，高效运行人工智能算法。

数据挖掘的运行依赖于云计算技术，以分布式架构程序为基础，对数据资料进行高效处理，确保初始资料、处理后数据存储的完整性。在使用数据人工分析技术时，应对较大规模数据量，需要加强数据分析，减少数据判断失误问题。在使用数据挖掘技术时，能够高效获取事件本质与特征。

在铁路行车安全视角下，加强运维系统运行，有效进行车辆性能分析，积极制定预防整治措施，减少铁路行车故障问题，缓解运维人员数据处理、分类、分析的工作压力。运维系统的运行，能够对业务文本、语音图文、音频各类资源进行预测分析，具有较强的决策指导功能。

2.3电力行業应用

以电网企业为视角，围绕canopy-k-means算法进行数据挖掘实例分析。选择某电网服务的企业用户，调取其24小时时间范围内的用电资料，用作数据分析资料。数据采集频率为15秒一次。数据采集完成时，对数据资料进行聚类分析，结合分析结果，掌握企业用电特点。

使用ETL对于采集获取的数据进行有效处理，使用canopy-k-means算法高效处理数据，获取两个部分数据，开展数据有效分析，获得两种分析结果。其中A类分析的用电规律为：用电集中时段为晚上10点至次日五点，白天用电量较少，电价政策对于A类分析结果而言，有助于企业减少电费支出。B类分析结果为：用电集中时段为上午7点至晚上7点，晚上用电量较少，结合电价与企业用电特点，企业需要适当改变集中用电时间，优化用电成本。结合数据挖掘获得的用电特点、用电规划建议，能够促使企业有效规划用工时间，确保企业运行顺畅，优化用电费用。

2.4教育行业应用

围绕云计算技术，进行案例教学系统创建，同时在系统融合数据挖掘技术，确保各项教学资源高效率使用。教学智能管理系统的构建思路：系统创建时，分别从教育规划、案例资源库、训练题库为模块开发视角，以教学应用为主体，进行系统开发。在系统开发时，依据模型、平台逐一完善系统功能。某高校进行案例教学系统创建，旨在加强案例教学资源收集，为实践教学提供发展平台。教师群体作为案例资源库的主要管理人员，教师在平台中，可有效检测学生学习情况，调取学生在线答题的资料，结合数据分析结果，进行学生分组，开展针对性教学工作。同时，此平台可扩展功能，以资源库原有的案例项目为基础，进行案例题型的标模建设，有效丰富新型案例，完善案例题库，便于学生自主学习。

三、系统设计

3.1数据挖掘程序现存问题

在未融合云计算技术时，数据挖掘系统的运行，依赖于单机、服务器。因此系统结构中，以二层机构为主要类型。更为完善的系统是运行在网络终端的三层架构。在系统运行时，会使用数据移向计算，具有信息前期存储、数据后续集中处理等特点。系统此种运行方式，产生较大时耗、通讯传输成本，甚至提升了数据空间的复杂性。

3.2云计算为视角的系统设计

在云计算技术支持下，能够有效解决数据挖掘系统运行存在的各类问题，兼容数据量计算、数据存储等多项技术，能够对多种数据进行同步分析，表现出较强的数据分析、挖掘技术优势。在系统构建时，含有多种结构层次。

其一，支撑平台。此结构层的运行依赖于数据挖掘技术，能够确保基础信息资料存储完整性。此程序中融合了数据分析、云计算等信息，组建成资源丰富的信息处理环境。其二，功能层。此结构层的使用功能，是围绕用户需求开展多种数据分析与有效信息挖掘，结合用户数据特点，进行市场预测。其三，服务层。在服务层体系中，以客户端为视角，使用数据挖掘技术，能够有效连接客户端、用户，形成信息交互体系，以期从中挖掘较高价值的信息，以信息服务形式向用户传送分析结果。

3.3以Hadoop为运行环境

以Hadoop为运行平台，搭建数据挖掘系统，能够有效运行数据挖掘系统，掌握数据资料的处理过程[3]。

其一，数据预处理。数据挖掘技术在实践应用时，是以大量数据资料为基础。在数据预处理程序中，借助多种先进性技术，对数据进行并行测算、数据更迭，确保数据共享效果。其二，数据存储。数据挖掘技术获得的数据资料，可对其进行多种存储处理，为后续中间数据调取与使用提供便利条件。在进行数据存储时，可搭建不确定关系体系，确保数据存储高效率。其三，数据分析。在挖掘技术中含有多种计算方法，能够对数据信息进行有效处理。在处理静态数据时，处理难度不高，对于数据挖掘技术未提出较高要求。在处理动态变化、类型繁杂的数据时，可使用数据挖掘技术，确保分析质量，提升算法优化性。

四、结束语

综上所述，在未融合云计算技术时，初期的数据挖掘技术在数据量处理、数据分析方面表现出局限性，应对数据量增加、数据类型复杂的情况下，需要进行算法更新、技术升级，以期发挥数据挖掘技术的应用价值，准确获取市场预测信息，为各行业发展给出清晰方向。

参  考  文  献

[1]黄璐辉.云计算在通信行业的特点和应用[J].中国新通信，2020，22（12）：19.

[2]李长鹏，程涛.云计算与物联网技术的数据挖掘分析[J].电子测试，2021（13）：139-140+36.

[3]高晓川.云计算平台下物联网数据挖掘研究[J].电子世界，2021（10）：45-46.

[4]黄敏.基于云计算技术视角的大数据挖掘技术分析[J].数字技术与应用，2019，37（11）：96+98.

文新懿（1988.01），男，汉族，广东潮州，电子与通信工程硕士学位，电子技术工程师，研究方向：工程技术（信息通信） 。