人工智能中大数据技术的应用研究

2023-08-22王龙

通信电源技术 2023年13期

王龙

（中国移动信息技术中心，北京 100032）

0 引言

随着科学技术的飞速发展，以云计算、大数据、物联网为代表的先进信息技术不断涌现。诸多网络资源为大数据技术的广泛使用和发展奠定了重要基础，而物联网信息技术的出现使得有效获得和分析用户数据信息成为可能。人工智能技术的发展过程中涉及心理学和信息科学等多个学科。通过集成网络资源和物联网信息技术等，分析与研究人们的行为变化。在大数据技术的支撑下，需通过转换大数据提升人工智能的发展水平。

1 人工智能及大数据技术

1.1 人工智能技术

人工智能技术是一门新兴的技术，旨在对人的智能进行仿真和拓展，涉及各种理论、方案、技术以及应用系统，可以分析人的思维、行为和动作，并进行分类和推荐。人工智能技术最重要的问题就是如何训练计算机理解人们的行为和思考方式，在不断的练习中锻炼学习能力，获得新的技能和知识，再利用计算机语言进行完善，进而丰富自身技能。计算机系统需要不断利用永久性内存储存大量历史数据信息，并进一步优化整合应用程序，有效提升性能标准。

1.2 大数据技术

大数据技术是一种全新的数据处理方法，具有更多的数据分析和优化功能。该技术会不断更新和变化，与传统的随机抽样数据技术相比，可以对所有信息进行分类和管理，具有价值密度低、速度快、种类多、规模大以及真实性高等特点。此外，基于大量数据，通过使用历史数据和实时变化的数据可以发展出所需的新模式。

2 大数据的关键技术

2.1 数据的收集

随着计算机技术的快速发展，新的信息不断出现。利用大数据技术可以彻底改变传统信息技术的工作方式，使信息处理者可以在较短时间和较少资源的情况下检索和分析信息，并解读收集到的信息，同时可以利用统计分析和概率分析方法对其进行更加智能化的管理，提高人工智能的准确性。

2.2 数据的存储

目前，大部分大数据技术都使用并行数据库存储数据。该方式可以在多个节点上并行处理数据，因此计算效率非常高，具有重要的实用价值。随着数据库的稳定度逐渐提高，基于数据库的信息检索和数据缓存性能也有了很大提升。然而，由于并行数据库系统存在缺陷，用户往往倾向于将数据存储到智能终端。

2.3 数据的表示、检索和随机访问

大数据呈现出多样化和复杂性。检索数据时，传统的数据管理系统会把多个检索引用分别发送至各个数据服务器，以便并行检索数据。然而，大数据的信息处理能力不强，往往不能满足使用者的需要。为逐步改变传统的数据管理方式，可以在Apache Hadoop框架下使用分布式文件系统（Hadoop Distributed File System，HDFS）技术开发大数据源，实现对大数据的随机访问[1-4]。技术人员在进行人工操作时，必须通过人工智能模拟人工操作，通过分析与采集各业务系统的数据，实现该系统的智能化监测。构建大数据平台时，要把生产和财务等方面的信息整合到该平台，保证数据顺畅、自由、高效的交流。

2.4 数据的分析和挖掘

大数据分析具有广阔的应用前景，可广泛应用于人们的日常生活，如网上购物、社交网站上传视频以及图片等。目前，大数据挖掘是大数据分析技术研究的一个热点。该技术可以从海量、不完全、随机数据中找到所需信息，帮助企业和个人降低经营成本，从而更好地进行决策。大数据挖掘的主要方法有信息分析、归纳分析、数据聚类以及Web 挖掘等。

3 大数据技术与人工智能融合发展的意义

大数据技术与人工智能的融合对人工智能的发展具有重要的现实意义。大数据作为一种海量数据集，在实际应用中非常依赖人工智能。例如，在机器智能的帮助下，可以在较短时间内迅速分析和应用大量数据。而人工智能的优势建立在海量数据之上，特别是在机器学习、自然语言的处理、视觉以及自动分析推理人工智能等方向，大数据技术为人工智能提供了非常重要的基础支撑[5,6]。我国已经在人工智能领域开展了大量的研究工作，并取得了一定的成果。将大数据快速和高效地应用于人工智能领域，将推动人工智能技术的快速发展和应用。随着我国对人工智能技术涉及的知识逐步扩展，人工智能技术和研究工作所涉及的数据量大幅增加。通过研究人工智能突破其算法技术的局限，快速分析海量数据，发现其中可能存在的演化规律，能够为社会发展提供真正有价值的信息，有利于为下一代人工智能技术的有效应用和快速发展提供更加充足和高效的基础数据和技术支持。大数据和人工智能之间的融合协调，可以对人工智能的发展起到很好的支撑作用，如图1 所示。

图1 人工智能中大数据技术应用图

4 大数据在人工智能领域的应用

4.1 应用要素

随着计算机理论的发展，各种类型的信息在计算机中的应用越来越广泛，获取有效信息的难度也逐渐提升。将大数据技术引入数据处理，可以为该问题提供快速、便捷、灵活的解决方案，尤其是在统计报表的分析和决策方面。利用大数据的处理与应用技术，能够最大限度地减少人力与物力的投入，并有效提高信息处理结果的正确性。例如，利用数据库就是一种最通用、最有效的应用技术手段，可以快速筛选原始数据中最有价值的部分，筛除没有任何用处的数据，不会影响重要信息的分析和使用。大数据处理环境下，虽然获取的数据信息内容更加复杂，甚至可能无法满足用户的实际需求，但是利用其他信息技术（HDFS 技术等）检索和访问数据信息内容，能够获取用户所需要的信息，进而满足用户的实际需要。

4.2 人工智能机器人

在操作层面和感知层面的设计上，人工智能机器人能够很容易地完成帮助老人和小孩寻找存储号码、播放音乐、早上唤醒使用者以及提供适合其体质的营养餐等任务。通过融合大数据分析和人工智能技术，可以发现人工智能技术的巨大潜能。基于大数据技术，人工智能能够借助传感器获取大量数据，并通过识别系统分析数据，利用结构化人工智能机器人的学习能力调节分析深度，进而提升机器学习算法和数据反馈系统的能力。随着训练样本和网络节点数量的不断增加，网络识别的重要性随之增加。

4.3 智能农业

智能农业是在环境可控的情况下，利用先进的工业化技术优化现代新型农业生产方式，进而在不同季节和非季节气候条件下，实现集约高效的生产。要实现高效和可持续发展，必须依靠现代化的农业系统。现代生物技术、农业技术和新材料的不断发展，提升了农业生产水平，加快了农村发展速度，增加了农产品附加值，提升了农业生产力和农产品质量，推动了农业技术的创新。利用大数据分析可以干预农业生产情况，并通过开展调查研发农村大数据分析应用系统，使农户更好地掌握农村生产的新动向。在数据智能中心技术的支持下，农户可以更好地掌握农作物的产出情况，有助于农户更好地决策农村发展模式，形成了一个基于计算机技术的农业信息处理系统，能够为农户提供更加全面的数据分析服务。

4.4 智能物流

智能物流是现代商务模式发展的必然趋势，也是现代物流技术顺利发展的重要保证。该技术以货物的配送流程为切入点，融合大数据和网络的相关信息，对物流技术进行规范化和实用化的研究。为实现商品物流配送的智能化，需要综合运用多种信息技术。以商品的物流配送服务为例，通过全球定位系统（Global Positioning System，GPS）、移动通信、监测技术等，可以实现一系列的操作功能，从而实现对物流配送整个过程的定位和跟踪，进而满足信息控制目标和技术操作层面的综合要求。

4.5 智能医疗

随着科学技术的不断发展，大数据技术在智慧医院中的应用日益广泛。该技术既能提升医学诊断的准确度，又能提升医疗服务的效率，同时促进医疗资源的有效整合与合理分配。智能医疗系统主要通过智能硬件监控、医院门诊的诊疗记录、个人计算机以及App 终端等获取资料，包括医疗资料、用药资料、使用者资料、药品行销资料、药品使用资料、个案资料以及药品研究资料等。通过运用大数据技术分析患者、医生、制药企业等多个领域的数据，找出与患者相关的疾病，精准判断患者疾病类型，为临床决策提供便利。传统的医疗诊断方法在一定限度上存在不足，如准确性不够、速度慢、容易对患者造成二次损害等。基于大数据的精准医疗可以大幅提高对患者疾病类型的诊断准确率，实现对病人疾病的全面评估，具有重要的医疗应用价值。目前，智能医疗产品已被广泛用于妇科和肿瘤等医学领域。

5 人工智能中大数据技术的发展趋势

5.1 实时大数据和人工智能技术的应用持续发展

目前，云存储技术在大数据领域取得了长足进展，尤其是在云存储环境下，可以更好地为用户提供可伸缩的存储空间，降低了数据规模。然而，随着云存储技术的大规模应用，出现了大量离线计算技术，对数据的实时分析与计算的要求不断提高。传统的大规模数据与大规模并行处理方法存在较大的时延问题，已不能适应大规模应用的要求。对数据的实时性分析不仅需要数据支撑，还需要计算和机器学习等系统部件的支持，从而缩短从数据生成到价值生成反馈给生产系统的时间。例如：Kafka 软件是一个建立在非同步信息处理基础上的“事实标准”，在大数据的实时处理领域具有重要的应用价值；Flink 技术是一种新型的实时数据处理技术，目前已有大量的实时数据处理系统使用或迁移到Flink。此外，Kafka 能够完成从消息系统到实时处理，Flink 能够完成从实时处理到实时机器学习，基于主流的实时系统组件，可以很容易地构建实时特征计算和实时机器学习系统。

5.2 推动人工智能应用异构平台的发展

随着数据规模的不断扩大和网络带宽的不断提升，存储与计算分离的系统数目日益增多。将存储与计算分开，能够更好地控制与隔离存储和计算资源，提升整体运行的稳定性，且对于在线HBase 等在线大数据部件的稳定可用性至关重要。传统的基于商用计算机的大数据平台具有较强的软件容错能力，因此不存在稳定性问题。存储方面，随着固态硬盘（Solid State Disk，SSD）的价格越来越便宜，各种支持SSD的软件与技术越来越多，如AeroSpike 软件可以极大地提高SSD 的可扩充性，同时可以极大地减少内存技术的开销。持久性内存的出现给数据存储和存储技术的发展带来了革命性的变化。计算层次上，图形处理器（Graphics Processing Unit，GPU）为深度学习等计算密集型应用提供了有力支持，其中CPU 和GPU混合配置成为一个发展方向。云计算技术尤其是容器技术的兴起，将为大规模异构存储和计算提供新的解决方案，有助于提高数据中心的总体资源利用率。

5.3 构建端到端整体解决方案

随着人工智能技术的快速发展，特别是在工业领域的广泛应用，使得大数据与人工智能平台的深度融合成为可能。首先，在开发过程中需要在大数据平台上构建和验证数据特征，并按照机器学习的要求统一处理数据；其次，将该算法上传到人工智能训练平台，并进行训练；最后，通过多个超常参数的调节与特征工程，将建立的模型应用于线上平台，从而达到实时预测用户行为的目的。该过程涉及多个平台之间的相互转化和数据交互，导致每次数据处理和实验等操作都要在不同平台之间来回切换，不但会降低人工智能应用的开发效率，而且不能满足日益增长的商业对人工智能应用发布时间的要求。因此，构建一套端到端的人工智能大数据平台是一个迫切需要解决的问题。终端用户可以利用人工智能大数据平台，快速构建出一套完备的机器学习模型。该过程中只要进行一些简单的操作，就可以修改所有的数据和模型，从而实现数据和模型的有效统一。