人工智能在大数据时代网络信息研究中的应用

乔庆鹏

(河南财政金融学院 人工智能学院,河南 郑州 450046)

0 引言

当前，大数据时代网络信息的研究还处于不断发展改进中。在技术处理、构架分析等方面还存在着较多的问题。面对动辄短时间内涌现的TB量级的海量数据，虽然可以利用大规模集群进行并行计算，但是查询和分析的即时性对数据处理和挖掘的效率提出了更高的要求。另外，大数据时代的网络信息在对纯文本方面的信息处理上已经拥有较为成熟的方案，但对图像类、影音类数据的处理分析还处在相对初级的阶段[1]。虽然国内已建立起一套大数据背景下的网络舆情的应对机制，但关于人工智能(artificial intelligence,AI)技术发展对网络信息的影响方面的文献则相对欠缺，有待进一步研究。

1 大数据时代的网络信息

1.1 网络信息

网络信息是指网络媒体或网络用户通过互联网所表达的具有自己倾向性与影响力的言论或观点，具有形式开放、传播迅速、内容丰富、互动性强和即时性等特征。随着4G、5G网络技术的发展，联网的设备由PC和笔记本电脑变为手持设备或可穿戴设备为主，移动互联网使得每个联网设备及其使用者成为互联网信息链中的一个节点，在大数据时代，网络信息一旦产生，传播起来就极为迅速[2]。

大数据环境下网络信息以微信公众号、微博、短视频、直播、自媒体(owned media)平台以及各种社交类和资讯类APP等作为信息传播媒介，具有以下较为突出的特点：数据数量大，来源广泛，形式多样，有文字、图像、音视频；数据整体价值高但分散，单个数据价值有限。在大数据背景下，网络信息在数据吞吐量、复杂多变性和传播速度等方面不断发生着演变。

1.2 网络舆情分析处理技术

网络信息分析处理技术是大数据背景下社会科学领域服务于决策管理层的技术，主要包含[3]：

1)信息采集技术。它包含数据的抓取和数据清洗，机器抓取可以采用开源爬虫软件，数据清洗用于去除无关和重复的内容，对抓取的数据进行精简。

2)热点发现技术。该技术通过对大量数据关键词或话题的辨别，统计新闻与目标话题数量随时间的变动情况，分析并预测其发展趋势。

3)热点评估技术。对某一具体热点事件中公众的关注和反馈情况，建立对应的评分和早期预警方案，以此对公众舆论的影响进行评估和引导。

2 人工智能、深度学习和网络信息

2.1 人工智能与深度学习

人工智能随着计算机技术的飞跃成为近十年最热门的研究领域之一，基于人工智能的各种应用不断涌现，最具代表性的例子当数2016年谷歌的围棋程序AlphaGo以41击败韩国棋手李世石，并在接下来的2017年5月3∶0零封当时世界排名第一的中国棋手柯洁。AlphaGo就是人工智能中深度学习的一个典型例子。

深度学习是近些年来人工智能领域中一个新的研究方向，从属于机器学习的一个子领域。深度学习概念源自人工智能神经网络方面的研究，最终目的是通过学习样本的内在结构和表示层次，把所采集到的信息数据进行特征区分，根据相应的识别规则，让机器能够像人一样具备分析学习能力，对文字、声音、图像等数据信息进行特征识别。

2.2 深度学习与图像处理

深度学习作为一个相对复杂的机器学习算法，在图像识别领域得到了广泛的应用，有力地推动了图像识别技术的飞跃式发展，高效解决了很多复杂模式的识别难题。

软件层面，人工智能技术中图像识别过程分为数据信息的获取、数据预处理、特征的选择和抽取[4]、设计和决策分类等环节。识别方式上，常用的有神经网络图像识别，它把现代神经网络算法和传统图像识别相结合，把图像特征映射到相应的神经网络程序里，模拟人类的视觉系统进行识别和处理，如果图像特征和人眼识别记忆及感官判断的图像相匹配，则可以认定识别图像成功。在识别效果上，微软公司凭借深度神经网络搭建的图像识别引擎，在第六届ImageNet图像识别大赛中[5]，在图像检测、识别和分类方面，均以高准确率夺冠。微软参赛方案的分类错误率仅有3.5%，而微软团队认为人类肉眼辨识的错误率可达5.1%。通过这个比较可以得出，与人类肉眼识别相比，机器深度学习在图像识别效率和精准度上更有优势。

硬件层面，美国NVIDIA公司在已经将GPU(graphics processing unit)虚拟化引入人工智能和数据科学领域。2019年，NVIDIA公司宣布其虚拟GPU技术已经完成了 AI、深度学习和数据科学服务器虚拟化等方面的支持。与传统的仅使用 CPU(central processing unit) 的服务器相比较，仅配置了4颗NVIDIA V100 专业显卡GPU的vComputeServer服务器就可以将深度学习的速度提高50倍。 GPU中的CUDA(compute unified device architecture)单元在加速卷积神经网络的训练方面起着重要作用[6]。如果需要更大规模的数据监控识别与处理，人们只需要增加专业显卡的数量即可。硬件性能的日新月异和售价的逐步降低，无疑对深度学习的普及和发展起到了如虎添翼的作用。

2.3 人工智能与网络信息

深度学习是建立在大数据基础上的机器自主学习过程，通过低层组合获得更加直观的表示方式。在深度学习中，如果针对特定任务的模型深度还不够完善，系统就会主动增加所需要的计算单元，从而需要更多的参数和训练样本，而大数据可为其提供取之不尽的资源。另外，深度学习可以通过大数据自主学习提取良好的样本特征，从而提高图像识别系统的性能。深度学习近几年还在诸如汽车自动驾驶、文本分析、语音识别等领域蓬勃发展，而这些在大数据网络信息的研究中都有所体现。

综上所述，在大数据网络信息的研究中，通过引进人工智能，建立合适的深度学习模型，同时结合使用特定的优化算法，进而实现精确识别各种不同模式的目标和对象，譬如图像中的文字、人脸、物品以及车辆等信息，识别的结果可以通过网络反馈给数据端，从而为网络信息提供实时监控和预警服务[7]。

人工智能在大数据网络信息方面的应用不仅仅局限于图像处理识别方面，它是一个复杂的系统体系。智能数据处理算法在机器学习、深度学习等技术的推动下不断发展，文本的语义分析、网络谣言的传播机理、神经网络对于信息的识别等技术的日趋成熟，提高了信息分析技术对数据利用的效率，促进了信息自动分析处理、智能决策技术的不断完善。展望未来，人工智能或将成为信息分析技术的核心，大数据信息预测与监控的实用性、准确性或最终将由其来起决定性作用。

3 结论

以上对人工智能技术在大数据网络信息处理中的应用展开了讨论。人工智能在大数据信息数据处理技术研究充满了挑战性，要搭建好顶层设计，采用高效率的核心算法，选用有高性能、高性价比的硬件方案，以保证人工智能算法在大数据信息处理上及时高效地运行。这一平台的搭建是长期的，需要不断改进和完善，从而为相关部门对大数据网络信息的监管和引导提供数据参考和技术支持。