人工智能大数据平台研究及运用

申屠晓明 沈旭东

（1.浙报融媒体科技（浙江）有限责任公司 浙江省杭州市 310000）

（2.浙江大数据交易中心有限公司 浙江省杭州市 310051）

随着人工智能技术的细分场景越来越多，人工智能带来的第四次工业革命浪潮开始对人们的日常生活产生深刻的影响，众多传统行业借助人工智能赋能产业结构，不断升级换代与创新变革，新产品也在不断涌现，人工智能也在潜移默化改变着生活的方方面面，具体包含工业、农业、科技、车辆等方面。而人工智能之所以取得突破性发展的一个重要原因就是始终拥有大数据的支持，在大数据的支持下能够更好的整合应用大数据信息，根据人们的需要来为人们筛选和整合各类数据信息，从而发挥出数据信息在人们实际生活中的重要作用。

1 人工智能和大数据的关联

大数据和人工智能两者最核心的部分都是数据。大数据的主要工作是对数据进行各种转换和存储。而人工智能的主要工作是学习数据并且得出模型。人工智能天然需要大数据的基础，因为人工智能需要各种形态的数据，而我们得到这些形态的数据，必然离不开大数据。就此而言，他们两个合在一起，才是一个完整的工作流。所以大数据平台要和人工智能进行整合，有两个核心点：数据的交换和统一的语言。无论进程内还是进程间，数据交换最高效的方式是通过Apache Arrow。那么数据交换的问题算是有了一个标准。大部分大数据基础软件都是Java/Scala，而人工智能则是Python based on C++/C，但是学习成本依然不低，而且对于数据的操作，他其实不是最优的。对数据操作最优的是SQL。为此，在数据处理改进上可以将SQL 内嵌到Python 里。

MLSQL 是一个SQL 形态的语言，保留了SQL 的大部分特性，同时对除了查询以外的语法做了必要的简化，同时内嵌python 支持。MLSQL 可以单机或者分布式运行。配合MLSQL Console 系统，基本可以覆盖人工智能同学工作的大部分时间。

假设用户希望使用python 对一张表里的每条数据进行处理，那么会写如下的代码：

上面的脚本可以直接将python include 到MLSQL 脚本里，并且通过!ray 命令在指定的数据集上运行对应的python脚本，并且可以是分布式的，也可以在单个节点上运行python。MLSQL Console 提供了对Python 单脚本，Python项目的支持，同时MLSQL 支持通过!pyInclude 或者直接在MLSQL脚本中写python从而可以对任何表的数据进行处理。

在具体应用操作的时候，大数据技术的使用是为了获得洞察力，比如奈非网站可以根据人们观看到的内容去了解电影和电视节目，并根据用户的需要来为其提供满足其需求的电视节目。人工智能是关于决策和学习的技术形式，不管是自我调整的软件，还是医学领域的检测样本、自动驾驶领域的汽车，人工智能都会根据各个领域的发展需要来计算出样本数据信息，减少数据信息的使用错误。

2 人工智能大数据平台

2.1 人工智能大数据平台

2.1.1 平台打造

大数据平台的打造需要技术人员发挥个人能力积极统计和整合各层业务数据新，根据用户的实际情况确定数据接口，依托人工智能模拟人工操作，由此快速、全面的收集和展示数据信息，完成相应的技术操作，由此实现数据信息的互通互联，完善数据信息的查询管理。同时，在大数据平台的支持下还能够实现产品营销、人员配置和财务业务的有机融合，强化关联数据信息的综合使用，由此来增强数据信息的挖掘深度，最终打造出高质量、合作共享的数据信息综合管理应用平台，为企业内外部数据信息的整合应用提供技术支持。

2.1.2 平台管理

（1）在人工智能技术和其他技术手段的综合使用下来提升数据信息安全管理水平。为了能够更好的管理大数据平台数据信息，结合用户需求为其提供要的数据信息，可以依托人工智能来对传统数据信息实施智能模拟，在不改变当前数据信息的基础条件下来提升数据管理水平和管理质量。借助大数据平台能够对数据信息进行统一的管理和存放，由此会保证数据信息的安全性、使用性和完整性。

（2）强化数据信息的共享应用。为了能够更好的实现不同系统之间的数据信息共享应用，需要工作人员借助人工智能模拟用户的信息使用行为保证数据信息的应用安全。在打造企业大数据平台的时候，可以将企业的生产、销售和财务管理信息等融合在一起，在没有搭建接口的情况下实现数据信息的自由交换和共享应用。

（3）通过对系统界面的定制来实现对系统运行信息的监督管理。在大数据信息系统打造的过程中需要全面调查了解用户的个人信息情况，根据用户信息情况来制定出满足用户需求的界面类型，将关键性的数据信息予以简化呈现。在大数据平台的支持下可以通过通信监控模块来对系统内部的设备运行和情况进行全过程的监督管理，通过监督管理全面了解系统设备的运行情况。

2.2 操作

（1）数据个性化处理。在大数据网络平台打造的过程中可以根据用户的不同使用需求来对不同业务系统层面的数据信息进行处理和展示，从而为企业财务管理提供精准的服务支持。在大数据平台作用下能够有效实现不同数据信息的交换、查询，在人工智能技术的支持下不仅能够提升系统数据共享性能，而且还能够实现对企业发展建设的一体化管理，帮助用户在第一时间找到自身发展所需要的信息，避免用户登录多个系统的繁琐，实现信息查询的便捷化、简便化发展。

（2）业务大数据分析。在技术的支持下能够对系统内部的数据信息实现横纵向的比较分析，在这个过程中及时检测和发现系统运作存在的不足，预测企业发展所遇到的障碍，从而为企业的决策管理提供更多有效的数据信息决策支持。

（3）业务系统自动巡检。在大数据技术支持下人工智能大数据平台的性能侦测水平得到提升，在具体运作的时候能够对企业的业务系统实施全方位的检测分析，由此在第一时间发现系统运作隐患，对企业的运行发出警报，提高企业及时做出调整和反应。和传统意义上的人工巡检方法相比，业务系统自动巡检不仅能够缩短时间间隙，而且还能够为企业专业管理提供更完善的技术保障支持，提高企业管理工作量。

3 人工智能大数据平台的未来应用情景

从当前的人工智能应用场景发展情况，现阶段人工智能仍然以特定应用领域为主的弱人工智能，比如图像识别、语音识别等生物识别分析，比如智能搜索、智能推荐、智能排序等智能算法。

3.1 人工智能大数据平台在通信领域的应用

社会的进步发展推进了通信行业发展，通信产业是世界各个国家和地区高度重视的产业，该产业的发展得到了一系列政策和资金的扶持，5G、物联网等是通信行业发展的重点。在国家提出5G 通信技术之后，这类技术在人类社会发展的多个领域得到了广泛的应用，形成独一无二的商业运作模式。在宽带固网建设发展方面，全光网的建设成为一种发展的必然，宽带战略成为各个国家发展的基本战略。宽带市场的主流数量达到了千兆级别的状态。在通信领域发展的过程中，借助人工智能技术能够在最大限度上利用宽带自动化存储，实现信息存储和检索的自动化发展，改进数据通信过滤、搜索、通信语言翻译等技术，由此会拓展通信技术的应用空间，为5G 应用创设良好的环境支持。

3.2 人工智能大数据平台在安防领域的应用

在未来，安防工作的开展将实现从事后追查到事前预防发展，而这一突破性发展转变的一个重要关键力量就是人工智能。依托人工智能技术的智能安防系统具备车牌识别检测、人脸识别分析、目标分类管理等功能，被人们广泛的应用到移动目标的运行检测、目标识别、车辆检测、入侵防范、人流统计分析等领域。基于人工智能大数据平台的安防系统构成如表1 所示。依托人工智能大数据平台的安防系统包含前端感知、数据传输、数据存储、数据后台控制、综合管理平台等。当前，芯片被人们广泛的应用到安防前端设备和后端系统，包含SoC 芯片，包括CPU、图像信号处理、视音频编码模块、网络接口模块以及处理纷繁数据信息的CPU 模块。

表1：人工智能大数据平台安防系统

3.3 人工智能大数据平台在金融领域的应用

金融领域是当前社会经济发展的主流领域，金融科技是金融领域发展的重要支撑力量，在发展的过程中涵盖了整个金融科技的生态圈，包含支付清算、融资、金融基础、大数据、交易、投资管理等。基于人工智能大数据平台的金融科技包含智能投顾、监督科技、数字银行、支付和清算等，其中，智能投顾、保险科技发展速度最为快速。人工智能大数据平台支持下的金融科技发展具体内容如下：

（1）金融行业借助传统意义上的计算机软硬件系统来实现办公电子化、数字化发展，有效提升系统业务效率。

（2）依托人工智能大数据平台打造出金融在线业务平台。借助互联网或者移动终端渠道来全面收集整理用户信息，实现金融资产端、交易端、支付端的互通互联。互联网金融发展的本质是对传统金融渠道的变革，在网络平台的支持下能够实现信息共享和业务融合，具体包含互联网基金销售、P2P 互联网借贷、互联网保险。

（3）金融业通过大数据、计算机、人工智能、区块链等技术形式改变了传统金融信息的收集来源、风险定价模型、投资评估决策，大幅度提升了传统金融业务服务效率。

大数据平台在供应链预测分析中的应用如图1 所示。

图1：大数据平台在供应链预测分析中的应用

3.4 人工智能大数据平台在汽车领域的应用

（1）在安全行驶中的应用。安全性是汽车行驶的重要需求，通过人工智能技术能够提升汽车行驶的安全性，具体表现在以下几个方面：①人车交互。依托大数据技术的人车交互能够实现对驾驶人员状态、情绪的实时性监督控制，根据控制结果来采取对应的防范措施，利用刺激反应来打造模型。在驾驶人员反应和刺激条件发生联系的时候，人工智能化会实现自动驾驶。②车车交互。通过对临近汽车数据信息的检测分析，来将车辆的急刹信息传递到后方汽车，从而帮助驾驶人员做出正确的判断，拓展驾驶人员的车辆驾驶感知范围。③车网交互。通过智能技术加速发展感知、定位、通信技术。同步发展多源信息融合技术。推进道路交通设施的信息化和智能化。

（2）在操作技术上的应用。①智能刹车。对手动变速汽车上坡的刹车功能做出进一步的扩展，通过倾斜角传感器来对车辆的倾斜方向进行检测。②车内控制。借助人工智能技术，在车内控制系统中打造一个自适应、自控制的智能化系统，实现对复杂化交通网络的分析。③智能通信。创设具有信息交互功能的智能通信系统，对汽车行驶过程中的汽车之间、汽车和道路之间的数据信息实现交互处理。

（3）在汽车舒适度上的应用。①智能按摩座椅。驾驶人员在长时间的驾驶后会出现精神疲劳的问题，借助智能按摩座椅能够对驾驶人员的劳损部分进行按摩，提升其行车舒适度。②车内空气质量监测。借助人工智能的气敏传感器来度汽车内部的空气开展实时性的监测。

3.5 人工智能大数据平台在机器人创作中的应用

通过对人工智能机器人操作层面、感知层面、认知层面的设定来借助机器人帮助老人和儿童找到存储的号码，播放用户想要聆听的音乐。在大数据和人工智能技术的综合配合下还会为结合人工智能机器人来打造出类似人大脑的思考决策系统，借助信息传感器来对海量数据信息进行收集整理，通过模拟识别引擎来对数据信息进行系统化、结构化分析。使用信息传感器来对海量数据信息进行全面的收集整理，通过模式识别引擎来对数据信息实现系统化、结构化的分析，在对人工智能机器人学习技能设定时会在深度学习算法和数据信息的支持下完善系统反馈机制，对大规模的语料库数据信息进行整理。经过详细的计算会使得1000 万和100 万的神经元整体识别率相差10%，100 亿和10 亿神经元整体识别率的相差会高于20%。

4 人工智能大数据平台网络安全防御

4.1 人工智能技术在网络防火墙中的应用

防火墙是大数据技术在各个专业领域应用的一个重要环节，在防火墙技术的支持下能够顺利阻抗外界不安全因素对系统的阻碍，顺利阻挡信息非法入侵。在引入人工智能之后，可以在系统内外部网络、软硬件、公共网络内部形成智能化的保护屏障，在网络化通信监督管理系统的支持下会为计算机稳定运行提供支持，顺利拦截系统中潜在的安全问题。

4.2 人工智能技术在入侵检测系统中的应用

入侵检测软件在使用的时候也具备网络空间安全防御功能，在具体实施操作的时候通过提前在计算机系统内部安装入侵检测软件能够降低病毒事件的发生概率。将人工智能技术和入侵检测技术结合在一起能够对网络系统平台运行数据信息做出精准的评估和分析，及时发现系统运作潜在的问题，根据系统运作潜在的故障问题来采取对应的解决措施。

4.3 在垃圾邮件安全防范中的应用

大数据系统平台虽然容纳了海量的数据信息，但是这里面也包含比较多的垃圾信息，垃圾信息会危害用户的信息使用安全。用户在经历入侵中毒之前会接收到伪装的垃圾邮件，这些软件会让用户在不知情的情况下遭受不同程度的损害。将人工智能技术引入到大数据安全网络中会借助反垃圾软件系统来实施性的监督分析和控制网络邮件，并将控制的信息整合出具体的分析报告，实现整个智能网络系统的安全升级，在最大限度上保证数据信息的安全。

5 大数据时代人工智能的发展趋势分析

5.1 人工智能的发展趋势分析

（1）人工智能在生活领域的应用。在未来人工智能技术的应用中，相关人员可以利用人工智能技术来为人们的生产和生活提供更多便利支持，如智能手机的更新换代就离不开大数据技术的支持，在大数据技术的支持下使得用户能够通过对自己所在位置的记录来掌握自己每天上下班时间，找到上下班的优化路径。在大数据技术的支持下还能够为迷路的用户提供导航支持，提醒用户的注意事项。

（2）人工智能在工业领域的应用。在大数据数据整合应用的基础上，通过人工智能技术形式来打造出流水线作业模式，加快工业产品的生产，降低工业企业发展成本。

（3）人工智能在医疗服务领域的应用。在先进的人工智能技术的支持下能够替代以往的手工操作，促进现代医疗领域的深化发展。比如一些医学领域的深化发展离不开先进技术的支持，在先进技术的支持下会做出精准的数据筛查和分析，帮助医生了解患者的病情。

（4）人工智能在国防领域的应用。大数据时代背景下人工智能技术在国防领域的应用范围比较广泛，比如人工智能可以被应用到自主多用途的作战机器人系统、军用飞机系统、自主多用途军用航天器控制系统、武器装备自动化排除系统。在多个系统的综合配合利用下能够提升我国国防建设水平。

5.2 注意事项

大数据时代背景下人工智能技术的使用要综合客观实际，因地制宜的将人工智能技术应用到人们的生产生活中，在大数据技术的支持下来更好的促进人类社会发展。在使用人工智能技术的时候要着重关注以下几点：

（1）人工智能技术的使用不能替代人际交往。虽然现阶段的人工智能技术得到了深化发展，但是在实际应用中仍然不能够完全替代人为操作判断。过度的依赖人工智能会降低人类的社交能力，最终降低了智能技术的应用能力。为了能够解决这个问题，需要让你们积极的参与到人际交往中，在这个过程中发挥出人工智能技术对人们生活的促进。

（2）保护数据信息的使用安全。在大数据智能环境下，数据信息很容易出现丢失，由此会使得用户隐私被泄漏或者公开到网络上，最终对用户的财产带来损失。为此，在使用大数据技术的时候需要相关人员强化对网络数据安全的维护，保障用户个人隐私。

（3）降低对人工智能技术的依赖。对人工智能技术的过度依赖会造成人们自身情绪的失控，降低人们解决问题的意识。为此，在使用人工智能技术的时候需要相关人员能够做到恰当的分析和综合选择，由此来从中选择人工智能中理想的一面。

6 结束语

综上所述，人工智能和大数据技术的融合是时代发展的一种必然，为了能够更好的发挥出技术的应用作用，需要相关人员立足社会生产发展实际情况来对人工智能技术进行改进，选择恰当的人工智能技术发展模式，借助大数据技术手段去改变和人们生活不符合的地方，从而更好的发挥出各个技术形式在人们实际生活中的作用。