大数据AI融合的云边端一体化解决方案

中兴集合融合开放、高效可靠、协同扩展的数据技术，构建起跨云边端的一栈智能平台，实现大数据AI融合发展。

—中兴通讯研究院总工程师王德政

我今天分享的主题蕴含了两项重点，一个是大数据AI融合，另一个是云边端一体化。

数字化转型的过程可以划分成四个阶段：数字化、信息化、数据化、智能化。在这“四化”的过程中，大数据其实一直起着关键作用。其中，智能化阶段更是要求大数据与AI深度融合，发挥数据的深层价值。

现今，数据已经成为企业和社会的重要资产，是新世纪的“矿产”与“石油”，带来了全新的创新方式、商业模式和投资机会。数据就是生产资料，AI是生产力，区块链是生产关系。其中，数据的处理发挥着非常重要的基础性作用，但现在数据处理面临着以下三个方面的挑战。

一是业务方面的挑战，在IT系统或者数字系统的建设中，烟囱系统、数据孤岛及数据与业务的割裂等问题是各个行业的痛点。

二是数据应用方面的挑战，我们对数据的应用过于依赖专家经验，缺乏创新点。

三是架构方面的挑战，在架构向云上迁移的过程中，会出现传输负载过高、实时响应较差、安全程度较低等方面的问题。

面对前两个挑战，我们要引入AI相关的技术手段来破局。面对第三个挑战，我们要采用云边端协同的架构去解决。

那么，我们该如何采用云边端协同的架构呢？

第一，发挥云化的数据中心作为中心大脑的作用，配合边缘节点、终端用户做相应的数据管理，开发融合开放的数据管理技术。

第二，建立跨云数据中心、跨边缘节点、跨终端用户的数据安全体系。边缘节点和用户终端算力是非常有限的，必须与轻量化、高效率的云端配合，才能够实现对完整体系的安全防护。

第三，进行相应的协同计算。要想把一部分AI推理做成轻量化的推理引擎，并放置在边缘节点或终端节点，就要进行协同计算，建立跨云边端的体系框架，形成一站式的智能平台。

关于大数据AI融合解决方案，其核心理念可概括为四个关键词。

第一个关键词是跨云边端的一栈智能平台。它有两个重要的特征：多技术融合和多样灵活的部署形态。

多技术融合也可以说是多生态融合。现在，众多不同开源生态之间存在着割裂的情况，我们需要打通这种割裂的状态，实现多生态的融合。多样灵活的部署形态覆盖了容器、单机、小规模、大规模甚至是多集群的场景，支持弹性伸缩，可进行灵活多样的动态部署。

第二个关键词是融合开放的数据管理技术。它包含全链路工具保障和统一数据服务。

全链路的工具保障指的是在从数据模型到数据处理任务的动态转换过程中，使用全链路的工具把定制化的代码研发流程串联起来。

统一的数据服务指的是完全符合标准规范的、面向用户的统一服务端口。统一的数据服务能够划分用户的角色和权限，通过对数据进行分类，明确相应的技术接口，提供完善的接口审批流程，来实现更开放、更安全的技术管理。

第三个关键词是高效可靠的数据安全技术。数据安全技术的发展要重点关注细粒度安全管控。在数据保护策略以及数据的存储周期上做细粒度分析，优化数据加密存储和数据脱密存储，对数据进行全方位的安全管控和精细化控制。

数据安全技术的技术要点之一是基于策略下沉的大数据脱敏，传统的解决方案是采用中间件对关键字段进行替代和脱敏，但这种方案并不适用于数据量较大的情况，会造成性能下降的问题。我们现在采用的方案是将云端的算法和策略下沉至边缘侧甚至终端侧。

第四个关键词是协同扩展的数据计算技术。在云端、边端、终端，运营环境和资源配置不尽相同，我们采用基于Adlik的云边端协同AI模型部署，以适应不同运营和资源配置环境。

可视化的模型探索工作台是数据计算技术发展的另一个关键点。工作台具有强可视化的特点，以数据为驱动，融合机器学习、深度学习、强化学习、开放互联等特质，并集成了多种深度学习框架，可以帮助用户摒弃编码和底层维护工作，把业务专家从对IT的探索中解放出来，使之聚焦业务问题和应用本身。

我认为云边端协同的技术发展趋势之一是能力下沉。

大數据前期的发展是云化，是数据向云端的集中。但我们发现全盘云化会产生很多问题，需要通过云边端的协同来解决这些问题。云边端协同的整体设计策略及其管理仍在云端，但是能力（例如AI推理能力）会下沉，即在边缘侧部署更多服务。

云边端协同的技术发展趋势之二是生态融合。

大数据AI融合的云边端协同包含四个方向：一是极大极小弹性环境，二是容器/裸金属的一体化，三是异构跨集群数据协同，四是计算存储分离。

（根据演讲内容整理，未经本人审核）