IBA 融合架构建模技术及算法特征*
2020-04-25黄孝斌王国金孙希法司博章
黄 飞,黄孝斌,蒋 辉,王国金,孙希法,司博章
(北京时代凌宇科技股份有限公司,北京 100012)
0 引 言
架构在实践中,通过分层按照场景构建需要和南北东西向对源数据、特征数据、决策数据,科学进行治理规整、重混重构、分析控制、预测决策,实现了物联网技术、大数据分析技术和人工智能技术的高度协同统一和完美结合,扩展了物联网、大数据、人工智能的应用范围,提升了应用质量,发挥和升华了数据价值,为有效驱动技术进步和产业发展注入了新动力。
1 IBA 融合技术的概念
IBA(Internet of things,Big data,Artificial intelligence)融合技术架构即物联网、大数据、人工智能融合技术架构,是基于全量数据并采用分层认知和四向协同的新型技术架构,是按照一定的规则,运用物联网技术、大数据分析技术、人工智能技术实现目标设定所需的检测,控制、协同、预测、决策的多维数据深度关联,挖掘分析和智能算法综合运用的数据处理过程的表述。
它的含义是运用现代信息技术对物联网获得的时序感知数据、互联网获得的人机数据,在一定的规则下,综合运用物联网技术、大数据分析技术、人工智能技术实现完成目标设定所需的监测、控制、协同、预测、决策的数据处理过程的表述。本质是对架构体系内所包含的全量、多维、多源、异构、时变数据进行横向纵向的协同、科学的关联与综合分析,选取适当的融合模式和处理算法,实现对物联网、大数据、人工智能技术在架构内的表达方式互补、结构互补、功能互补、层次互补。它的内在运行规律是系统动态过程中的一种数据综合加工处理过程,是物联网、互联网技术融合发展到一定阶段的产物,是传统物联网架构的完善和延伸,是万物智能、万物互联的基础。
本质特征:(1)系统内全量数据按照一定的规则治理规整、重混重构,即将数据单元和业务元素纵向进行拆分,横向进行组合、整合、聚合,实现IBA 技术和应用中的“你中有我,我中有你”;(2)架构内多层级的数据分析集建立与认知优化、反复迭代的融合模式选择以及多类型的算法处理,实现按需配置,多维智能分析控制,预测决策。
2 IBA 融合技术架构的内涵
2.1 业务维度
依照规则对大数据、物联网、人工智能的业务元素进行横向重构和纵向拆分,进行整合、聚合、组合,让数据的融合重混、业务的创建、应用的创新得到实现。
2.2 应用维度
对物联网、大数据、人工智能通过场景构建实现各类技术在同一应用中的“我中有你,你中有我”的融合,提升应用层级,满足用户体验。
3 IBA 融合架构的设想
3.1 IBA 融合架构的设计理念
IBA 融合架构继承了传统的物联网架构的一般理念,引入了互联网人机数据,综合运用了大数据技术和人工智能技术,实现了物联网、大数据、人工智能的完美融合。较传统物联网架构而言,IBA融合架构数据价值和应用范围发生了质的变化,其围绕“全面感知,纵横协同,分层认知,多维智能,按需配置,安全可控”的核心思想进行构建,全面实现了对万物的感知,即人机物相连;打通东西向数据流,实现边缘协同,端边云协同;抓住认知事物的本质,通过分层认知探索事物的运行规律,实现科学决策;在架构的不同维度,按需实现等级智能化、架构功能弹性配置和安全管理自主可控。
3.2 IBA 融合技术架构的设计思想
IBA 融合架构的实质是系统内全量数据按照一定的规则治理规整、重混重构的过程,目标数据复杂跨域,多源多维,融合过程需要面对结构、半结构、非结构化数据,面对全空间的子空间的、同步的异步的、数字的非数字的复杂环境,面对确定的模糊的甚至是动态变化的场景,进行一系列的目标数据格式转换加工治理、深度的关联分析、多层次的数据分析集优化、反复迭代的融合模式选择以及算法处理,实现科学决策和最优控制。
4 IBA 架构数据融合分析建模的基本思路
4.1 数据采集层融合分析建模的基本思路
数据采集要把目标对象的状态、人机界面观测事实信息形成的数据进行数据统一采集,再把场景需要向上传至网关、大数据平台或服务器,依照多维智能的理念,在前端实现微闭环智能控制。
4.2 数据汇聚(网关)层融合分析建模思路
进行数据融合要把由南向北的目标数据分层融合,把再边缘认知层数据进行重新混合。在分布式服务器层的数据进行重混时,要使用调度型特征,在大数据平台层进行决策型数据重混。工作原理:先把不同传感器组合输出的数据,对各种数据源的、不同量纲、不同量级、不同表现形式的数据做第一次规整;其次,一级处理是对各种数据集的操作,包括校对、相关分析、识别、变量或数据的综合等,按照场景需要选择数据融合的节点,创建多源数据库,使用弹性路由技术通过路由协议建立路由回路数据,贯通东西向数据流。通过自读取、自操作技术按需提取特征关联数据进行数据治理,数据一致性描述得到实现,再对控制型数据实施重混或者创建数据分析集,通过相关算法在边缘层实现更高效率的智能应用和控制。
4.3 数据决策(大数据平台)层融合分析建模思路
对全量数据再次进行融合,其中包含物联网感知域数据、分布式认知域汇聚及分析衍生数据中的可供预测和决策的数据、边缘认知域汇聚分析计算的衍生数据、相关个人的消费数据中可对目标状态产生影响的可供预测决策的数据、相关企业的CRM与ERP 数据,经过对数据的理解、研究、转化、清理,并对数据按照规则组合和重混,创建分析数据库,综合应用概率统计、模糊数学、Data Mining Algorithms、神经网络、Rapid Miner、决策树等多学科,实现科学决策和预测。
5 几种典型的IBA 融合模型
5.1 数据采集层融合模型
在数据采集边缘侧,对来自同一目标物不同层次、不同维度通过多传感器对多源数据进行监测互联、相关组合、分析计算、预测决策,得到目标物被测对象数据的最佳一致的统一描述。它与单独的传感器数据相比可以获得更准确、更全面的信息,更有利于数据的分析挖掘利用,有利于边缘侧人工智能技术的应用。模型如图1 所示。
图1 边缘侧感知数据融合模型
5.2 数据汇聚层融合模型
在IBA 融合结构下,边缘侧数据汇聚层贯通东西向数据是实现数据纵向分拆、横向重混的关键。通过新一代网络技术的持续演进,边缘侧数据汇聚节点存储处理能力的指数化提高,轻量级OS 的迭代推出,加之弹性路由技术和多线程访问技术优化,使其成为可能,模型如图2 所示。
图2 边缘侧数据汇聚层融合模型
5.3 分布式认知层融合模型
分布式认知层是更高层级的大数据人工智能的融合应用,其数据来源跨越了物联网数据范畴,海量的人机对话数据和海量的物联网数据在此进一步交汇、治理、抽取、加工、关联,按需重混、重构,学习、训练、实现更深入的数据挖掘分析和人工智能应用。模型如图3 所示。
5.4 数据决策层融合模型
跨域多维数据融合应用,目标数据包含子空间和全空间的数据、模糊数据和所有已确定的数据、异部数据和同步数据、非数字的数据和数字的数据。所述的这些数据是多维多源复杂的数据。系统动态过程中的一种数据综合加工处理是它的特征,数据互补是其本质,即“结构、功能、表达方式、不同层次”互补,实现系统产生质的变化的方式是互补数据得到融合[1]。此种融合和以往数据融合的变化存在很大不同,这种主要对多维数据进行综合分析和关联,提高数据质量是通过构建科学的分析集合相对应的算法实现科学决策。融合模型如图4 所示。
图3 分布式认知层融合模型
图4 数据决策层融合模型
6 IBA 融合技术架构中数据融合算法的选择
根据融合目的,在不同的认知层选择恰当的融合节点外,同时应重视科学选择实现最优决策的算法。
6.1 边缘侧数据融合算法
在随机类方法中[2],加权平均法是数据融合中最简单和最直观的方法。此法的工作原理是将一组传感器收集到的冗余数据加权平均,处理后的结果即为融合信息,一般用于处理动态低水平的数据。卡尔曼滤波法主要融合低层次实时动态多传感器冗余信息。此法对系统噪声和观测噪声都有要求,即它们都要为高斯白噪声,且只适用于线性系统模型。多贝叶斯估计法是融合静态环境中多传感器低层数据的常用方法。D-S 证据推理方法用于融合前提条件不完整的信息,将局部成立的前提与全局成立的前提分离开来,具有直接表达“不确定”和“不知道”的能力。
6.2 分布式认知层和大数据平台层数据融合算法
在分布式认知层和大数据平台层,IBA 融合技术架构较传统物联网架构的物与物的互联外,融入了更高级别的“人”与“物”的互联,突出特点是任何“物”都将具有语境感知的功能、更强的计算能力和感知能力[3]。用于预测决策的大数据挖掘分析算法常用的有逻辑回归算法、K-Means 聚类算法、支持向量机SVM、最大期望(Expectation Maximization,EM)算法以及朴素贝叶斯(Naive Bayes)等。
逻辑回归算法是解决工业问题中比较受青睐的一种分类算法,实现简单,分类时的计算量非常小,速度很快且所需要的存储资源低,但是当特征空间很大时,逻辑回归的性能不是很好,模型容易出现欠拟合现象,从而导致准确度下降[4]。K-Means 算法用于解决聚类问题,处理大数据集的可伸缩性和效率较高,但是需要随机选择初值。初值的选择会决定聚类的结果,从而使得算法不稳定且会出现局部最优情况[5]。支持向量机SVM 是一种适合小样本的学习方法,全局最优解可以利用已知的有效算法计算得出,但其对大规模的训练样本实施难度较大,训练时间较长,且模型对参数和和函数的选择较为敏感。
7 结 语
由于IBA 融合技术架构是一个全新的概念,形成成熟的理论还要进行深入的探索和研究,但是IBA 融合技术架构的出现,为继C/S、B/S 物联网架构后的创新带来了新的曙光。相信对IBA 融合架构下技术实现路径和融合模型的建立探索,一定会促进和带动新一轮应用的创新和产业的发展,为推动物联网智能化和万物互联打下牢固的基础。