信息物理融合系统中基于多模态数据的事件模型研究

高静 李建中

摘 要：在信息物理融合系统中，通过部署在系统区域内的传感器节点来获得物理世界的信息。信息物理融合系统通常包含若干个异构的无线传感器网络。这些异构网络包含不同类型的传感器节点，这些节点具有不同的感知、计算和通信能力。将异构的传感器节点获得的不同类型的感知数据融合是一个十分重要并亟待解决的问题。在本文中，我们提出了基于多模态数据的事件模型，以事件为载体将多种不

同模态的数据融合计算。文中描述并定义了信息物理融合系统中的事件，给出了基本事件和复合事件的定义，并提出了事件的合成规则。

关键词：信息物理融合系统；多模态数据；事件

中图分类号：TP393 文献标识号：A 文章编号：2095-2163（2015-）02-

Research on Multi-Modal Data based Event Model in Cyber-Physical Systems

GAO Jing， LI Jianzhong

（School of Computer Science and Technology， Harbin Institute of Technology， Harbin 150001， China）

Abstract： In Cyber-Physical Systems（CPS）， the information about physical world is obtained by sensors deployed in the system area. Generally， a CPS is composed by several heterogeneous wireless sensor networks. Heterogeneous sensor nodes in these networks have different capabilities in terms of sensing， computing and communication. Jointly processing the multi-modal data generated by heterogeneous sensors is an important problem. This paper proposes multi-modal event model， which interstates multi-modal data by events. The definitions and descriptions of atomic event and complex event， the composition rules of the event are proposed in this paper.

Keywords： Cyber-Physical System； Multi-Modal Data； Event

0 引言

近年来，随着信息技术的飞速发展和日益成熟，特别是通信技术、嵌入式计算技术、感知技术和自动控制技术取得的巨大成就和长足进步，使得将计算过程与物理过程融合的信息物理融合系统（CPS，Cyber-Physical System）引起了各国政府、学术界和商业界的高度重视和广泛关注[1-2]。

信息物理融合系统是一个包罗计算、网络和物理环境在内的多维综合复杂系统，通过3Cs（Computation、Communication、Control）技术的有机融合与深度协作，实现信息世界与物理世界的紧密融合[3-10]。

CPS构造了计算、通信与物理系统的一体化设计，即可使系统更加可靠、高效、实时协同，因而其应用前景势必广阔而宽泛。CPS 的意义将物理设备联网，特别是连接到互联网上，使得物理设备具有计算、通信、精确控制、远程协调和自治等丰富功能。CPS 把通信放在与计算和控制同等地位上，有学者认为，CPS将让整个世界互联起来。如同互联网改变了人与人的互动一样，CPS将会改变人类与物理世界的互动。近年来，CPS不仅已成为国内外学术界和科技界研究开发的重要方向，预计也将成为企业界着重发展的重点优先产业领域。开展CPS研究与应用对于加快我国培育推进工业化与信息化融合具有重要意义。

CPS与人类的生活和社会的发展密切相关，并已在军事和生活中获得广泛的应用，具体包括航天航空、军事侦察、智能电网系统、智能交通、智能医疗、环境监测、工业控制等领域。相应来说，智能医疗系统是CPS的一种典型应用，其将医疗设备作为节点，通过有线或者无线的方式互联，可为人们提供实时、安全、可靠的医疗服务。在智能交通系统中，道路、桥梁、路口、交通信号等信息都会被实时监控，这些海量信息也将通过系统进行分析、发布、计算，使道路上的车辆能够实时共享道路信息，而道路管理人员则可通过该系统实时监控各重点路段的情況，必要时甚至可以发布消息引导车辆行驶，从而改善现有的城市交通状况。智能电网使用CPS系统实时监测、远程控制等功能，使各种分布式电源精确、安全地接入电网，是典型的CPS应用。在工业界被广泛使用的物联网也是CPS的一种简单应用，通过将物品接入网络，以实现物品识别、定位、监控等功能。总之，CPS的深入研究和成果应用将改变物理世界与信息世界的交互方式，其理论研究和关键技术具有重要的实际应用价值。

在部分应用中，CPS可以看作是事件驱动的闭环过程，物理世界和对象的状态变化触发CPS的事件，系统通过感知部件获得事件信息，并展开事件数据的融合过程，最后经过分析产生决策，进而控制执行器完成对物理事件的作用。因此，事件模型是CPS系统模型研究中的重要组成部分。

本文提出基于多模态数据的事件模型。这些由多模态的数据组成的复杂事件能够帮助我们更好地理解物理世界。

1 相关工作

文献[11]提出了一种CPS架构以及对应的事件模型。该模型能够统一信息物理融合系统中异构的设备对事件的不同描述。根据信息物理融合系统的层次结构，文中将事件也划分出不同的层次，例如物理世界发生的事件、传感器事件、信息系统事件等等。此外，文中还提出了考虑属性信息、时间信息和空间信息的事件模型，使用该模型来刻画物理世界和信息世界的交互。

文献[12]提出了基于概念格的事件模型。该模型使用概念格来定义信息物理融合系统中事件的复合方式。文中提出的模型不仅能够描述分布式的异构事件的信息，还能够刻画事件在物理世界和信息世界的合成方法。文中提出的事件模型包括三个组成部分：事件的类别以及内部和外部属性，这些信息用来描述事件发生的时间和地点，以及时间的观察者。文中将观察者视为事件，并因此形成了完整的概念格。基于此，则使用和扩展了概念格理论，并进一步提出并定义了一系列满足时间和空间约束的事件合成函数。同时，文中使用智能家居作为模型的典型应用，并测试和实现了CPS 的事件模拟器。

文献[13]提出了一种自适应的CPS离散事件模型。文中指出，CPS涉及大量的事件，从底层的信号到高层的抽象事件。为了合成不同层次的事件，文献[14]提出了基于概念格的事件模型，这种模型使用一阶逻辑作为合成规则。但是文献[14]仍然存在一阶逻辑合成规则的不一致性问题。初始设计中没有考虑到的意外事件可能严重地影响系统的性能，甚至造成系统失效。为了解决这些问题，文中提出了自适应的离散事件模型，该模型使用离散事件演算（Discrete Event Calculus）来克服一阶逻辑合成规则中的不一致问题。另外，文中定义了异常事件规则作为CPS事件模型的自适应部分，这些规则能够解决意外事件的问题。但是，文中系统的自诊断过程并没有提炼为形式化规则，因而亟需进一步的研究工作。

2事件模型

2.1 事件的定义

在信息物理融合系统中，一类事件E可以看作从时间和空间维到布尔变量{true， false}的映射：

E：（T， S） → {true， false}

其中，当E（T， S）=true时，表示事件E在时间T和空间S上发生；E（T， S）=false表示在时间T和空间S上没有事件E发生。

在上面定义中，E表示事件的类别，通常根据某些属性上的数据信息来定义，也可用来区分各种不同的事件。

T表示事件发生的时间。在物理世界中，一些事件是瞬时事件，一些事件的发生却具有一定的持续时间。对于瞬时事件，使用检测到该事件的周期t来表示该事件的时间；对于连续事件，则可使用第一次检测到事件的采样周期tB和最后一次检测该事件的周期t来表示时间区间[tB， tE]。

在信息物理融合系统中，S表示事件发生的地点，可是使用检测到事件的节点的位置信息，即观察者的位置，来确定S的具体位置。事件发生的真正位置却还需要另外计算。例如，事件的位置可以通过观测到该事件的所有节点的感知半径的交集来近似确定。

在CPS系统中，将节点在某个属性的感知数据看做一个数据流。使用表示节点s在t时刻attr属性上的感知数据。其中，

s表示节点的位置信息，能够唯一地标识节点。可以使节点编号，或者节点的位置坐标等。t表示时间信息。由于CPS系统中时间是离散的，可以使用感知周期来表示。attr：value 表示在属性attr上的感知数据值为value。不同的属性对应不同的数据类型，主要包括标量、矢量、多媒体等等。

信息物理融合系统中的事件可以分为基本事件和复合事件两种类型。

2.2 基本事件

基本事件e={t， s， attr： value}表示由物理世界的变化而带来的系统状态改变。基本事件相对比较简单，可以使用单个节点或者同种模态的数据来确定。基本事件在不同模态的数据上的具体表现如下：

（1）对于标量数据：

？ 大于/小于给定的阈值，即vt ≥ δ或vt ≤ δ。

？ 与历史数据的均值差距超过给定的阈值，即。

？ 与邻居节点的数据差距超过给定的阈值，即或者，其中表示节点s的一跳邻居节点的集合。

（2）对于矢量数据来说，基本事件可能涉及以下两种变化：方向的改变或者数值的改变。

（3）对于多媒体数据来说，基本事件可能意味着感兴趣的模式的出现，例如目标的出现等等。

2.3 复杂事件

使用e={t， s， attr： value}表示基本事件（或者称为原子事件）。令是所有基本事件的集合，P为操作的集合，则在集合S中，反复使用P中的操作进行合成，所形成的事件即为复杂事件。

复杂事件描述物理世界的复杂信息或者状态，不能由单一模态的数据确定，一般需由满足约束的多个基本事件复合而成。

事件的合成操作主要包括以下四类：

（1） 時间操作。定义在时间维上的操作，用来描述不同事件发生的时间之间的关系，例如顺序发生、同时发生、相继发生等。

（2） 空间操作。定义在空间维上的操作，用来描述不同的事件发生的地理位置之间的关系，例如相交、包含等。

（3） 数据操作。定义在数据维上的操作。主要包括相同模态的数据上的代数运算以及一些不同模态数据上的运算。例如： +，-，*， /， avg， sum， max， min等。

（4） 逻辑操作。与，或，非。

2.4 事件的检测

基本事件比较简单，通常在单个传感器节点上就能够有效地检测，例如定义在某个属性值阈值上的事件，可以考察当前的感知数据是否满足阈值要求来判断。

复杂事件涉及多模态数据，并且是由多种不同的基本事件构成的，考虑到基本事件之间的复杂关系，因此，并不容易检测。

对于给定的复杂事件模式，以及給定的基本事件之间的关系，可以在感知数据流上使用多态的不确定性有穷自动机来检测事件。例如，对于给定的覆盖操作overlap，e1 overlap e2表示两个基本事件e1和e2的发生时间是重叠的，e1 overlap e2可以分为两种情况，如图1所示。

（a）

（b）

图1两个基本事件e1和e2的重叠情况

Fig.1 Two basic events e1 and e2 overlap

那么，检测e1 overlap e2的不确定性有穷自动机可以设计为图2的形式。

图 2 识别e1 overlap e2的自动机

Fig.2 Automata identifying e1 overlap e2

由于复杂事件可能涉及多种不同类型传感器节点产生的异构数据，复杂数据往往不能使用单一传感器节点检测。

3 结束语

在信息物理融合系统中，通过部署在系统区域内的传感器节点来获得物理世界的信息。信息物理融合系统通常包含若干个异构的无线传感器网络。上述的异构网络包含着不同类型的传感器节点，而且这些节点也都具有不同的感知、计算和通信能力。将异构的传感器节点获得的不同类型的感知数据融合是一个十分重要并亟待解决的热点问题。在本文中，研究提出了多模态事件融合模型，并以事件为载体将多种不同模态的数据实现了融合计算。

参考文献：

[1] LEE E A. Computing foundations and practice for cyber-physical systems： A preliminary report[J]. University of California， Berkeley， Tech. Rep. UCB/EECS-2007-72， 2007.

[2] LEE E A. Cyber physical systems： Design challenges[C]//IEEE International Symposium on Object Oriented Real-Time Distributed Computing （ISORC）， Orlando： IEEE， 2008：363–369.

[3] GROUP C S， et al. Cyber-physical systems executive summary[J]. CPS Summit， 2008.

[4] LIN J， SEDIGH S， MILLER A. A general framework for quantitative modeling of dependability in cyber-physical systems： a proposal for doctoral research[C]//33rd Annual IEEE International Computer Software and Applications Conference（COMPSAC09）， Washington： IEEE， 2009，1：668–671.

[5] Sastry S. Networked embedded systems： from sensor webs to cyber-physical systems[M]. Hybrid Systems： Computation and Control. Springer， 2007：1–1.

[6] BAHETI R， GILL H. Cyber-physical systems[J]. The impact of control technology， 2011：161–166.

[7] BRANICKY M. CPS initiative overview[C]//Proceedings of the IEEE/RSJ International Conference on Robotics and Cyber-Physical Systems. Washington DC， USA： IEEE. 2008.

[8] Krogh B， Ilic M， Sastry S. Networked embedded control for Cyber-Physical Systems： research strategies and roadmap[R]. Team for Research in Ubiquitous Secure Technology， USA， 2007.

[9] TRICAUD C， CHEN Y Q. Optimal mobile actuator/sensor network motion strategy for parameter estimation in a class of cyber physical systems[C]//American Control Conference， 2009. ACC09， St. Louis： IEEE， 2009：367–372.

[10] 李建中， 高宏， 于博. 信息物理融合系统（CPS） 的概念， 特点， 挑战和研究进展[R].哈尔滨： 哈尔滨工业大学， 2010.

[11] TAN Y， VURA M C， GODDARD S. Spatio-temporal event model for cyber-physical systems[C]//29th IEEE International Conference on Distributed Computing Systems Workshops， 2009. ICDCS Workshops， Montreal： IEEE， 2009：44–50.

[12]TAN Y， VURAN M C， GODDARD S，et al. A concept lattice-based event model for Cyber-Physical Systems[C]//Proceedings of the 1st ACM/IEEE International Conference on Cyber-physical Systems， Stockholm： ACM， 2010：50–60.

[13] YUE K， WANG L， REN S， et al. An adaptive discrete event model for cyber-physical system[C]// Analytic Virtual Integration of Cyber-Physical Systems Workshop， USA.：[s.n.] 2010：9–15.

[14] XIE L， ILIC M D. Module-based modeling of cyber-physical power systems[C]//28th International Conference on Distributed Computing Systems Workshops， ICDCS08， Beijing： IEEE， 2008：513–518.

基金项目：国家自然科学基金项目（61033015，61190115）

作者简介：高 静（1985-），女，黑龙江大兴安岭人，博士研究生，主要研究方向： 无线传感器网络、算法设计；

李建中（1950-），男，黑龙江哈尔滨人，教授、博士生导师，主要研究方向：无线传感器网络、海量数据计算等。