基于混合现实与案例推演技术的移动可视化检修决策支持系统

郑利龙，李秉展

(西南交通大学土木工程学院，四川成都 610000)

随着MR(Mixed Reality)技术的兴起，移动检修变得更加直接、有效。传统建筑维护需要由有经验的和经过长期训练的专家来进行，并且维护成本高、效率低。随着新技术的发展，研究人员逐渐开始整合各项新技术用于建筑维护。据统计，绝大部分有关建筑维护管理研究的文章加入了信息技术的内容，认为该类技术使得研究更有价值和意义，且研究者认为，其中的混合现实技术在设备管理中将会发挥出更大的作用[1]。MR技术是通过将计算机生成的虚拟物体或信息和真实环境实时叠加在一起，给用户呈现一个感官效果真实、场景信息丰富的情境。这种虚拟零件和真实零件共存的特点，可以为用户在复杂的建筑维护和检修中提供一种更灵活、直观的方法，从而使得非熟练工人也能够正确地进行建筑维护与检修，达到缩短建筑维护周期、提高检修效率、降低维护成本的目标。

MR用于建筑维护的研究已不新颖，然而很少有将其融入BIM和知识管理的研究。本研究提出整合BIM、MR与CBR算法，集成智能的云端决策支持系统。通过基于CBR技术的云端决策支持系统，可提高检修推荐方案的有效性。CBR作为人工智能发展较为成熟的一个分支，它是一种基于过去的实际经验或经历的推理。研究通过多专业整合的BIM知识模型为基础，打通CBR数据库与模型底层数据库的数据接口，通过云端连接MR系统，形成可视化检修决策支持系统。检修人员一旦发现建筑设备故障后，可通过开发的MR移动端APP扫描设备二维码，云端输入故障描述检索CBR案例库，系统通过问题属性遍历知识库按匹配相似程度反馈故障原因，并提供检修决策支持。维修人员使用后可对系统推荐方案作评价，作为数据回馈，反馈系统自我学习，提高决策推荐的准确性。

1 移动可视化检修决策支持系统架构

1.1 决策支持算法

1.1.1 CBR案例推理

CBR是人工智能发展较为成熟的一个分支，它是一种基于过去的实际经验或经历的推理。对基于案例的推理来说，求解一个问题的结论是从记忆里或案例库中找到与当前问题最相关的案例，然后对该案例做必要的改动以适合当前需解决的问题。“案例”是指以前的具体情况，累积案件结合适当的组织结构构成案例库。

CBR的使用是指一组活动，一个循环。CBR循环包括检索，重用，修订和保留的四个子阶段[2]。遇到新问题时，将新问题通过案例描述输入CBR系统；系统会检索出与目标案例最匹配的案例，若有与目标案例情况一致的源案例，则将其解决方案直接提交给用户；若没有则根据目标案例的情况对相似案例的解决方案进行调整和修改，若用户满意则将新的解决方案提交给用户，若不满意则需要继续对解决方案进行调整和修改；对用户满意的解决方案进行评价和学习，并将其保存到案例库中。从这个意义上讲，CBR是一个自我学习的系统[3]。

1.1.2 案例检索算法

文中描述的案例检索算法来源于Kolodner[4]，这个算法确定案例之间的相似性和确认案例之间的相似值。

(1)

确定一组合适的权重对检索结果至关重要。通常简单地向用户呈现关键因子列表，并要求分配数字权重，该权重反映了它们相对于其他属性对该属性的重要性。然后可以在上面的公式中直接使用这些权重来检索最相似的案例。在该研究中，权重是基于描述原因和故障症状之间的相关性的相关矩阵来确定的。假设一个系统有m个原因和n个症状，我们构造一个相关矩阵。

(2)

aij代表故障表征j发生故障i的可能性。可能性用1，3和5量化，分别表示低，中和高。为了获得合理的相关值，同时避免主观因素的影响，通过模糊评价将专家意见结合起来是获得这些数值的可行途径。本文我们使用AHP(层次分析法)算法，利用模糊运算汇集专家意见。

基于相关矩阵，可以定义各种故障类型的权重为：

(3)

这里，加权值根据故障类型而变化。它们根据真实的故障表征描述每个故障的症状属性。

1.2 系统架构

本文中系统数据架构整体分为两部分：界面端的应用层和后台数据基础。数据基础包括CBR维护知识库以及BIM的模型数据，其中知识层和模型层的数据串接通过关联层实现，IFC协议通过给模型添加属性的方式将维护知识库绑定在BIM模型对应元件ID上，生成带知识的BIM模型，又可称“建筑知识模型”。在数据基础上，将带知识的模型通过Vuforia SDK工具在MR应用层中可视化显示，并通过网络web连接MR平台层与CBR知识库，进行文本的交互。系统架构见图1。

图1 系统架构

1.2.1 BIM与CBR的数据联通

为了将CBR知识模块添加到BIM模块上，附加参数用于BIM模型中表示知识案例属性是必须的(本研究BIM环境为Autodesk Revit)。Revit中表示建筑元素属性的参数有两种：实例和类型参数。对于本研究在BIM元件上存储知识，需添加自定义实例参数。本研究通过在项目中对建筑元件进行族编辑，在族中选择参数属性添加实例参数，所涉及参数有5个大类，分别为：Problem description，Symptoms，Fault source，Cause，Solution。

在BIM元件上添加了一组参数，这些参数表示要从维护信息中提取的案例信息。维护案例与构建元素相关联的参数也包括建筑的细节和分类，其自身定义的建筑属性也需要成为BIM环境上传的构建模型的一部分。如图2所示，CBR模块允许用户创建知识案例，在这个过程中，用户可以将维护案例添加到已存储的BIM元件中。用户可以提交一个建筑元素编号以检索存储在元素中的详细信息，同时可以对应插入新知识案例的详情。在存储时，BIM元素和维护案例都有各自独一无二的ID来区分，来保证多个案例存储在一个元件中时不至于混乱，导致检索错误。IFC作为一个信息交换的标准格式，包含了许多建筑过程的图纸信息与工程资料信息，它涉及项目元素的层次结构关系、几何和属性。系统通过IFC协议在对应元素ID上按照实例参数绑定相应知识后，BIM模块与CBR模块就可以进行实时交互，互联互通。新案例通过前端输入与CBR案例库比对学习后，不断精炼，对于保留的新案例在CBR库中更新后在BIM模块也可以相应得更新其属性参数信息。

图2 CBR与BIM数据互联

1.2.2 BIM与MR的数据联通

实现CBR知识库与BIM模块的数据融合后，要想可视化移动显示模型支持维护决策，需将带知识的BIM模型与MR模块的数据交接打通。MR的工作原理为：生成以空间位置为区别的二维码，其中存有模型相关信息，利用摄像机识别并读取已知二维码定位点的相对位置，通过一系列的矩阵计算得到真实环境中参照点与虚拟环境中坐标的映射关系，然后在标记上描绘出3D物体，最终显示虚拟物体与真实场景的叠加。通过将融入了知识的BIM模型储存为FBX格式，再导入Unity，利用其中的Vuforia SDK，实现BIM模型的MR显示。通过在移动端开发对应的APP，维修人员只需通过APP扫描房间内的二维码，完成简单的定位操作，便可查看真实尺寸的BIM模型与模型对应的维护知识库。通过MR系统的联网功能，可通过Web让用户与后台数据库进行文本的实时交互。

本研究在MR系统的基础上集成运用了Unity和SQL技术，系统与SQL数据库相关联，能够做到信息的交互与更新。通过研究集成运用Unity和SQL技术有效实现建筑信息属性查询和建筑维护决策支持这两个功能，方便用户在建筑维护与检修中与计算机进行实时交互，达到降低维护过程中的成本、提高维护检修效率的目的。MR与BIM数据交换架构图见图3。

图3 MR与BIM数据交换架构

2 案例应用

2.1 项目简介

本研究以某学校新建教学楼为例。该项目位于四川省成都市，用于学校教学与办公，另外还设有实验室、计算机机房等。总建筑面积为76 300 m2，其中地上建筑面积59 400 m2，地下建筑面积16 900 m2。建筑高度为75.35 m，为一类公共建筑。

该项目模型使用欧特克平台Revit软件进行搭建，模型分为建筑、结构、机电三个部分。模型在搭建过程中将各建筑构件的CBR案例通过实例参数对应融入构件属性中(图4)。本研究以空调系统为例来说明研究方法的可行性。

图4 模型实例属性录入

2.2 案例描述

本项目载体采用的空调类型为风管式空调机，研究通过采访咨询空调维护专家意见，总结归纳可能的空调故障源有：(1)F1：压缩机故障；(2)F2：冷凝水排水管故障；(3)F3：过滤网故障；(4)F4：送风百叶故障；(5)F5：加湿器故障；(6)F6：风机故障；(7)F7：风道调节阀故障；(8)F8：加热器故障。

接下来需要定义故障表征。故障表征的描述通常是不规则的和非结构化的。根据空调工作原理及专家意见，将空调故障表征属性定义如下：(1)S1：漏水；(2)S2：加湿不良；(3)S3：供冷量不足；(4)S4：噪声/震动；(5)S5：异物吹出；(6)S6：风量小；(7)S7：不制热。

将这些相关的异常情况症状分为三级0级、1级和2级，分别代表正常、轻微和严重。比如现在维护人员发现一个问题：室内温度降不下来，直接感知是它的供冷量不足，相对风量也较小，所以对应的故障表征供冷量不足应该选择2级，风量小应该是1级。

案例库中的每个案例描述一个特定的情况，所有的情况都是相互独立的。案例结构包括五个主要部分：Problem description，Symptoms，Fault source，Cause，Solution。假设案例库中有一案例：Case1，Problem description：制冷效果差，风量小；Symptoms：(1)S1：漏水：Normal；(2)S2：加湿不良：Normal；(3)S3：供冷量不足：Critical；(4)S4：噪声/震动：Slight；(5)S5：异物吹出：Normal；(6)S6：风量小：Slight；(7)S7：不制热：Normal；Fault Sources：压缩机；Cause：压缩机故障；Solution：检修或更换压缩机。

现在，维护出现一个新问题。对问题的故障表征的观察如下，对于感知到的故障表征，并不需要包括所有的表征。这个新问题所观察到的故障表征是：New Case，Problem description：室内温度降不下来； Symptoms：(1)S1：漏水：Normal；(2)S2：加湿不良：Normal；(3)S3：供冷量不足：Critical；(4)S4：噪声/震动：Normal；(5)S5：异物吹出：Normal；(6)S6：风量小：Slight；(7)S7：不制热：Normal。

2.3 相似度计算

根据前述对于故障发生可能性的定义，将对应故障源发生相关故障表征的可能性用1，3，5三个层级来区分。这个例子的故障相关矩阵为：

各种不同故障源的权重可通过式(3)计算，案例相似度可通过下列公式计算：

表1 案例相似度计算结果

2.4 案例学习

系统将对应案例的解决方法按案例匹配度从高到低提交给用户。选择过程和结果最为相似的解决方案，维护人员对新的故障问题进行讨论，若所推荐的方案确实解决了该问题，使用后提交反馈意见，系统对用户满意的解决方案进行评价和学习，并将解决方案与对应新的问题存储进案例库中。

2.5 系统应用

用户在维护过程中，通过MR移动端APP扫描设备上的二维码，MR界面将调出设备模型，将移动端朝下重置定位信息，从而精确定义设备位置和零件。并可分别点选故障设备查询其构建属性(图5)。

调阅设备后维修人员可直观感知设备结构，以辅助检修决策。基于CBR云端智能决策系统，维护人员即使没有相关专业知识，也可做到精准检修，通过点选设备，系统弹框输入故障描述与对应的故障表征，进行云端(图6)。系统将遍历CBR案例库按相似度推荐检修方案(图7)。维修人员根据系统推荐详细方案检修后作出使用反馈。系统将对反馈的数据自我学习，提高决策推荐的准确性。

图5 BIM+MR互动式应用程序

图6 故障问题描述

图7 系统案例推荐

3 结束语

本研究探索BIM、MR和CBR算法的数据整合方式，通过打通三者数据接口，集成智能云端决策支持系统。系统以多专业整合的BIM知识模型为基础，通过IFC协议云端整合BIM数据库与CBR库的串接；开发MR移动端应用程序，将BIM模型通过MR的方式可视化呈现；基于云端平台，实现了MR网页端与CBR数据库的数据交流。并以实际案例验证了系统的可行性。