基于BIM+机器视觉的工务运维图像数据智能化管理方法研究

2022-07-02校颖浩何越磊路宏遥

土木建筑工程信息技术 2022年2期

校颖浩何越磊路宏遥叶鹏

(上海工程技术大学城市轨道交通学院，上海 201620)

1 研究背景

近年来，BIM技术在铁路建设与运维中得到了广泛的应用，为该领域全生命周期从信息化到智能化的持续推进提供了重要支撑。从时间跨度看，运维阶段在铁路全生命周期中占有最大的比重，因此，智能化运维是铁路智能化发展的重要方向。

工务部门是整个铁路运输的基础，随着工务运维管理的不断发展，工务运维中采集的图像数据越来越成为一种重要的工务运维数据。与传统的工务运维数据(如几何形位数据)不同，图像数据是一种典型的“非结构化”数据，这类数据没有根据一定的结构或规则预定义数据模型，难以进行高效的管理，制约了利用这些数据对工务设备进行更精准和高效的运营维护。

在基于BIM技术的基础设施全生命周期的多源数据管理方面，有许多研究进行了探索，如在文献[1]中，基于数据融合的理念，对建立了工程管理信息系统，该系统基于基本建设程序和地图网格化的时空数据融合方法，为工程建设智慧监管平台的数据集成设计提供了借鉴作用；文献[2]提出BIM+GIS集成平台技术架构方案，以GIS为骨架将BIM-IFC模型数据的分级集成，形成面向城市轨道交通工程的BIM+GIS平台整体技术架构，在城市轨道交通工程领域得到了应用；文献[3]针对建筑设施设备的运维管理数字化水平低及可视化程度低等问题，提出了基于BIM的建筑设备可视化运维管理系统，提高设备运维管理和作业效率，充分保障建筑场所的功能发挥和运行安全。

在图像数据管理方面，有研究尝试利用机器视觉技术，对图像内容进行分析和提取，定义具体的图像数据结构，建立设施全生命周期动态图像数据库，实现设备智能化运营维护，如文献[4]中，在飞机维修的作业环境中，通过识别飞机结构零部件，管理维修过程产生的数据信息和图像信息，辅助维修技术人员的人工作业，提高了数据管理的效率和准确率；文献[5]中，在机械工厂的装配和维护培训中，提出了一种基于室内位置信息的环境感知方法，辅助工厂维修技术人员人工作业，实际应用结果显示，使用这种数据管理方法的技术人员在作业中错误更少；文献[6]中，德国博世汽车服务解决方案公司推出了通用增强现实平台(CAP)，该平台综合运用了环境感知传感器和机器视觉技术，实时的作业数据也可以根据需求快速更新到3D模型、照片、文本、技术图纸、技术手册中，形成多源信息融合的数据库，提升了人工作业和数据管理的效率。

在铁路行业，国内也有对于这些新技术应用的尝试，如文献[7]提出一种基于BIM和移动增强现实技术相结合的铁路工务智能维修方法，可实现作业模拟、自由拆装和信息服务功能，提升了检修作业的效率；文献[8]提出了基于移动终端的铁路设备培训的AR培训系统，实现了图文资料、3D模型的管理。

因此，本文综合了基于BIM技术的工程全生命周期数据管理方法和基于机器视觉的图像数据管理方法，研究了工务运维图像数据智能化管理方法，利用图像数据进一步提升了工务运维作业的精准度和效率。

2 方法的设计与实现

2.1 方法整体流程

工务运维图像数据智能化管理方法的实现过程如图1所示：

(1)在数据层，使用Mysql数据库管理系统，建立轨道板空间位置数据库和工务设施图像数据库。其中，轨道板空间位置数据库中的轨道板空间位置坐标可以根据轨道线路设计资料和轨道布板设计资料计算得到，用于支持工务运维BIM模型参数化建模；工务设施图像数据库用于管理工务运维图像数据，支持从移动端存储和检索查询。

(2)在模型层，定义轨道结构单元，根据轨道板空间位置数据，与真实的工务设施一一对应，参数化建立工务运维BIM模型。

(3)在技术层，将BIM技术与机器视觉技术相结合，提出了一种利用工务设施BIM模型识别工务设备的图像识别方法，利用该方法，再根据图像的内容获取图片数据类别信息。利用GPS定位技术，获取图像数据的位置信息，同时与工务运维BIM模型相关联。

(4)在功能层，开发了图像数据采集和查询功能。在采集数据时，根据图像的类别信息和位置信息，按照关系型数据模型，生成图像数据记录，存储至图像数据库中。在查询数据时，通过位置信息将工务设施与工务运维BIM模型关联起来，使用工务运维BIM模型作为可视化平台，调取图像数据库中的数据，实现工务设施图像数据的便捷查询。

图1 整体流程

通过以上过程，本方法实现了工务运维图像数据的高效管理。在图像数据的支持下，提升了工务运维的精准度与效率。

2.2 工务运维BIM模型建立

2.2.1 轨道板空间位置数据库

BIM模型是信息化模型，也是可视化的数据交互平台。因此，首先根据轨道线路设计资料和轨道布板设计资料，根据文献[9]计算每块轨道板的空间位置数据；再根据文献[10]计算轨道板定位平面坐标转换为经纬度坐标；最终生成轨道板空间位置数据库，数据表结构如表1所示。

表1 轨道板空间位置数据表结构

2.2.2 建立工务运维BIM模型

与设计阶段、建设阶段不同，运维阶段的BIM模型更关注数据的完整性和可交互性。因此，选择Unity三维互动引擎作为模型搭建平台，利用Unity引擎的数据交互API接口，根据设备实际服役状态，不断增量附加相应的数据，形成设备全生命周期完整的数据记录。此外，使用Unity引擎建立工务运维BIM模型，发布在移动端，可以从移动端便捷地调取所需的数据，辅助运维作业。

本文建立的工务运维BIM模型分为线路层级、轨道结构单元层级和模型族库层级，整个建模过程如图2所示，分为如下三步：

图2 建模过程

(1)线路层级

在Unity引擎中，使用WorldComposer插件生成对应区域的真实地图作为底图，然后通过编程语言C#调取轨道板空间位置数据库中的轨道板定位坐标，生成可交互的轨道线路里程控制点，每个控制点对应一块轨道板，在Unity引擎中拾取里程控制点生成轨道线路示意图。

(2)轨道结构单元层级

分析无砟轨道结构，单块无砟轨道板及其相关结构构件定义为1个轨道结构单元，则整条线路可以看作是由轨道结构单元组成的。在定位点生成轨道结构单元后，再根据调取的方向角、仰角数据调整轨道结构单元的角度。

(3)模型族库层

根据对轨道结构单元的层次分析，按照轨道部件的真实尺寸，在Revit软件中建立轨道结构单元的组成构件，然后按照轨道构件的相对位置关系，将其组合成轨道结构单元。

建立完成后的工务运维BIM模型，在Unity平台中通过脚本编程，通过轨道板编号、里程信息、GPS定位信息等多种方式查询工务设施检修台账(包含图片数据)、线路检修数据和维修计划，完成工务运维BIM模型与工务运维多源数据库的关联，在多源数据的支撑下对工务设施服役全生命周期进行智能化检修。

2.3 工务设施图像识别

工务运维中产生的图像数据是一种典型的“非结构化数据”。这类数据当前通常作为工务检修台账的一项进行管理。这种管理方法造成数据结构不固定，不能进行标准化，无法使用关系型数据库管理，在运维作业中难以实时快速查询、更新，也不能与线路检修数据、维修计划数据等结构化运维数据进行融合，使用多源数据融合的方式提升了工务运维的效率与精准度。

近年来，机器视觉技术的不断发展为图像数据的管理提供了新思路。利用机器视觉技术，根据图片内容对图片进行分类和区域提取，定义“线名”、“对应轨道板编号”、“设施类型”、“拍摄时间”等字段建立图像数据库，并根据数据记录对提取的图像区域进行命名保存；然后将图像数据根据轨道板编号与工务运维BIM模型相关联，即可实现对图片数据的结构化管理。

因此，本文使用机器视觉技术，使用工务设施信息化模型生成算法训练图片，以移动端为载体，实现了工务设施图像识别，在此基础上实现了对图片数据对结构化管理。本文以单块CRTSⅡ无砟轨道板为例，介绍了方法的实现过程，并验证了方法的有效性。

2.3.1 方法流程概述

机器视觉领域的目标检测算法，能够识别出图片中的工务设施类型，并在识别的同时提取出工务设施在图片中的区域。将这种算法应用在工务设施识别中存在以下两个障碍：

(1)缺少训练数据集。目标检测算法识别工务设施，需要先使用海量的工务设施图片，人工标注出其中的工务设施区域，输入算法进行训练。由于铁路行业专业性较强，缺少公开地针对工务设施图片数据集。即使搜集到大量的工务设施图片，对图片中目标工务设施的进行区域标注，也是一项繁琐耗时的工作。

(2)目标检测算法对终端设备性能要求较高，巡检过程中使用的移动智能终端性能难以满足要求。有研究表明，不使用实拍的图片，而是使用三维模型渲染图片，同样可对目标检测算法的进行训练[11]。且相较于使用实拍图片，渲染图片可以模拟不同天气、光照、角度下拍摄的工务设施图片，甚至随机的设置模型的位置、材质、光照等参数，可以使算法获得更好的鲁棒性[12]。对于移动端设备性能不足的问题，可以充分利用当前快速发展的云计算技术和5G通讯技术，将算法的训练与推理环节放在云端运行，利用云端设备的计算性能，实现移动端识别工务设施。

因此，本文提出的工务设施图像识别方法如图3所示，分为如下四步：

图3 图像识别流程

第一步：建立工务运维BIM模型，根据运维阶段管理需求，提取出单块CRTSⅡ无砟轨道板及其相关轨道设备为基本识别单元，并将其转化为.FBX文件。

第二步：将基本识别单元导入三维互动引擎Unity中，生成图片集，同时确定设备所在像素区域，生对应标注文件。在云AI平台上，使用前述图片和对应的标注文件，进行算法训练。训练完成后将轨道设备识别算法在云端设置成一项远程识别服务。

第三步：在移动端调用该项服务，对拍摄的工务设施图片进行区域提取和类别判断，本地根据调用返回信息，对图片进行结构化保存。

第四步：移动终端融合作业信息、位置数据、图像数据信息和形成完整的工务设施多源动态数据库。

2.3.2 数据集制作

根据实际工务运维中的病害情况和图片数据采集需求，分为三类，共识别了六种轨道部件：

1)钢轨类：钢轨；

2)扣件系统类：弹条、螺栓；

3)轨道板类：CRTSⅡ无砟轨道板、板间宽窄接缝、CA砂浆层。

本文以单块CRTSⅡ无砟轨道板为例，说明制作工务设施识别训练数据集的制作过程。如图4所示，整个过程分为图片生成部分和图片标注两个部分：

图4 数据集制作流程

第一部分，图片生成分为三步：

1)将信息化模型由.RVT格式转化为.FBX格式，导入Unity引擎中；

2)在场景中设置随机的位置、数量、光照条件等参数，形成一组模型；

3)将摄像机旋转对准该组模型的中心，通过模拟拍摄的方式生成图片。摄像头在三维场景中旋转量的四元数计算公式为：

其中，(xc，yc，zc)为摄像机空间位置，xi为第i个模型位置在x方向的分量。

第二部分图片标注部分，分为三步：

1)在图片上建立坐标系，以左下角为原点。在模型组中心区域生成初始的模型所在像素区域框；

2)开发射线探测算法，对当前摄像机视口下的每一个像素位置发出射线，当射线探测到模型时，将改点坐标与该模型的矩形框坐标对比，更新区域范围；

3)完成探测后，将结果信息编写成XML文件，生成对应图片的标注文件，最终生成训练数据集。

2.3.3 目标检测算法的训练

本文基于传统的Faster-RCNN网络，将其特征提取网络(backbone)由VGG19替换为Resnet50深度残差网络，得到的Faster-RCNN-ResNet50网络。在本文建立的云端AI框架下，训练参数设定学习率(learning_rate)为0.002，每步训练的图片数量(batch_size)为1，硬件选择GPU：1*p100， CPU：8核64GiB，5 000张图片训练耗时3小时58分，20 000次迭代之后的召回率R为98.36%(成功检测出4 918个，未检测出82个)，准确率P为99.47%(正确检测4 892个，错误检测26个)。

图5 样本检出结果

训练完成后，使用实拍480工务设施图片，测试算法的可行性。测试的软硬件配置如表2所示。

表2 测试主要参数表

实测结果召回率R为97.85%，准确率P为98.76%，与训练结果的对比图如图6所示,证明了本方法的有效性。

图6 实拍图片与渲染图片检测对比

3 实例测试

3.1 工务设施与工务运维BIM模型关联

该功能的实现分为如下三步：

(1)如图7所示，在移动终端，通过GPS定位功能，确定当前位置坐标，将GPS位置坐标转化为平面投影坐标，在工务运维BIM模型线路地图上初步确定当前的位置；

图7 GPS初步定位

(2)如图8所示，在BIM模型中，通过范围检索的方式，查找当前定位点附近的轨道结构单元；GPS的定位精度为10m，因此以定位点为中心，创建直径为10m的球形检索范围，检索该范围内的所有的轨道板，返回得到的所有轨道板编号，进行人工选择后，点击对应的轨道板编号，确定当前轨道板；

图8 范围检索精确定位

(3)如图9所示，将真实的工务设施与对应的BIM模型关联起来后，进入功能菜单，可以按需求选取相应的菜单进行操作。

图9 工务设施与BIM模型关联

3.2 图像数据采集

当需要进行图像数据采集时，在图7中底图界面点击红色标记，系统调取前述“工务设施与工务运维BIM模型关联”功能，确定当前位置与轨道板编号，然后点击“数据采集”按钮，进入数据采集页面，进行数据采集。

数据采集功能实现分为两步：

(1)如图10所示，需要采集一张反映CRTSⅡ轨道板宽窄接缝病害的图片，点击数据采集按钮，进入数据采集页面。使用移动终端拍摄轨道板图片，远程调用识别算法，自动识别并提取出图像中不同的工务设施；

图10 图像的拍摄与识别

(2)如图11(a)所示，在数据记录生成界面，根据关联的工务运维BIM模型，调用相关数据，填充“ID”、“线名”、“轨道板编号”、“设备类型”等字段。

针对出现伤损的板间宽窄接缝，作业员工根据现场实际测量数据，通过交互操作，在备注栏记录伤损等级。点击关联按钮，再点击对应的BIM模型(图中绿框高亮显示)将提取的图像区域与对应的工务设施BIM模型进行进一步关联。更加精细的管理图像数据，如图11(b)所示。

图11 数据记录的生成

采集完成后，图片使用对应数据记录的ID进行命名，保存在移动终端中，作业完成后，与对应的数据记录一起上传至数据库。

3.3 图像数据调用

在工务运维中，可以查询工务设施历史图像数据，作业员工在现场可以快速掌握工务设施服役状态演化过程与历史维修记录，辅助当前的运维作业。

如图12(a)所示，在工务设施与BIM模型关联之后，进入数据查询页面，点击“全部图像数据”按钮，可调取当前轨道结构单元全部历史图像数据记录。

如图12(b)所示，点击宽窄接缝的BIM模型，可以查看宽窄接缝的历史图像数据记录。点击对应的查看按钮，可调取对应的图片。

图12 图像数据查询

现场测试结果表明，本文研究的工务运维图像数据采集、图像数据查询功能均达到了预期效果。

与已有的工务运维数据管理方法相比，本方法实现了数据库、BIM模型、工务设施三者的互通互联。以工务运维BIM模型提供的可视化平台为核心，实现了工务运维图像数据的分类存储，通过长期积累，有效地减少了工务运维图像数据的流失。在制定维修计划时，积累的工务运维图像能够帮助员工快速掌握工务设施的服役状态演化过程，相较于单纯的测量数据，图像数据更有利于研判工务设施病害的成因，从而选择更加合适的时机，制定更加合理的方案维护工务设施。

在运维作业中，员工携带移动终端即可快速检索查询工务设施检修台账(包含图片数据)、线路检修数据和维修计划，掌握工务设施的服役状态演化过程，辅助员工高效地完成当前的维修任务。

此外，随着图像技术的不断发展，通过图像自动化判定设施服役状态、预测设施寿命的技术日益成熟，这些技术的迭代进步都需要以大量的图像数据作为基础，工务运维图像的高效管理与长期积累具有十分重要的意义。