基于约束关系的石化装置三维重建方法研究*

王 春，张嘉亮，矫恒超，张奕奕，刘 刚

(1.中国石化青岛安全工程研究院，山东青岛 2660712.国家安全生产监督管理总局化学品登记中心，山东青岛 266071)

虚拟现实三维重建技术在制造业，影视业等行业得到了较广泛的应用，主要采用激光扫描数据三维重建、基于图像的三维重建和人工交互式几何建模等技术。激光扫描数据三维重建和基于图像的三维重建所构建的模型存在点云数据量大，数据处理难度大，数据易丢失等问题。综合考虑，倾向于选择人工交互式几何建模重建的方法，但该方法在三维工厂数字化建模过程中工作量庞大。以石化装置为例，芳烃装置需要投入约40人月，延迟焦化装置需要约20人月，一个石化企业通常包含十多套装置，建模工作量巨大。

工厂三维模型的数字化是“智能工厂”建设的基础，通过建立石化装置、设备、环境、工艺及生产管理的三维模型，在其基础上集成工程设计、生产运营、机动设备、环保安全等各种动态和静态数据，为企业提供安全生产解决方案。因此，面向石化装置的快速高效三维重建技术研究是虚拟现实技术在石化产业中应用的关键技术，也是急需研究的技术。

1 三维重建方法关键技术现状

三维重建方法的关键技术是算法，本文主要涉及的算法有：基于视频的三维重建、点云分割及基于约束条件的三维建模等。

a)基于视频的三维重建技术。该技术是将同一场景不同角度拍摄得到的图像还原出场景中点的三维位置。O.Faugeras[1]提出了基础矩阵在射影重建中的应用。美国华盛顿大学的Y.Furukawa[2]研究的可视化外壳重建算法运行效率很高，但比较适用于小规模数据。Saxena等人[3]使用马尔可夫随机场和监督学习的方法估算图片中的深度信息。浙江大学鲍虎军教授[4]研究了SFM及鲁棒的三维相机实时追踪技术。

b)三维点云分割及语义识别。点云分割是指将三维空间中的点划分成更小的、连贯和连接的子集的过程。经过分割后，具有相似属性的点归为一类，可以得到对应于相应相似性度量方法的同质区域。通常来讲，点云分割的算法有很多种，包括：边缘检测法、曲面生长法、基于颜色和区域生长相结合的方法、基于径向反射的分割方法等[5]。

c)基于约束条件的三维建模。过程式建模是基于约束条件的三维建模技术的代表，该技术由Lindenmayer提出，Parish等人[6]通过初值和约束驱动产生式迭代，在小区内随机构造几类建筑体几何和纹理。P.Merrell等人[7]研究了直观、通用的过程建模语法，让用户可以交互编辑过程式模型。刘剑敏等人[8]探讨了面向三维机械CAD的静态几何特征建模和动态造型过程建模，基于语义建模开发了智能培训系统。安全工程研究院的赵祥迪等人[9]提出了罐区三维模型快速构建方法，并实现了事故模拟。中原油田的赵忠军等人[10]研究了油田企业三维建模方法，并对操作仿真、管网三维管理等进行了可视化应用。广州石化的肖斌涛[11]通过对事故过程的三维快速构建，开发了事故演练开放操作平台。

2 石化设备模型库及重建流程

2.1 石化设备三维模型库

经分析发现石化装置具有以下特性：

a)标准性。石化装置有严格的设计及实施规范，其中的部件、设备都是标准化组件，不能随意改变。比如加氢裂化装置通常分为加热炉及反应器区、高压分离器等，而采用的设备造型跟型号密切相关，不能任意造型。

b)复杂性。设备与设备之间的连接、配管、阀门布局根据装置的性质都有复杂的约束。

c)规则性。塔、炉、罐、槽、泵等设备是构成石油化工装置的基本要素，不同设备的组合形成具有独特性质的装置，在建模过程中具有一定的规则性。

基于石化装置的特性，安全工程研究院耗时两年多，开发了一套面向石化设备的三维模型库系统，涉及近千个专业设备模型，以实现设备组件的复用。解决了部分问题，但仍需进一步完善和改进。因此，部分学者提出可借助一些自动识别及定位技术，基于模型库部件模型实现石化装置的自动配装，此类算法的研究与实现将具有重大的应用价值。

2.2 模型重建方法流程

本文研究的基于模型库的石化装置三维重建方法主要是利用SFM技术从预处理视频序列中恢复石化装置场景的稀疏三维点云及相机定标。融合多源数据提取装置部件的空间关系语法约束库；在设备模型库系统中，集成真实感光照渲染算法，着重提取与分析预设的石化设备组建模型或图像的特征点信息及分布规律，实现虚实基准设备的图像语义匹配；基于底层视觉特征分析复杂装置管架、管廊、管道等非设备模型的上下文形状语法，剔除噪声并提取管道的矢量信息；最终实现三维点云的语义理解，结合空间关系语法实现石化装置的装配式重建。流程见图1。

图1 石化装置三维重建方法流程

3 基于模型库石化装置三维重建核心算法

3.1 基于SFM技术实现装置场景三维特征点提取及关键帧相机定标

SFM是计算机视觉的经典问题,指从输入的一系列图像中恢复场景的三维结构和图像对应的相机参数。相机定标是指在计算机视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，建立的相机成像几何模型。

首先采用SIFT算子对序列帧图片进行特征提取，在为视频序列上的每一帧图像独立抽取特征点后，逐帧匹配这些特征点，由于噪声和移动物体等原因，存在误匹配，根据极限约束，利用随机采样一致性算法消除误匹配点，再利用定标理论算法获取摄像机的位置和方向信息，见图2中(a)。计算出点云信息及连续的相机定标信息，进一步自动选择在多帧图像中稳定出现的特征点，并确定关键帧，选择最佳的三个关键帧进行场景三维的初始化，并及时定标完成从射影空间到欧拉空间的转换，求解其它关键帧，在欧氏空间渐进式地求解所有关键帧，最终用集束调整对整个序列的结构和相机参数进一步优化，见图2中(b)。

图2 SFM技术三维特征点提取及相机定标

3.2 构建石化装置基准设备、管道、阀门的空间关系语法库

采用机器学习的方法，自动化学习矢量、文本信息，在与模型库相同尺度空间中重点提取基准设备、管道、阀门的空间关系语法。将约束语法训练为设备与管道、管道与阀门、阀门与阀门及其他部件之间多对多的空间位置约束关系。其中，石化装置阀门有自身特征：结构特征显著、分布广泛、重复性强且有固定的阀门组类型。基于以上特征，可充分发挥阀门的桥接作用，研究阀门、阀组与其他部件及阀门间的构造语法。比如所有管道进出设备都需要有阀门、调节阀前后有切断阀、阀组一般都在地面或平台上距离操作面高度大约500 mm、安全阀组必须有进出口切断阀等。通过这些构造语法的学习构建三维阀门空间定位约束语法库。进一步匹配校准建立的三维场景，提高场景重建的准确性与精度。

3.3 基于多层次图像识别算法的关键帧图像基准设备映射及管道提取

为保证三维模型数据配准的精度，可在关键帧图像中找到特征显著、定位准确的设备作为其他部件定位参考的基准。而管道是石化装置的重要组成部分，特征点相对较少，本文采用图像的底层视觉特征，结合形状语法来进行管道矢量建模，因此在关键帧识别过程中，从底层视觉特征、局部特征、形状语法多个层次综合运用来提取基准设备及管道的信息，算法流程见图3。

图3 关键帧中基准设备及管道提取算法流程

鉴于石化设备结构特征比较显著，采用图像局部特征描述算子提取设备图像中的关键结构信息，与虚拟设备库中的设备图像进行匹配，从而识别该设备。所选取的图像局部描述算子能够对图像旋转、尺度缩放、视角变化、光照变化等图像变化因素保持一定的不变性，而对物体运动、遮挡、噪声等因素也保持较强可匹配性。理想状态下基于虚拟设备模型库，在不同视角下渲染输出设备图像，并进行特征训练与分类，可实现虚实模型的直接快速匹配。但实际情况中有的模型损害严重，无法与模型库中的模型通过特征快速匹配，对于这种匹配不准的模型，可采用中间图像标注的方式实现虚拟模型与实体模型的自动连接。

如图4所示，某一厂区的常减压场景，其管道错综复杂。而管道通常为圆柱形，特征点相对较少，因此仅靠特征点匹配识别的方式，难以准确的重构管道信息。可采用图像的底层视觉特征，提取直线、L型弯、T型弯等基本图形元素，基于图像及设计文档构建管道、管廊、管架等相似部件的上下文形状语法，结合语法特征重点剔除栏杆、管廊、管架等干扰信息，提取管道的矢量信息。同时，每个装置都会配备完善的工艺流程图，描述了工艺上涉及的设备、管道、阀门等信息。基于工艺流程的约束学习校正识别出的管道信息，以工艺流程语法约束为主线，结合识别出的管道特征信息、校准设备模型信息及阀门管廊等相关信息共同约束提取复杂管道中的二维矢量信息。

图4 设备管线效果图

3.4 装置部件SFM特征点及设备管道装配重构

基于上述关键帧匹配识别的结果，可将局部图像识别出的信息嵌入到相应的三维特征点上。对于基准设备，需首先建立关键帧设备与虚拟设备图像间相机标定转换矩阵，然后建立二维与三维点云之间的转换矩阵，由此可根据特征显著的特征点信息计算虚拟基准设备的模型变换矩阵，从而实现特征点的嵌入和模型匹配，实现基准设备的装配。在点云的识别过程中，根据每步算法的可信度，计算识别结果的成功率。以此为依据，结合三维模型间的装配语法，对识别结果进行矩阵校准，进而实现石化装置局部的装配式重建。效果见图5。

图5 虚实设备特征匹配结果

4 结语

针对石化装置人工几何建模效率低下，结合已有的石化设备三维模型库系统，研究基于视频三维点云识别定位与约束相结合的三维重建算法。该算法操作简便，仅用视频结合约束关系就可以进行部件的识别定位，面向布局复杂、安全性要求极高的石化企业运行环境施行性较强。另外，结合了SFM算法与石化设备空间约束，可逆向恢复SFM遮挡点云、侧背面或不显著的特征信息，辅助提高SFM技术在石化行业的重构及定位精度，可作为石化行业增强现实、智能导航的研究基础。

[1] O.Faugeras, Q. T.Luong. The Geometry of Multiple Images [M]. The MIT Press 2001.

[2] Y. Furukawa, J. Ponce. Carved Visual Hulls for Image-Based Modeling [J]. International Journal of Computer Vision, 2008, 81(1):53-67.

[3] M.Klopschitz, A.Irschara, G.Reitmayr, D.Schmalstieg. Robust incremental structure from motion [C]. In Proceeding of 3D Data Processing, Visualization and Transmission (3DPVT), 2010.

[4] Z. Dong, G. Zhang, J.Jia, H.Bao. Efficient keyframe-based real-time camera tracking [J]. Computer Vision and Image Understanding, 2014, (118):97-110.

[5] 刘进,武仲科,周明全. 点云模型分割及应用技术综述[J], 计算机科学, 2011，38(4):21-24..

[6] Y. Parish, P.Muller. Procedural Modeling of Cities[C]. In Proceeding of Computer Graphics, ACM SIGGRAPH, 2001, 301-308.

[7] L.Krecklau, L.Kobbelt.Interactive modeling by procedural high-level primitives [J]. Computers & Graphics, 2012, 36(5): 376-386.

[8] 刘剑敏, 胡洁, 王伟明, 等.三维CAD语义建模及其应用研究[J], 机械设计与研究, 2005, 21(5):66-69.

[9] 赵祥迪.基于三维事故仿真模拟确定罐区安全距离，安全、健康和环境，2015，15(10)：15-18.

[10] 赵忠军，王春，范亚苹.油田企业安全生产三维数字化系统研究与应用，安全、健康和环境，2016，16(07):52-54.

[11] 肖斌涛.三维可视化应急预案自由组态平台研究，安全、健康和环境，2017，17(10)：13-15.