基于单一图像实现城市场景下的建筑三维布局

2019-06-11刘卓亚

计算技术与自动化 2019年1期

刘卓亚

摘要：旅游资源和信息技术的有机结合能够释放巨大的商业潜力，具有重要的社会意义。从一个单一的二维图像的旅游城市场景推断建筑立面的三维布局。与现有的只产生粗方向标签或定性块近似的方法不同，所提出的算法使用三维几何约束相互关联的一组平面定量地重建三维空间中的建筑立面。每个平面的特征是连续的方向矢量和深度分布。通过平面间的相互作用来达到最佳的解决方案，由于该算法几何推理的定量和基于平面的性质，所提出的算法模型比现有的方法更具表现力和更丰富的信息。实验结果表明，本文的方法与采用测量方法实现三维重构方法相比，能够更加逼真的重现三维场景。

关键字：三维重构;建筑立面;几何建模;约束条件;图像深度估算

中图分类号：TP391

文献标识码：A

给定一个城市场景的单一图像，自动推断出场景中建筑的三维布局将有利于利用计算机技术构建线上城市三维虚拟场景，能够有助于实现旅游线路自主导航和增强现实等领域的许多任务，方便游客更加深入感受旅游资源的魅力。

城市环境下的三维重建主要是建筑立面的三维布局的构建。然而，基于二维图像实现在城市建筑物立面的三维布局是一项特别具有挑战性的任务。难点在于，建筑立面可以在三维空间中具有高度灵活的组合，并且具有明确的方位指向，难以通过单个图像准确获取重建目标的三维坐标定位[1-2]。

尽管无法像定位物体一样定位建筑立面，但与树木或天空等其他区域不同，建筑物立面更加结构化，可以分解为一组可以定量表示的平面[3]。这些平面的方位和位置都受到它们从物理合理性中导出的三维几何关系的约束[4-5]。本文将建筑立面建模为一组具有连续方向的平面，然后使用平面内几何约束对其三维位置进行定量推理。与现有的基于像素或者分段的方法相比，这种方法可以对立面场景产生更丰富的解释和基于块的方法[6-7]。更具体地说，本文的方法能够提供现有算法无法提供的关键场景理解信息（如定向、深度和立面平面关系等）[8]。文献[9]提出将图像像素分类为不同的方向标签的几何背景建模思路。虽然这种方法直接实现更高维度的平面的几何建模，但会生成较为粗糙的目标表面方向的线索。使用这种线索从不同方向标签的两个相邻线段拼装成目标块，并通过拟合地平线和天际线来定位这些目标块。这种方法对场景产生了丰富的高层次解释，但解释在立面方向和深度方面都是定性的。此外，通过目标块近似建筑物外立面不能模拟更复杂的情况。

文献[10]由两个正交消失方向的跨度對目标表面进行定量定向建模。虽然使用消失的方向来计算平面方向能够开发室内场景的建模，但是这种方法不能直接应用于城市场景中的建筑立面分析。这是因为这些方法通常将房间简化为一个箱子，而所有其他垂直表面都局限于盒子和平行于盒子的墙壁。相比之下，城市场景中的建筑物外立面位于开放空间中，通常具有更灵活的结构。尽管该算法并没有将房间简化为一个箱子，但它很大程度上依赖于共同的天花板来定义垂直墙，这也不适用于户外场景。

通过对上述文献的研究，提出一个基于平面的全定量模型来推断建筑立面的三维布局。每个平面都由一个连续的方向向量和一个深度值的分布来表示。在模型中，利用多个线索，如平面分割、表面布局、地面接触线等，来探测和分解建筑区域，形成独特的平面。单个候选平面确定是由其与图像特征的二维证据和摄像机、建筑物高度等三维证据的兼容性决定的。对不同类型的三维几何关系建模，并应用条件随机场算法（CRF）来确定它们的有效性，并推断出它们的最优深度。

1 基于平面的建筑立面三维建模

1.1 问题表述

首先对涉及的几何变量进行定义。本研究使用

提出模型需要解决检测一组与独特立面平面的问题，并在给定城市场景的单个二维图像的情况下估算其三维定位和位置。在这里，一个方向不同于相邻平面的建筑立面被定义为一个立面平面;否则，将会合并具有相同方向的两个相邻立面平面[10]。模型通过最大化以下目标函数来推断建筑立面的最佳三维布局：

式1中o、n、d_s和x_s是表征立面平面的变量。对于每个平面i，变量o、n、d_s和x_s分别表示其有效性（二进制指示符）、方向（连续矢量）、距相机中心（连续标量）的距离和空间范围（指定图像中平面的角的连续坐标）。优化问题的参数包括图像特征I，从相机中心距离地面高度h_g、距离相机水平方向距离n_g，焦距f和立面高度H_f。其中，H_f是由根据经验值确定，而h_g被假定为1.6米。然后由垂直消失方向确定%，并通过最大化垂直和水平消失方向的正交性来估计f。

目标函数中的第一项是每个单独平面的一元势函数，并且它是在所有候选平面P上求和的[11]。其余三项是具有相互约束的平面的成对势函数，并且它们在一个子集（即P_v，P_o或P_a）参与这些约束的候选平面。

由于直接优化方程1中的客观函数是棘手的，本文首先使用基于四边形的采样算法生成一组候选立面平面，其中每个候选立面平面具有固定的正常信号n_si和边界X_sj对于给定的n_si和X_si只需要优化每个候选立面平面的有效性和深度ds。。在此过程中也将获得有效立面平面的总数，而这些数据是未知的。

1.2 不同平面之间的互兼容

一元势函数由两个分数的乘积组成。第一个分数是图像特征兼容性分数，用于衡量图像中立面平面的二维位置与图像特征的一致性[12]。其计算公式为：

由方程2可知，如果一个图像区域确实属于建筑立面，那么它应该是：1）支持的语义线索，它属于“建筑”区域，2）在表面布局的支撑下，它的朝向与它的主导定位标签一致，3）在消失线的支持下，它的方向与在其内部的主导水平消失方向一致。