倾斜摄影三维建模遮挡物去除和修复方法

张新，仵倩玉，王伟胜

(1.中国科学院遥感与数字地球研究所 遥感科学国家重点实验室，北京 100101；2.中国科学院新疆生态与地理研究所 荒漠与绿洲生态国家重点实验室，乌鲁木齐 830011；3.中国科学院中亚生态与环境研究中心，乌鲁木齐 830011)

0 引言

建筑物的三维重建中经常会出现遮挡的情况，在倾斜摄影三维重建中表现更为明显。由于拍摄角度和地物距离建筑物过近，重建出的建筑物模型立面纹理中会含有遮挡[1-2]。如果不对遮挡物进行处理，将会严重影响模型效果，甚至造成遮挡物与建筑物模型融合的情况。因此，必须对前景遮挡物问题进行处理。

在遮挡物的识别去除方面，国内外已存在一些相关研究。例如，用最优纹理选择的方法排除遮挡严重的图像，然后进行三维重建[3-5]、用纹理拼接的方法移除遮挡[6-7]等。这些方法虽然在一定程度上减少了遮挡的影响，但无法解决选出的最优纹理中仍存在遮挡的情况。因此，需要对这类纹理运用图像处理的方法进行遮挡物的去除和遮挡区域修复。

在树木遮挡的识别去除方面，王宇新等[8]提出运用抠像技术来移除树木的遮挡。周胜安[9]提出了一种基于前景物形态的GrabCut改进算法，通过用户指定前景物的基本形态，再利用优化的分割能量函数来提取前景遮挡。以上方法虽能很好地提取出前景树木的遮挡，但人工参与量大、时效性低。康志忠[10]提出将影像划分为矩形格网，通过分析格网中色调值在80～200范围内的像素所占百分比以及格网的平行直线密度来去除树木遮挡。Engels等[11]结合纹理和颜色信息去除树木的遮挡。这些方法虽然提高了树木遮挡提取的自动化程度，但是没有考虑遮挡物在形状方面的特征。刘亚文等[12]依据遮挡物的形状特征，将遮挡分为面状和线状分别进行研究。这种方法虽然考虑了遮挡物的形状，但是它将树木遮挡归为面状遮挡物，并未考虑树木本身存在的形状差异，从而造成提取结果偏大，影响遮挡区域的修复，降低了模型的准确度。

为了进一步提高建筑物立面纹理中树木遮挡提取的准确性，本文提出一种树冠、树干分类提取方法。依据树木本身形状和颜色的差异，将树木分为树冠和树干两部分，分别进行提取研究。对于仅含树冠的遮挡，依据色调信息和平行直线信息进行提取。对于既含树冠又含树干的部分，树冠部分遮挡依据色调和平行直线信息进行提取，树干部分遮挡依据灰度信息和边缘检测方法进行提取。然后，利用Criminisi算法修复被遮挡区域[13]，从而解决树木遮挡问题。最后，文章选择新疆库尔勒市倾斜摄影三维模型中遮挡严重区域作为实验区，通过将本文方法与传统方法进行比较，得出本文方法误提取率减少12.5%的结论，从而证明了本文方法的有效性。

1 影像中树木遮挡提取方法

1.1 影像中树冠遮挡的提取

在建筑物的立面纹理中，树冠遮挡往往呈现出面状特点，树叶颜色通常为绿色或者接近绿色，具有特殊的色调范围，直线信息与建筑物纹理直线信息形成鲜明对比。针对这些特征，本文首先通过设置特殊的色调空间作为约束条件对树冠进行初提取，然后依据直线信息来进行树冠遮挡的精提取。

1)树冠遮挡的初提取。首先将彩色图像由RGB(红、绿、蓝色)色度空间转为HSV(色度、饱和度、亮度)色度空间。在HSV空间中，图像特征明显，易于进行分割、目标识别和边缘检测；然后选出树冠样方图像，并分析其各个分量的分布区间；最后以这3个分布范围为约束条件进行树冠提取。在这一处理过程中，可能存在误判的情况，因此需要对这一结果进行精提取，排除误提取的与树叶特征接近的建筑物纹理。

2)树冠遮挡的精提取。在建筑物的立面影像中，建筑物立面上的直线大多数都对应于平行物方坐标系X和Y轴的直线，因而其方向都有很强的规律性。所以可以依据平行直线信息来对树冠遮挡初提取的结果进行判断，排除误提取的建筑物纹理。

首先对初提取结果进行格网划分，然后统计树冠遮挡初提取结果中格网的平行线密度，若格网的平行线密度大于给定阈值，则认为其不是树冠遮挡格网，否则，认为其为树冠遮挡格网。格网的平行线密度按式(1)进行计算[12]。

(1)

式中：ρ表示格网的平行直线密度；Li表示直线的长度(单位为像素)；S表示格网的大小(单位为像素)；n表示格网内直线的数量。

1.2 影像中树干遮挡的提取

在建筑物的立面纹理中，树干遮挡往往呈现出线状特点，树干轮廓较为清晰简单，树干颜色接近灰褐色，具有特定的色调范围。针对这些特征，本文首先通过设置特殊的色调空间作为约束条件对树干进行初提取，再利用边缘检测和跟踪的算法对树干进行精提取，排除误提取的部分。

1)树干遮挡的初提取。首先将彩色图像由RGB色度空间转为HSV色度空间。利用色调、饱和度和亮度来提高树干与建筑物纹理之间的辨识度。然后选出树干样方图像，并分析其各个分量的分布区间。最后以这3个分布范围为约束条件进行树干提取。

2)树干遮挡的精提取。在树干的初提取中，可能会存在与树干的R、G、B分量接近的纹理(通常为墙面)，因此会造成误判的情况。针对这一情况，本文采用Canny算法对树干轮廓进行进一步提取，以剔除非树干区域。

2 影像中树木遮挡区域修复方法

遮挡物体移除之后，需对被遮挡区域的纹理进行修复。本文选择Criminisi算法来对遮挡区域进行纹理修复。如图1所示[14]，图像I为待修补的目标图像，Ω为待修复区域，δΩ代表其轮廓。修补过程从轮廓边缘向待修复区域的内部进行，图像的源区域为Φ，它在填充过程中提供采样信息。

图1 图像修复原理图

2.1 计算待修复区域的优先级

目标块优先级的计算是Criminisi算法的核心，能够对具有较多已知信息和较强结构的目标块进行优先修复并获得更新，以保证填充准确有序地进行。对于以轮廓上的点p为中心的目标块，其优先级按照式(2)计算[14]。

P(p)=C(p)D(p)，p∈Ω

(2)

式中：C(p)为置信项，用于衡量目标块内的可靠信息的数量；D(p)为数据项，表示每次迭代时轮廓前沿等照度强度函数；Ω表示待修复区域。

2.2 搜索最佳匹配块

确定具有最大优先权的目标块后，就要在已知区域内搜索此目标块的最佳匹配块，目标块与最佳匹配块的匹配准则见式(3)[14]。

(3)

2.3 置信度的更新

通过全局搜索，找到最佳匹配块，将最佳匹配块中的像素对应复制到目标块中的未知像素点，该目标块内未知像素点转变为已知像素点，因此这些点的置信度需要重新更新。置信度利用式(4)进行计算[14]。

(4)

重复以上步骤，直至修复完毕。

3 实验验证

针对倾斜摄影三维重建中存在的树木遮挡问题，文章以新疆库尔勒市倾斜摄影三维场景中树木遮挡严重区域的模型进行实验。依据本文遮挡物移除和遮挡区域修复方法对影像中的遮挡物进行处理，从而得到修复后的新纹理。最后，在三维建模软件中进行纹理映射，利用移除遮挡的纹理去代替原始纹理，从而形成新的三维模型。

最常见的树木遮挡主要有两种：一种是只含树冠部分或者树木较为密集的遮挡；另一种是既含树冠又含树干，比较稀疏或者单一树木的遮挡。针对第一种遮挡情况，直接采用树冠遮挡物去除的方法进行提取遮挡；针对第二种遮挡情况，首先进行树冠遮挡物的提取，在此基础上进行树干遮挡物的提取。本文分别选择只含树冠遮挡和既含树冠又含树干遮挡的情况进行实验。

3.1 树冠遮挡的去除

图2为树冠RGB转为HSV的结果。实验所用建筑物立面影像为仅含树冠遮挡的影像，影像大小为3 000像素×2 000像素。

图2 树冠RGB转为HSV结果

从HSV图像中选出一块树冠图像作为样本，并分析其3个通道的直方图分布。图3为树冠样本的R、G、B3个分量的分布范围。其中R的取值范围为40～62，G的取值范围为45～250，B的取值范围为45～250。以上述R、G、B3个分量的取值范围作为约束条件对整个HSV图像进行提取，提取结果如图4所示。

图3 树冠通道直方图分布

图4 树冠提取结果

3.2 树冠、树干遮挡的去除

实验所用建筑物立面影像为包含树冠和树干两部分遮挡的影像。图5为树干RGB转为HSV的结果，影像大小为2 500像素×1 500像素。

图5 树干RGB转为HSV结果

从图5的HSV图像可以看出，树冠和树干的色调区分较为明显。按照树冠提取方法对图5中的HSV图像进行树冠提取，得到如图6所示的结果。

图6 树冠提取结果

在HSV图像中选出一块树干图像作为样本，并分析其3个分量的直方图分布。树干样本的R、G、B3个分量的分布范围如图7所示。其中R的取值范围为15～30，G的取值范围为25～86，B的取值范围为39～106。

图7 树干通道直方图分布

以上述R、G、B3个通道取值范围作为约束条件对整个HSV图像进行提取，提取结果如图8所示。

图8 树干提取结果

从图8树干提取结果可以看出，虽然树干能够被很好地提取出来，但窗沿和空调水管区域因与树干HSV图像中的R、G、B分量较为接近而被误提取，因此，需要对上述结果进行进一步的判别。图9为利用Canny算法进行边缘提取的结果。

图9 树干最终提取结果

3.3 遮挡区域修复

树木遮挡物被提取出来后，需对遮挡区域进行修复处理，尽可能地还原建筑物立面的原始纹理。本文采用Criminisi算法对遮挡区域进行修补，修补结果如图10所示。

图10 树木遮挡修复结果

3.4 纹理映射

遮挡区域修补完成后，通过纹理映射对被树木遮挡区域的三维模型重新进行贴合纹理，从而实现对倾斜摄影三维建模中含树木遮挡模型的修复[15]。本文首先将含树木遮挡严重的模型(图11)导入到三维建模软件中；然后利用修复后的纹理替换原始的含树木遮挡的纹理，从而实现模型的修复；最后，将修复后的模型添加到三维场景中，修复结果如图12所示。

图11 含树木遮挡三维场景

图12 修复后的三维场景

3.5 方法比较

为验证本文方法的合理性，利用树冠、树干分类提取方法与树木整体提取方法，对同一树木遮挡进行提取，分别计算其误提取率和漏提取率，通过分析不同方法所得结果，对本文方法进行验证，计算结果如图13所示。

图13 基于不同方法的误提取和漏提取结果

从图13和表1可以看出，本文方法很大程度上提升了提取结果的正确性，误提取率降低了12.5%。从比较结果中可以看出，整体提取方法的漏提取率较低，这是因为树冠树干在色调方面有一些差别，为了更完整地提取整个树木，只能增加树木所属色调范围，扩大提取面积，因此漏提取率较低，误提取率较高。而本文方法考虑了树冠和树干在色调和形状方面的差异，将其分开进行提取，缩小了其所属的色调范围，因此误提取率较低。

从图13(a)、图13(b)可以看出，树冠、树干分类提取方法相比树木整体提取方法更为精确，能够体现树木细节。由图13 (c)、图13 (d)漏提取结果图得出，树冠、树干分类提取的漏提取率更高一些，但由图13(e)、图13(f)可以看出，树冠、树干分类提取误提取率比树木整体提取低很多，尤其在树干部分，树冠、树干分类提取能够得到很好的结果；而树木整体提取则难以区分树干之间的间隙，从而造成误提取率偏高的情况。表1计算结果则很好地佐证了这一事实。从表1可以看出本文方法很大程度上提升了提取结果的正确性，虽然漏提取率比起整体提取方法增长了1.5%，但误提取率降低显著，相比整体提取降低了12.5%。

表1 不同方法对比结果 %

4 结束语

本文针对倾斜摄影三维建模中存在的遮挡情况进行总结研究，将遮挡分为树木、车辆、路灯和行人4类，并依据各类遮挡物的特征，总结各类遮挡物的最优去除和修复方法。针对建筑物侧面纹理存在的树木遮挡物，提出了一种树冠、树干分类提取方法。该方法基于树冠、树干与建筑物侧面纹理色调的差异对树冠和树干进行检测，然后利用树冠和建筑物墙面平行直线密度的差异，对树冠提取结果进行进一步判别，利用边缘检测方法对树干提取结果进行进一步提取，从而剔除伪树木区域。最后采用Criminisi算法对树冠、树干遮挡区域进行修复，得到修复后的纹理图像。文章以新疆库尔勒市倾斜摄影三维场景中遮挡严重的模型进行实验，提取了树木遮挡，并对树木遮挡区域进行了修复，得到较好的效果，证明了该方法的优越性。