改进RCF网络在建筑物边缘检测中的应用

刘佳蕙 苏杭

基金项目：江苏省研究生科研与实践创新计划项目；项目名称：电力设施环境AI遥感监测研究；项目编号：KYCX21_2627。

作者简介：刘佳蕙（1998— ），女，山东威海人，硕士研究生；研究方向：摄影测量与遥感。

摘要：建筑物边缘检测是提取建筑物信息最直接有效的方法，近几年，卷积神经网络被广泛应用于建筑物边缘检测研究，其中RCF网络被证明是应用于建筑物边缘检测的效果较好的卷积神经网络。然而，RCF网络在建筑物边缘检测的过程中，上采样过程采用一步双线性插值算法，上采样结构过于简单，导致产生了在深层网络特征层小尺寸图像特征直接上采样至大尺寸图像的条件下误差过大的问题。文章提出了阶梯式上采样结构以改进RCF网络，该方法能够有效减少一次双线性插值算法带来的误差，实验证明该方法能够有效提高RCF网络在建筑物边缘检测上的结果精度，显著增加输出结果图像的清晰度。

关键词：卷积神经网络；RCF网络；建筑物边缘检测；阶梯上采样

中图分类号：P237 文献标志码：A

0 引言

建筑物是人类生活、生产和工作的重要场所，人类围绕建筑物集群以群居方式生活。建筑物不仅是人类生活的物质基础，也是经济发展的地理信息基础，获取建筑物信息对城市发展和扩张、城市灾害预警和救援等都有重要作用。随着遥感技术的发展，遥感图像在满足信息提取需求的同时，存储了大量的建筑物信息，通过遥感图像识别和提取建筑物信息越来越受到人们的关注，而解决这一难题的关键在于建筑物边缘检测。

随着计算机视觉的发展，图像边缘检测技术也在不断进步，使得图像边缘检测应用于遥感图像成为可能。如何利用边缘检测方法快速准确地提取遥感影像上建筑物边缘信息成为研究热點之一。传统的边缘检测方法［1］主要为计算机图形学中利用原始图像中像素的某小邻域来构造边缘检测算子进行图像边缘检测，同时应用于建筑物边缘检测［3］，如Canny算子［4］等。这些微分算子虽然计算简单，对于自然图像边缘检测有相当好的效果，然而遥感影像的背景复杂多变，对传统边缘检测造成大量噪声干扰，因此对建筑物边缘提取具有较强的抵抗力，无法适应建筑物边缘提取［2］。随着深度学习技术的发展，各种神经网络层出不穷，将卷积神经网络（Convolutional Neural Network，CNN）与边缘检测算法结合提取建筑物边缘［5］成为当下行之有效的方法之一。经典的卷积神经网络架构包括：AlexNet，VGGNet，ResNet［6］。其中，建筑物边缘检测算法使用最多的卷积神经网络结构是VGGNet，整个网络改为使用3×3卷积核和2×2最大池化，可以很好地提取图像特征，并且网络参数较少，计算量更少，网络收敛更快。2015年，整体嵌套边缘检测（Holistically-nested Edge Detection，HED）被提出，其以VGG16为主干网络设计了深监督网络与卷积神经网络相结合，使用嵌套方式对自然图像边缘进行检测和提取，有效解决了边缘模糊问题，其边缘提取效果明显优于Canny算子等传统边缘检测方法。然而，HED网络仅考虑每一级的最后卷积层信息，在直接应用于建筑物边缘检测时遗漏关键边缘信息，使得其并不适用于建筑物边缘检测。在HED网络基础上，RCF网络在下采样过程中，分别对五个卷积层做横向卷积，并对五个支路分别做上采样，将所有卷积层的信息组合，充分利用了所有卷积层的多尺度和多层次信息。2019年，BDCN网络［7］在多尺度卷积神经网络的基础上实现了双向级联网络结果，同时引入了尺度增强模块，将多尺度与尺度增强相结合，最终提高了边缘检测能力。SegNet［8］是基于像素的端到端的网络架构，是对FCN的优化，沿用了FCN进行图像语义分割的思想。该网络融合了编码-解码结构和跳跃网络的特点，使得模型能够得到更加精确的输出特征图，在训练样本有限的情况下也能得到更加准确的分类结果。

在以上卷积神经网络中，上采样方式对求取损失、优化网络参数来说也尤为重要。双线性插值是卷积神经网络上采样过程中最常用的方法之一，双线性插值算法充分利用了源图中虚拟点四周的4个真实存在的像素值来共同决定目标图中的1个像素值，从而反映了原始图像的信息。HED边缘检测网络的上采样方式是按照一定的比例通过补0来扩大输入图像的尺寸，先旋转卷积核，再进行正向卷积，最终得到与输入层相同尺寸大小的输出层。RCF使用反卷积（deconv）对特征层进行上采样，其本质与双线性插值相同，在深层特征基础上进行插值操作，将五层下采样的输出特征层直接上采样至原尺寸大小，并对上采样结果采用交叉熵损失融合损失进行梯度更新。但由于每层均只使用一次插值上采样，对于深层网络的特征层的上采样结果把握仍不准确，在过小的尺寸上采样到过大尺寸图像的过程中，由于跨步过大，运算量也随之增加，同时产生的误差也成倍增加，并不能适用于边缘检测神经网络。

针对以上问题，本文提出一种新的上采样结构，利用双线性插值对于尺寸跨步不大的特征层的精度较好的特点，采用阶梯式上采样结构对RCF算法进行了进一步的改进优化，能够实现精细建筑物的提取，使得到的结果精度得以优化。实验结果表明，改进后的算法性能有很大提高。

1 RCF网络模型改进

1.1 RCF网络模型

RCF网络以VGG16为主干网络，保留了全卷积层并将其分为5个阶层，将每个阶层的卷积层信息在下采样的同时进行卷积融合提取到每个阶层的图像特征层，分别得到5个侧边特征层。此时，5个特征层大小不一，代表了由浅到深5个层级的图像特征，通过反卷积得到与输入尺寸相同大小的侧边特征层。最后，再将这5个侧边特征层进行卷积融合，得到最终的边缘图。RCF的网络模型架构如图1所示。

有学者将RCF网络应用于马萨诸塞州建筑物数据集，做建筑物边缘提取实验，并在F1分数上取得了较好的精度，证实了使用RCF网络做建筑物边缘提取研究是有意义的。本文研究基于RCF网络做进一步改进。

1.2 RCF网络应用于建筑物边缘检测的改进设计

在边缘检测网络RCF中，通过主干VGG网络得到的五个侧边特征层是尺寸大小不一的，值得注意的是，在4次池化操作的下采样过程之后，得到的输出图片尺寸大小只有原始图片的1/16，之后使用双线性插值上采样方式，将五层不同尺寸的侧边特征层直接插值到与输入图片相同的尺寸大小。这种上采样方式存在一个明显的问题。由于双线性插值对图像补充像元使用补0的方法，对深层网络的小尺寸的特征层来说，这种方法误差过大。当输入图像尺寸为256×256像素，在第五层卷积层后得到的特征层尺寸为16×16像素，那么上采样到与输入图像尺寸相同的256×256的尺寸大小时，此时256×256像素图像中的所有像素，仅由16×16像素的特征层像素相关性决定，对256×256像素图像中的边缘像素来说偏移过大，因此误差过大，此时的深层特征层信息对网络来说并没有被准确把握。

笔者改用阶梯式上采样方式，由小尺寸一层一层上采样到大尺寸，即整体过程类似阶梯状的逐层上采样，通过逐层上采样在中间过程中实现中间误差减少，将大尺寸的像素值与中尺寸的像素值的相关性提高，避免出现上采样得到的大尺寸像素完全由深层网络特征的小尺寸像素值直接决定而导致的误差值偏大的情况（见图2）。

2 实验结果及分析

2.1 数据集

为了验证实验方法的准确性，本研究使用南京市江北新区数据集。该数据集的研究区域位于江苏省南京市江北新区。研究区域覆盖了53.67 km2，尺寸为27 337×21 816像元（空间分辨率0.3 m，波段为RGB），区域内统计包含了7 602栋独立的建筑物。

2.2 精度评定指标

通常情况下，在进行建筑物边缘检测时，应使用边缘提取的评价指标对边缘检测网络进行精度评价与结果分析。本文采取7个评价指标以衡量改进RCF网络的边缘提取结果质量，分别是精确率（Precision），召回率（Recall）、F1分数、总体准确率（OA）、IoU值、Kappa系数以及非边缘能量（Ene）：

其中N，TP，TN，FP，FN分别代表样本总数，真正样本数，真负样本数，假正样本数，假负样本数；p0，pe则分别代表预测一致率和期望一致率；T表示计算Ene的阈值，Pi表示小于T的第i像元的边缘概率值，Nt表示概率值小于T的像元数量。

其中，本研究采用了边缘厚度评价指标——非边缘能量（Ene），其定义为边缘概率图中非边缘像元的平均质量，如公式（9）所示。该指标同时反映出边缘提取的视觉分析结果，即建筑物边缘概率图的整洁程度。当该指标值越低时，代表建筑物边缘效果图中非边缘能量值越低，提取建筑物边缘图中非边缘像素越少，建筑物边缘越薄，视觉效果越好。

在边缘检测卷积神经网络中，边缘预测结果是一个像元值介于0～1的概率图。因此，通常需要设置一个分类阈值（Th），将边缘概率图转换为大于Th的二值图，本研究采用最优结果阈值为Th，且计算Ene的阈值T与之相等。与此同时，本文计算评价指标时使用两种方案：严格精度评价和松弛精度评价。松弛精确率为真实建筑物边缘像元ρ个像元范围内的预测边缘像元的指标得分，而松弛召回率为预测建筑物边缘像元ρ个像元范围内的真实边缘像元的指标得分。在本研究关于松弛方案的实验，笔者将松弛参数ρ设置为3。

2.3 改进模型训练与验证

为了对比改进的RCF网络的正确性，本文首先复现了RCF网络在南京市江北新区建筑物数据集上的建筑物边缘提取结果。同时，提取了改进的RCF网络在江北新区数据集上的建筑物边缘检测结果，并将两种结果做了对比分析。

本文实验是在NVIDIA Quadro P4000处理器上进行，硬件内存为8GB，实验使用Python3.6.10，Numpy1.15.0和CUDA9.2完成程序实现，详细信息如表1所示。

本文结合设备硬件设置批处理尺寸为10，初始学习率为1e-6，动量为0.9以及权重衰减为2e-4，每执行完1/3的迭代次数将学习率降低10倍。详细训练参数如表2所示。

本文将改进RCF网络应用于南京江北新区建筑物边缘数据集，结合上述7项评价指标将改进RCF网络与RCF原网络进行比较分析，检测结果如表3所示。

通过表3的对比可以发现以阶梯上采样方式改进的RCF网络对于建筑物边缘检测相比于RCF网络，各项精度评定指标结果都有较好的提升。在严格度量方案中，加入阶梯上采样的改进RCF网络较RCF原网络，F1分数提高了0.08%，召回率（Recall）提高了0.81%，Kappa系数提高了0.07%，IoU值提高了0.06%；在松弛度量方案中，改进网络较原网络，F1分数提高了0.18%，总体准确率（OA）提高了0.08%，精确率（Precision）提高了0.94%，Kappa系数提高了0.37%，IoU值提高了0.44%，这些指标说明了改进的RCF网络具有更好的、更准确地建筑物边缘提取能力。同时，在整体边缘检测效果来说，非边缘能量（Ene）下降了0.68%，这说明改进的RCF网络提取出的建筑物边缘相比RCF原网络来说更加精细，建筑物边缘厚度更薄，噪声信息相较于RCF原网络更少，视觉效果得到了更好的优化。从提取结果能够发现，加入阶梯上采样模块的RCF网络提取出来的建筑物边缘相较于RCF原网络更为精细，边缘厚度更低，与真实的建筑物边缘标签更加接近，边缘提取结果整体上噪声信息更少，建筑物边缘更趋于直线状，优化了RCF网络提取的建筑物边缘曲线状的问题，在视觉上有更好的表现。实验结果说明了，改进RCF网络为后续利用边缘提取结果做自动化、数字化、矢量化处理提供了更优质的基础，展现出更好的建筑物边缘检测与提取能力。

3 结语

目前，RCF网络已经作为一种基础网络被广泛应用于建筑物边缘检测。本文在RCF網络的基础上做了上采样结构的改进，改进的RCF网络可以有效弥补RCF网络上采样中过多目标信息丢失的问题，使得上采样结果得到优化，侧边输出层图像上采样误差更小，融合后轮廓更精细，视觉效果更好。实验结果表明，本文所提出方法，有效地提高了RCF网络在建筑物边缘检测上的精度，获得了更好的建筑物边缘检测结果。

參考文献

［1］李翠锦，瞿中.基于深度学习的图像边缘检测算法综述［J］.计算机应用，2020（11）：3280-3288.

［2］倪欢，张继贤，林祥国.三维点云边缘检测和直线段提取进展与展望［J］.测绘通报，2016（7）：1-4.

［3］孙根云，黄丙湖，朝旭军.遥感图像边缘检测的不确定性及其处理方法探讨［J］.遥感信息，2010（6）：110-114.

［4］CANNY J. A computational approach to edge detection［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，1986（6）：679-698.

［5］叶沅鑫，孙苗苗，周亮，等.面向建筑物变化检测的主体边缘分解与重组神经网络［J］.测绘学报，2023（1）：71-81.

［6］KRIZHEVSKY A，SUTSKEVER I，HINTON G E. Imagenet classification with deep convolutional neural networks［J］.Advances in neural information processing systems，2012（25）：1097-1105.

［7］HE J，ZHANG S，YANG M，et al. BDCN： Bi-Directional Cascade Network for Perceptual Edge Detection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2020（99）：1.

［8］BADRINARAYANAN V，KENDALL A，CIPOLLA R. SegNet： A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation［J］.IEEE transactions on pattern analysis and machine intelligence，2017（12）：2481-2495.

（编辑 姚 鑫）

Abstract： Building edge detection is the most direct and effective method to extract building information， in recent years， convolutional neural networks have been widely used in building edge detection research， among which RCF network has been proved to be a convolutional neural network with good effect applied to building edge detection. However， in the process of RCF network detection at the edge of the building， there is a problem that the upsampling process adopts a one-step bilinear interpolation algorithm， and the upsampling structure is too simple， resulting in too large error under the condition that the features of the small-size image of the deep network feature layer are directly upsampled to the large-size image. In this paper， a stepped upsampling structure is proposed to improve the RCF network， which can effectively reduce the error caused by the bilinear interpolation algorithm， and the experimental results show that the method can effectively improve the accuracy of the RCF network in the detection of building edges， and significantly increase the clarity of the output images.

Key words： Convolutional Neural Network （CNN）; RCF network; building edge detection; stepped upsampling