基于深度学习的超低空景深估计方法研究∗

杨昌凯 王指辉 周嘉麒 许彧文

（南京航空航天大学 南京 211106）

1 引言

飞行器超低空飞行过程中发需要考虑飞行包线内障碍物的远距离探测和早期预警，因而产生了障碍物探测和距离估计方面的需求。过去数十年中应用于辅助飞行器超低空飞行的测距设备主要为基于雷达的主动式传感器，然而，主动式传感器最大的不足在于易于被敌方探测设备追踪，与超低空飞行的初衷相违背。近些年，计算机视觉与图像处理技术的飞速发展，使得利用视觉传感器来获取场景的距离信息成为了一种行之有效的方案。与主动式传感器相比，视觉传感器具有无源自主、尺寸小、损耗小等优点。因此利用单目视觉估计距离信息从而辅助飞行器超低空飞行的制导与控制是未来重要的发展方向。

2 深度估计算法

2.1 方法原理

训练时，以左视图Il为神经网络的输入，右视图Ir为标签。当输入Il时，网络对每个像素点进行逐个预测，得到视差图Dr，再将Il与Dr相结合，解算出预测右图Ipr，可是实际上我们输入左图期望的结果是左图的视差图Dl，所以本文进行反向采样，对预测右图中的每个像素点逐个预测，得到视差图Dl。分别将Dr、Dl与Il、Ir结合，即可解算出新的预测右图和预测左图。最后，基于外观损失代价函数，将、与输入的左右视图进行比较，以此训练网络，提高网络准确率。方法示意图如图1所示。

图1 网络训练流程图

根据三角形原理，已知视差值d，左视图的深度xr可得：

其中f为相机焦距，a为相机的基线距离。

2.2 网络结构

该方法训练的网络采用编码解码的结构，其中编码阶段采用残差网络ResNet，解码阶段采用反卷积神经网络，再经过一个卷积神经网络输出视差图，输出的视差图与原图在双线性采样下生成左右预估图，最后基于一系列的损失代价函数反向训练网络。

2.3 损失函数

该方法主要用到三个损失代价函数：其一为外观损失代价函数Cap，用来计算预估图与原图的相似度，公式如下：

其中α=0.85，N 为图像总像素点数。显然，当两个图像越相似，结构相似性SSIM 的值就会越接近1，则前半项的值越小。其二为左右一致性损失代价函数Clr，用来保证左右视差图可以转换，并提高网络准确率，其公式如下：

其三为深度图局部平滑约束代价函数Cds，是针对图像像素点深度不适定问题所提出的。为实现视差在局部的平滑，对视差梯度进行L1 惩罚。同时用图像梯度的边缘感知项进行损失加权，来解决图像梯度中深度不连续的情况，其公式如下：

输入包含左视图与右视图，但是损失代价函数的计算方式都是相同的。所以最终的损失代价总函数可以表示为

3 实验结果分析

本节选取KITTI数据集中的200张图片作为测试集，并选取了另外三种经典方法进行对比测试。结果如表1所示。

表1 在KITTI数据集上定量测试结果

表中的每种类别的最佳数据已以粗体标出。其中第三列到第五列为模型的准确率，这一系列数据越高则模型准确率越高。第六列到第九列为模型的误差，这一系列数据越小则模型误差越小。

为了更直观地体现各方法恢复图像深度的效果，图2 展示了几种算法的定性测试结果图。其中，图2（a）为输入的测试图像，图2（b）为插入了稀疏真实深度数据后获得的稠密化深度图，图2（c）、（d）、（e）为分别为Eigen等［8］、Zhou等［9］、Godard等［10］提出的深度估计方法获得的深度图。由黑框标出的区域可以看出，本文使用的方法能够有效减轻像素点深度的不适定，解决深度不连续的问题，且小车的边缘预测十分平滑。但灰框标出的区域，与另外几种方法相比，本方法丢失部分的深度数据，对细杆状事物的深度数据预测就不太理想。

图2 四种方法在KITTI数据集上的深度估计结果比对

选取超低空样本集中的seq0102可见光序列的100 张图片作为测试集，再次对上文提出的自监督深度估计算法测试，结果如图3所示。

图3 三种方法在超低空样本集上的深度估计结果比对

4 结语

本文针对飞行器超低空飞行中的场景深度估计技术展开研究。提出了一种基于深度学习的自监督深度估计方法，无需真实的深度数据为标签训练网络，即可获得性能较优的深度估计模型。以立体图像对为训练集，采用左右一致性原则，有效提高网络准确率，并通过多尺度统一，改善了深度图中的空洞问题。实验表明，在超低空场景下，该自监督方法训练得到的深度估计网络表现出了优越的性能。