基于深度学习的座舱开关状态识别研究

邓乐武，成金涛，曾苏凡

(航空工业成都飞机工业(集团)有限责任公司，四川 成都 610091)

目前,飞机进行飞行前检查时通常采用唱检的方式，依据检查单内容，检查飞机座舱开关、关键部位保险销、起落架等是否符合放飞要求。以座舱开关为例，机务人员需确认座舱上所有开关的状态是否正确。由于开关较小、数目过多，部分外观又大体相同，且排列较为紧密(如图1所示)，人为检查非常容易出现错、漏检的情况，进而引发飞行安全问题。所以，用机器来代替人工进行检查是必然趋势，能有效降低人为出错率，保障飞机放飞的安全性。

图1 典型飞机座舱开关

目前常见的基于深度学习的目标检测方法有 CNN(Convolutional Neural Networks)、R-CNN(Region-CNN)、Fast R-CNN、Faster R-CNN、YOLO算法(You Only Look Once:Unified,Real-Time Object Detection)等。典型算法Faster R-CNN虽然在目标检测应用领域(如行人、车辆识别[1]等)具有不错的识别准确率。但座舱开关图像中开关具有目标较小、数量多、背景复杂且存在部分遮挡等特点，若直接应用Faster R-CNN算法识别座舱开关状态，识别效果不稳定，易出现部分遮挡开关漏检或开关状态误检等情况。

针对提取的特征网络可能影响开关检测及状态识别准确率问题，以Faster R-CNN算法为基础，以座舱开关为具体检测对象，针对座舱开关状态识别的特殊环境和需求，对Faster R-CNN算法相关部分进行改进，并设计相关的实验验证改进后的Faster R-CNN算法的可行性和准确率。

1 相关工作

传统机器视觉的目标检测方法一般先从图片中提取候选区域，然后用方向梯度直方图(Histogram of Oriented Gradient，HOG)[2]等提取特征，最后用支持向量机(Support Vector Machines，SVM)[3]、Adaboost[4]等分类器进行分类。这些检测方法虽然省去了大量重复性的人工检查，但准确率并不高。近年来，随着深度学习的兴起及其在图像分类中的优异表现，出现了很多基于深度学习的目标检测算法，其精度与传统方法相比有了质的飞跃。其基本思想是：假设边界框，并对每个框的像素或特征进行重新采样，最后用高质量分类器进行分类，代表性算法有Faster R-CNN[5]。为减少计算量，YOLO[6]只设计单个网络，用网格将候选区域缩小，直接在输出层进行多目标的矩形框回归和类别判定，该方法虽然精度不如Faster R-CNN，但计算量较前者大大降低。SSD(Single Shot MultiBox Detector)[7]针对YOLO缺点，使用小卷积核来预测目标类别的目标矩形框的偏移，且网络设计结合了CNN中不同分辨率的多个特征层来解决不同尺寸目标的检测问题，因此该模型在相对低分辨率的输入下也能够获得比较高的准确率。虽然对于一般物体的检测而言，SSD能够胜任，但由于SSD没有用到比较低层的特征，而这些低层的特征对于检测小物体是非常重要的，所以SSD对小物体的检测效果并不理想。

为了提高物体检测识别的精度，VGG(Visual Geometry Group)、Inception等网络都在增深或增宽网络，虽然深度和宽度是衡量模型的重要指标，但随着网络深度的增加，可能会导致梯度弥散等情况发生，最终使训练困难，精度也无法提高。故一般选用深度残差神经网络(Deep Residual Network,ResNet)[8]来提升所提取特征的表征力。

2 基于特征融合的座舱开关目标检测算法

2.1 Faster R-CNN网络结构

传统的Faster R-CNN算法其网络结构是将特征提取、候选区域提取、边框回归和分类全部整合到一个网络中，该算法提出了区域生成网络(Region Proposal Network，RPN)，代替了之前 R-CNN 和 Fast R-CNN 中的选择性搜索方法，使得其目标检测的综合性能有了较大提高。Faster R-CNN 网络结构[9]如图2所示。

图2 Faster-R-CNN网络结构

针对飞机飞行前检查的主要检测场景，例如飞机座舱开关、断路器开关的目标检测，其主要特点是待检测开关尺度较小，分布也较为密集，并且同一开关有多种状态需要进行区分。传统的Faster R-CNN算法在进行目标检测时，虽能较好地识别开关，但是开关位置的识别比较粗略。这主要是因为Faster R-CNN仅采用顶层特征做预测，虽然通过在高层特征图上提取语义信息丰富的特征有利于目标识别，但却不利于目标定位，尤其不利于小目标定位。

而在飞机座舱场景中，待检测的开关普遍较小，如果只用顶层特征进行预测，就会导致检测结果不理想。所以这里既要利用高层的强语义特征，同时也要利用低层的高分辨率特征，这样才能有效提升开关检测率。

2.2 基于特征融合的Faster R-CNN改进算法

为保证检测精度，先对基础网络从低到高抽取不同尺度的特征层，经过多次上采样融合特征到最后一层，用最后生成的特征做预测，如图3所示。这样便能够将低分辨率、强语义的特征和高分辨率、弱语义特征结合在一起，继而尽可能体现不同尺度特征图的价值。

图3 特征融合方式

基于特征融合的改进 Faster R-CNN网络结构(Faster R-CNN*)如图4所示。在原 Faster R-CNN 网络的基础上，以 VGG16 网络作为基础特征提取网络[10]，并针对座舱开关的特点，融合了4个卷积层提取出的特征，形成新的特征；接着将融合后的特征送入 RPN中生成候选区域，为了避免候选区域建议框之间的重叠或覆盖，使用软化非极大值抑制(Soft Non-Maximun Suppression，Soft-NMS)算法代替非极大抑制(Non-Maximun Suppression，NMS)算法，减少假阳性样本的数量。ROI(Region of Interest)池化层将 RPN获取的区域候选框与卷积特征图整合起来，提取建议特征图，送入后续全连接层判定目标类别和获取检测框位置。

图4 基于特征融合的改进 Faster R-CNN网络结构

基于特征融合的改进 Faster R-CNN网络的特征融合如图5所示，这里抽取基础网络的4层特征进行融合，这4层特征图大小分别为56×56，28×28，14×14和7×7；之后对4层特征图分别用1×1卷积都统一降维到128，并用上采样卷积将其3层较小尺寸的特征图分别扩大到与被选择融合的最低层特征图一样的尺寸大小(即56×56)，然后将维度和尺寸统一后的4层特征图进行Concat连接生成新的特征图送入RPN。

图5 基于特征融合的改进 Faster R-CNN网络的特征融合

2.3 算法对比实验

表1为Faster R-CNN和Faster R-CNN*的对比实验，基础网络为VGG16，实验数据为大约2300张座舱开关样本，其中1900张用于训练，其余用于测试。由表1可知，对于座舱开关这一小目标的检测场景而言，Faster R-CNN*的方法明显要比Faster R-CNN的检测效果好，这主要得益于其融合了低层高分辨率的特征。

表1 Faster R-CNN和Faster R-CNN*座舱开关检测效果对比

在图5中，选择了4层特征进行融合，同时选取5层(112×112，56×56，28×28，14×14和7×7)和3层(56×56，28×28和14×14)特征进行融合，并针对座舱开关检测场景进行对比实验，对比效果如表2所示。由表2可知，当融合的特征层数变多(5层，增加112×112特征层)，性能却并没有提升，这是因为层数虽然变多且包含分辨率更大的低层特征信息，但其语义信息较弱，所以即便定位精度有所提升，而其识别精度却会有所降低；当层数减少(只有3层特征进行融合)时，检测性能也随之下降。综上所述，确定用4层特征进行融合。

表2 3～5层特征融合识别效果对比

3 基于特征融合的多分支座舱开关目标检测算法

3.1 基于特征融合的多分支Faster R-CNN改进算法

对开关类小目标的检测进行了网络算法构造，但这种特征融合虽然对小物体检测提升较为明显，但同时又轻微降低了对一般大小目标的检测效果，并且牺牲了不同尺度下的特征一致性。针对该问题，重新对物体的感受野进行思考，一般对于检测而言，除了基础网络的深度和宽度，感受野也会影响最终检测性能。这里认为感受野体现在卷积核的尺度上，用卷积核的膨胀系数(空洞卷积[11])控制感受野的区域。

在设计网络时既要考虑一般大小物体的同时又要考虑小物体的检测，所以通过改变基础特征提取网络VGG16中第2～5段卷积层的3×3卷积的膨胀系数来生成两个分支[12]，其结构如表3所示。

表3 VGG16结构

在表3中第2～5段卷积层共有11个卷积层，每段结尾连接一个最大池化层用于缩小图片尺寸。改变这11个3×3卷积的膨胀系数，生成两个分支，分别对应小目标和一般大小目标，这两个分支的膨胀系数分别设为1和2。两个分支对应不同大小的感受野，因为较大的感受野对大目标较为敏感，反之小感受野与小目标相关性更好。

基于特征融合的多分支Faster R-CNN网络结构(Faster R-CNN**)如图6所示。基础特征提取网络分为感受野不同的两个分支，再分别进行特征融合，分别送入RPN进行预测，再用Soft-NMS结合两个分支的区域建议，送入后续的ROI池化层和全连接层。这两个分支除了卷积核的膨胀系数不同外，共享其他的参数权重。需要注意的是，多分支所用的卷积膨胀系数也包括特征融合时的上采样阶段。

图6 基于特征融合的多分支Faster R-CNN网络结构

3.2 算法对比实验

表4为Faster R-CNN*和Faster R-CNN**的对比实验结果。由表3可知，多分支结构对检测性能的提升是明显有效的。原因在于对卷积核进行不同程度的膨胀，使不同尺度下特征表达能力比较一致，兼顾了小目标和一般大小目标的检测效果。

表4 Faster R-CNN*和Faster R-CNN**座舱开关检测效果对比

4 结束语

本文就飞机放飞前检查存在的一系列问题做了简要分析，将现有的基于深度学习目标检测算法进行梳理，再结合实际场景进行应用。针对飞机放飞前座舱开关状态检测这一实际场景，在现有算法基础上做了一些改进和构造，改进后的算法在实验中表现良好，开关状态检测效果较原算法有了明显提高。

实验证明，将深度学习方法应用在飞机维护领域是有效的，其精度和速度都较传统的人工检查有大幅提升。限于时间和资源，算法改进尚有不足，例如对于微小物体的检出(放飞前保险丝检查)和一般大小物体同时检出(放飞前检查场景多、目标大小不一)等情况，还待改进和研究。这也将是以后针对飞机装配过程中使用人工智能技术进一步提高装配效率、保证装配质量的重要研究方向。针对网络过深或者模型参数量过大的问题，为了减小存储计算开销和拓展CNN在某些低功耗领域的应用，今后会考虑MobileNet系列等其他算法。