基于改进图卷积神经网络的航空行李特征感知

邢志伟，朱书杰，李彪

(中国民航大学 电子信息与自动化学院，天津 300300)

国际航空电信协会(Society International De Telecommunication Aeronautiques,SITA)发布有关报告指出，随着机场行李处理量的不断增长，现有的航空行李人工搬运及码放模式已无法满足现实需求，须开发包括自动化快速搬运及码放在内的自动处理系统，以适应机场高效运行的节奏[1].航空行李特征感知作为自主搬运及码放的关键输入之一，高效、准确的感知结果能够进一步提升航空行李自动处理系统的安全性能及作业效率.

目前，多数研究者采用深度学习结合图像处理的方法，提取行李特征.Gao 等[2]提出顺序分层采样方法，结合卷积神经网络学习行李图像特征，检测行李类别.Peng 等[3]设计基于双目立体主动激光编码投影的行李表面纹理增强方法，提高了行李表面的特征学习能力.Tang 等[4]融合RDeepForest 算法和种子区域优化算法，将基于可信度的分类方法应用于航空行李分类.Mazzeo 等[5]构建孪生网络模型，引入方形非参数层，用于比较孪生网络输出的行李特征的相似性.Chen 等[6]提出局部显著的深度神经网络，在关注行李颜色和形状特征的同时，将纹理和图案信息纳入考虑.Zhao 等[7]设计结合多视图注意和域不变学习的网络架构，有效解决了行李特征识别中广泛存在的视角差异和背景姿态差异这2 类问题.Wu 等[8]提出融合注意力机制的行李多粒度特征学习方法，提高了检索特征的可辨别性.Yang 等[9]提出QuadNet 模型，利用四元组损失函数，有效减小了相同行李种类的类内距离，增加了不同行李种类的类间距离.

上述方法基本都是从航空行李二维图像数据中提取颜色、形状、纹理、边缘特征等信息作为模型输入，而机场复杂的部署环境、强干扰的信息采集背景极易导致特征感知的难度升高，可辨别性较差.以往的航空行李特征提取方法未能利用其三维空间的几何信息，准确度有待提高.

本文面向航空行李特征感知分类的现实技术需求，设计并搭建航空行李特征信息采集系统.采集了航空行李点云数据并制作数据集，通过改进PointNet++模型感知航空行李特征信息，对构型繁杂的航空行李进行分类.在模型的特征抽象层中，添加局部空间注意力(local spatial attention,LSA)模块，提高对行李局部空间结构信息的提取能力.引入全局特征聚合(global feature aggregation,GFA)模块，学习局部结构之间的相关性.使用循环最大池化层(recycling maxpooling,RMP)进行特征降维，在保留全局特征信息的基础上，进一步减少局部信息损失.

1 实验系统与数据分类

根据航空行李处理系统有关行业的技术标准[10]，搭建航空行李特征采集实验系统，基本架构如图1 所示.行李在传送带上以一定速度(0.2～2.0 m/s)运输，上方深度相机采集行李点云数据，实时模拟行李输送的情况，运行状态如图2 所示.

图1 航空行李特征采集的实验系统Fig.1 Experiment system of airline baggage feature collection

图2 航空行李特征信息采集实验系统的运行状态Fig.2 Operation status of airline baggage feature collection system

通过航空行李特征采集实验系统，采集得到219 个不同构型的航空行李的点云数据，共计4625个.根据同方威视人工智能研发中心和香港大学的相关研究，将航空行李划分为以下6 类：方箱、硬箱、软箱、硬包、软包、异形[11-12].一些基本示例如图3 所示.分类依据即各类行李的构型特点和材质差异，构型上分为箱类、包类和异形，外表材质有软硬区分，具体的分类依据如表1 所示.

表1 航空行李的分类依据Tab.1 Basis for classification of airline baggage

图3 航空行李分类Fig.3 Classification of airline baggage

2 航空行李特征感知网络模型

采用PointNet++[13]网络作为基础框架，引入图卷积神经网络和自注意力机制，增强模型对航空行李点云特征的感知能力.改进后的PointNet++(graph attention convolutional PointNet++,GACP)的总体网络结构如图4 所示，包括LSA 局部空间注意力模块、GFA 全局特征聚合模块和RMP 循环最大池化层3 个改进组件.行李点云数据输入网络后被采样分组形成局部点集，输入LSA 结构进行相邻点特征学习，然后输入MLP 结构中进行特征升维.将得到的行李局部特征输入GFA 结构进行全局特征聚合，经RMP 特征降维后得到最终的全局特征，利用全连接层输出行李类别概率.

图4 GACP 网络的结构Fig.4 Structure of GACP network

2.1 基于LSA 的局部特征提取网络

PointNet++的点云特征提取只考虑采样中心点与相邻点的关系，忽略了相邻点之间的链接关系，导致局部结构的内在相关性特征提取不足，采样中心点与相邻点的特征关系不能保证有效地表征局部区域信息.在经过若干次分层特征提取后，网络会丢失较多的局部轮廓结构信息.LSA[14]模块的结构设计是基于图卷积神经网络，将点云的局部结构构造为三维空间中的图，学习点云数据中节点特征和边的特征信息，结合自注意力机制[15]计算航空行李局部结构的内部相关性.LSA 结构如图5 所示，经过采样分组的行李局部点云数据输入LSA 模块进行相邻点特征关系计算，得到节点特征邻接矩阵.由邻接矩阵更新每个节点的特征关系，聚合形成带有权重关系的行李局部空间结构特征.

图5 局部空间注意力模块的结构Fig.5 Structure of local spatial attention module

从行李点云的局部点集 Pi={pi,pi1,pi2,···,piK}中构造 N个局部图其中 pi∈R3为局部点集 Pi的中心点，pij∈R3(j=1,2,···,K)为中心点 pi的K个邻近点，Ai={1,2,···,K} 和Bi⊆Ai×Ai分别为点集的顶点和边的集合.定义 Fi={fi,fi1,fi2,···,fiK}为与点集 Pi相对应的一组特征，其中fi、fij∈RD，其中 D为每个点的特征维度.为了构造局部图的邻接矩阵并更新每个节点的特征，通过自注意力机制计算邻接点之间的相关性，利用softmax 函数消除冗余的部分.

1）通过局部图 Gi上节点的相似性矩阵 Ri，计算图中不同节点之间的关系：

式中：‖ 和 ⊗分别为级联运算和矩阵乘法，λ 和 µ用于将局部特征变换为2 个同阶矩阵形式的独立线性变换.为了利用softmax 函数减少不同类别节点之间的冗余连接，须生成邻接矩阵 Si∈RK×K：

式中：Si(·,·)和Ri(·,·)分 别为 Si和 Ri中的元素，α、β=1,2,···,K分别为图中第 α个节点和第 β个节点.

2）通过邻接矩阵来更新每个节点的特征：

综合上述步骤，LSA 模块提取得到的局部空间结构特征为

2.2 基于GFA 的全局特征聚合模块

经过LSA 模块提取得到航空行李点云的局部空间结构特征，但网络内缺乏点云局部区域外的上下文信息，模型的全局轮廓形状感知能力较弱.利用GFA[16]模块建立不同局部结构区域的长期依赖关系，自适应地聚集局部特征形成完整的行李全局特征，在构建上下文信息的同时，增强点云区分对象的能力.网络结构如图6 所示，局部特征经过邻接矩阵形成全局关联关系，通过门控循环单元自适应聚合关联前、后的特征，形成行李全局特征.

图6 全局特征聚合模块的结构Fig.6 Structure of global feature aggregation module

每个局部点集输出的特征表示被LSA 模块视为超级点，这些超级点被用于构造全局图.由全局超级点和相应的特征来构造全局图 G=(A,B),其中 A={1,2,···,N} 和 B ⊆A×A分别为顶点和边的集合.采用类似LSA 的方法生成邻接矩阵 S∈RN×N.GFA 的具体步骤如下.

1）在全局图上计算每个节点之间的相似度，形成相似度矩阵：

2）更新后的全局特征可以表示为

3）采用门控循环单元(gated recurrent unit,GRU)[17]策略，实现更新前、后特征的自适应聚合.最终的特征表示为

2.3 RMP 池化层

面对构型相似、表面形态差异较小的行李，沿用最大池化操作对行李点云数据进行下采样，不能保证保留下的最大特征可为构性差异小的行李提供最准确的分类依据.引入RMP 循环最大池化层[18]替换最大池化层，在特征降维过程中丢弃的点之间重复执行最大池化操作，回收利用一些丢弃点的特征，在多个层次上收集特征信息，对第一次最大池化操作得到的原始特征集进行细化，提高网络的分类性能.RMP 示意图如图7 所示，在经历第一次最大池化操作后，对丢弃的点特征进行第二次最大池化操作，重复 n次以后，将得到的 n段特征向量经分层损失函数细化得到最终的全局特征.

图7 循环最大池化层的示意图Fig.7 Schematic diagram of recycling maxpooling

航空行李点云数据在经过多个特征提取和聚合层后，得到第一个特征矩阵 T1∈RK1×D,其中 K1为第一个最大池化操作之前的点数，D为特征维度.在第一次最大池化操作后，得到丢弃点的特征矩阵 T2∈RK2×D和特征向量 F1∈RD，K2为在第一次最大池化操作后丢弃点的数量.在 T2上应用最大池化来获得 F2∈RD，回收过程可以重复 n次，得到第 n级具有置换不变性的特征向量Fn∈RD.

对于经过 n次重复最大池化操作得到的 n个特征向量 F1,F2,···,Fn，仅仅通过串联或是相加的方式对它们进行结合不是最优的方法，对模型性能的提升效果有限.RMP 模块通过设计分层损失函数来改进 F1，该损失函数包括分类损失和细化损失.

Li 等[19]使用增强网络来转换输入点云，利用由增强数据输入目标推广网络而获得的增强损失来细化原始损失.RMP 模块受文献[19]的启发设计了细化损失函数，通过 F2,F3,···,Fn来细化 F1.

RMP 不使用其他网络来改善目标网络，只是执行几层MaxPool，使用在每个回收层获得的特征 Fi来细化 F1.回收等级 i的细化损失函数为

式中：ρi为细化损失函数计算过程中分类损失的权重，γi为大于1 的变量，k为分类任务中类别的数量，yq和分别为真实值和基于特征 F1的预测值.

整体细化损失函数的计算公式为

结合分类损失 Lc和细化损失 Lr，最终的损失函数定义为

式中：η为细化损失的权重.

3 实验结果与分析

实验中使用的软硬件环境配置及模型的相关参数设置如表2 所示.表中，Input point 为训练时一次输入网络中的点数，Gamma 为学习率衰减系数.

表2 航空行李特征感知的实验配置Tab.2 Experimental configuration of airline baggage feature perception

3.1 数据集和评价指标

实验使用的航空行李点云数据集由深度相机采集获得，包括6 类219 个不同构型的航空行李.由于行李点云数据的采集表面不同，包裹挂饰、行李箱贴纸各种各样，表面脏污、凹陷存在突出差异，共采集得到4625 个航空行李点云数据.为了减少网络过拟合并提高网络感知分类的鲁棒性和泛化能力，对采集到的稠密行李点云数据进行随机下采样，对一个行李点云重新采样，扩展成3 个不完全重叠的点云，如图8 所示.通过上述点云数据增强操作，得到包含13494 个航空行李点云的扩展数据集，划分为11022 个点云的训练集、2472 个点云的测试集.

图8 扩展数据集的制作方法Fig.8 Production method of extended dataset

在评价指标方面，实验使用分类性能评价中最常用的性能标准：整体精度(overall accuracy,OA)和平均精度(mean accuracy,mAcc).整体精度为所有测试集点云分类结果的精度，平均精度为所有类别感知分类结果的平均值.

3.2 对比实验及分析

为了验证GACP 模型在航空行李点云特征感知任务上的性能，选取4 个先进的点云分类算法，在航空行李点云数据集上进行实验.对比算法包括PointNet[20]、PointNet++[13]、DGCNN[21]和PointVGG[22]，其中DGCNN、PointVGG 与GACP 一样，融合了图卷积神经网络思想改进的点云分类算法.4 种对比算法均使用初始模型架构和参数设置.测试结果如表3 所示.表中，t 为测试集的耗时.

表3 不同模型的分类精度对比Tab.3 Comparision of classification accuracy for different models

如表3 所示为5 种方法在航空行李点云数据集上的精度指标.PointNet 和PointNet++主要考虑点云的全局信息，对点云局部几何特征的关注较少，实验效果较差，最高的整体精度为91.25%.

DGCNN 和PointVGG 将图卷积神经网络应用到点云处理中，逐层提取丰富的点云特征，与PointNet++相比，在航空行李特征感知分类实验中OA 分别提高了1.81%和2.93%，mAcc 分别提高了2.57%和3.74%.

GACP 整体精度为96.32%，平均精度为94.68%，在对比实验中取得了最优结果，与Point-Net++相比，OA 和mAcc 分别提高了5.07% 和6.53%，6 种行李的分类精度提高了4%～8%.可见，GACP 在行李点云局部空间特征提取和全局信息聚合感知能力上有了显著提升.

GACP 相较于DGCNN 和PointVGG 而言，在点云特征学习中融入图卷积神经网络和自注意力机制，挖掘点与点之间的相关性和区域之间的依赖关系，在丢弃冗余特征信息的同时保留鲜明有效的特征激活.G A C P 在实验中表现优于DGCNN 和PointVGG，OA 分别提高了3.26% 和2.14%，mAcc 分别提高了3.96%和2.79%.如图9所示为利用5 种算法训练了200 个轮次的OA 曲线，GACP 优于其他4 种算法.图中，E 为深度学习模型训练的回合次数.从图9 可见，GACP 算法在航空行李特征感知中较其他主流深度学习点云处理算法有一定的优势.

图9 不同模型的分类精度曲线Fig.9 Classification accuracy curves of different models

单独从6 种行李的分类精度来看，5 种算法在箱类和异形的分类精度上普遍高于包类，异形的分类精度最高，硬包分类精度最低.原因是异形行李多为不规则物体，与外形相对规整的箱类和包类相比，特征明显，易于区分；包类行李中存在某些形态较特殊的背包，加上肩带、装饰的影响，容易导致包类行李被错误识别成异形，很多表面为硬质外壳的背包，在背包拉链装饰的影响下被错误识别成软包.在硬包识别精度上，GACP 较PointNet++提高了8.41%，在6 种行李中增幅最高，硬包行李分类识别的能力强化明显.整体上，GACP 算法在航空行李特征感知分类任务上相较于PointNet++都有很大的提升.

5 个模型学习点云特征的能力不断增强，算法性能逐渐加强，在6 类行李上的最高分类精度逐步升高，但DGCNN 的软包分类精度低于PointNet++.算法特征提取能力的提升使得他们在各类行李的分类精度上不断提高，但面对构型各异的行李，即使是同类行李也可能因其构型差异较大，使得模型感知性能降低.

GACP 在测试集上耗时283.2 s，虽然在5 种算法中耗时最长，但平均每件行李的感知耗时不超过115 ms，平均每秒可以识别8、9 件行李，能够满足机场对于行李自动化搬运、码放的实时性需求.可见，GACP 算法不仅精度高，而且计算耗时短，综合性能较优.

3.3 消融实验

为了验证GACP 算法中各改进模块的功能和有效性，在航空行李点云数据集上对网络进行分组消融实验.4 组消融实验结果如表4 所示.表中，“√”表示加入该改进模块，“×”表示未加入该改进模块.

表4 不同模块的消融实验Tab.4 Ablation experiments of different modules

1）LSA 模块.从表4 可见，B 组与A 组相比，在PointNet++特征提取层中加入了LSA，mAcc 和OA 分别提高了1.92、1.36%.这是由于PointNet++的特征提取层只是在特征升维过程中的逐层采样特征区域进行特征学习，将区域特征浓缩成一个点，用以表征区域特征，不能充分提取行李点云数据中点与点之间的关系特征，易丢失关键的空间结构特征.通过加入LSA 模块，获取行李点云数据中点与点之间的空间结构关系，得到更鲜明准确的行李局部结构特征，使得行李感知分类效果变好.

2）GFA 模块.C 组与B 组相比，在提取局部空间结构特征后引入GFA 模块，学习点云局部结构特征之间的依赖关系，建立上下文信息，得到完整的全局特征，对行李全局特征有了准确的把握，模型特征感知分类能力得到大幅提升，mAcc和OA 分别提高了3.38%和3.12%.

3）RMP 模块.D 组与C 组相比，在提取得到全局特征后，为了减小信息冗余，降低计算成本，但不丢失重要特征信息，使用RMP 模块代替原始PointNet++中的最大池化层.在多次循环最大池化的过程中，回收一些较鲜明的特征来不断细化全局特征，减少相关信息缺失导致感知分类出错的风险，使得mAcc 和OA 分别提高了1.29%、0.59%，表明RMP 提升了模型性能.

3.4 感知结果对比及分析

如图10、11 所示分别为PointNet++和GACP的航空行李感知分类结果.为了提升感知结果的可视化效果，在点云数据上叠加了原始RGB 信息.

图10 PointNet++感知结果Fig.10 Perceptual results of PointNet++

图11 GACP 感知结果Fig.11 Perceptual results of GACP

PointNet++在硬箱、硬包、软包、异形4 类行李中均出现了感知错误，18 件行李感知样例中有5 件行李分类出错，其中硬包2 件.如图10(a)所示，箱体材料为织物的软箱，表面较平滑，被PointNet++错误感知为硬箱.如图10(b)、(c)所示为软包，材料分别为织物和涤纶，表面平滑起伏小，被错误感知为硬包.图10(d)是硬包，受悬挂装饰的影响，被错误感知为软包.图10(e)为方箱包裹，由于PP 编织袋包装不完全贴合包裹，被错误感知为异形.GACP 对这5 件行李的感知结果均正确.总体而言，在航空行李特征感知任务上，GACP 的感知效果明显优于PointNet++.

3.5 鲁棒性实验

在实际机场航站楼复杂的部署环境下，行李点云采集设备易受电磁干扰、光线较暗的负面影响，导致行李点云数据出现密度不均匀、空缺的异常现象，如图12 所示.为了验证GACP 模型对噪声干扰的抵抗力，在航空行李点云数据集上开展随机噪声鲁棒性实验.

图12 行李点云数据的异常现象Fig.12 Anomalies in luggage point cloud data

将随机噪声添加到输入点云中，替换掉一定数量的原始点集，模拟噪声干扰和数据丢失的情况.如图13 所示为5 种模型在航空行李点云数据集上的随机噪声鲁棒性实验结果.图中，Nn为噪声数量.

图13 鲁棒性实验结果的对比Fig.13 Comparison of robustness experiment results

随机噪声的加入使得5 种模型的分类精度都明显下降，GACP 相较于其他模型下降趋势更缓.这是由于GACP 在局部精细特征提取和全局特征聚合过程中，对图结构的邻点分配不同的权重来降低干扰点的影响，RMP 模块也能回收保留一些层次鲜明的特征激活以提供分类依据.当噪声数量达到100 时，GACP 的分类精度大于80%，表现出较强的鲁棒性.

4 结 语

本文提出融合图卷积神经网络和自注意力机制的PointNet++网络模型GACP，应用于航空行李特征感知分类任务.该网络通过局部空间注意力模块来提取行李的局部空间结构特征，结合全局特征聚合模块学习行李局部特征之间的依赖关系，形成全局上下文信息.利用循环最大池化模块保留鲜明的特征激活，去除冗余信息，在提升模型分类性能的同时降低计算量.实验表明，本文提出的方法在航空行李点云数据集上的整体分类准确率达到96.32%，比PointNet++高5.07%.对比实验和消融实验的结果证明，GACP 在构型繁杂的航空行李特征感知分类问题上表现优越.鲁棒性实验证明，GACP 具有较强的抗噪声干扰能力，能够为航空行李自动化码放处理的安全高效运行提供决策依据.

目前，航空行李特征感知任务存在许多不足，如行李类型可以从表面材质、形状特点上进一步细分.未来将关注研究行李中心点坐标和行李外轮廓包络线形状的法线方向位置倾角对航空行李特征感知的贡献，考虑低分辨率行李点云数据对模型性能的影响.