航空行李外形识别综述

徐琪 魏明灿 乔木 郭崇雨 孙旭泽

摘 要：行李外形识别是实现民用机场行李自動处理需要解决的关键问题之一。本文梳理了近些年行李外形识别技术相关研究，对现有研究中常用的方法加以归类，并对各方案进行了分析评价。最后对全文进行了总结，并给出了对未来航空行李外形识别研究的展望。

关键词：航空运输；行李系统；外形识别

1 概述

航空旅客托运的行李由行李系统进行集中快速收集、传送、跟踪处理及自动分拣，并通过行李牵引车在行李系统终端与机坪之间运输行李，以及通过传送带车在飞机货仓装卸行李。随着旅客吞吐量的上升，大型枢纽机场每日托运的行李数量接近十万件，这对处理行李的效率提出了较高的要求。目前仍有一些行李处理环节需要人工作业，如行李托运、不正常行李的识别与分拣、行李运输和行李码垛等。人工作业速度有限，错误率受人员状态影响，且人力成本高。为了提高行李处理整体效率，一些机场、科研机构或企业对上述环节进行了无人化探索，行李外形识别是无人化行李处理的关键问题之一。

本文主要对近些年行李外形识别技术的发展以及在航空行李运输中的应用进行梳理，介绍不同解决方案及各方案特点。

2 行李二维图像轮廓识别

在只获取行李单二维图像时可对行李的轮廓进行识别以判断行李类别，通常的方法为：首先对单行李图像去除通道背景获得单独行李图像，经过灰度处理以减小运算量，再通过中值滤波得到平滑图像；接着还需对图像进行二值化，经边缘检测及膨胀、腐蚀的形态学处理后得到行李的轮廓图；经形态学处理后可快速识别出行李的大致形状，但轮廓识别结果往往不太准确［1］。

针对二维行李图像轮廓精准识别问题，李菊霞［2］提出了一种基于深度学习的二值图像目标轮廓识别算法。在对行李图像进行灰度化、降噪、二值化处理之后得到二值图像，不进行形态学处理，而是利用深度卷积网络算法对此图像划分为不重叠的、大小相同的子块图像，并对其进行两次卷积滤波输出每个子块的轮廓识别结果，再对输出的结果通过全连接方法将其聚类，得到最终的轮廓识别结果。经实验该方法识别的准确性可达98%，大大提高了二维行李图像的识别精度。但二维图像只包含行李一面的视图，能表达的信息有限，想要准确识别出行李类型还是需要对行李的三维形状进行识别。

3 行李三维形状识别

文献记载的行李三维形状识别方法有单目视觉法、双目视觉法、体积法、点云法、多视图法和综合方法。

3.1 单双目立体视觉法

最初的三维形状识别是通过单目摄像机来进行的，有两个主流方法：结构法和视图法。由于前者的鲁棒性较差，所以后者更为流行。视图法的实质是将3D对象识别转化为2D形状识别问题，Gonzáleza等［3］对此方法的性能进行了定性定量分析，在对硬识别率、弱识别率和模糊识别率测量比较的基础上提出了用形状表示模型的一般性原则。

单目摄像机较为简单，识别也较快速，但识别出的三维形状特征会丢失过多，不能重建出三维模型，针对这些缺点便出现了双目立体视觉方法。双目识别通过带有标定板的左右相机采集行李图像获得双目横向汇聚模型，接着通过标定得到表征像素的基础矩阵，使用改进立体算法获得最佳匹配点进而解出三维坐标，获得三维重建模型。为了使重建的行李模型更清晰，还需使用约束随机编码激光来增强行李表面纹理［4］。

杨璐［5］使用两个相机从不同角度获取行李图像，通过背景相减法及形态学处理提取单独行李，然后提取行李的边缘特征，经立体匹配得到行李轮廓深度图，最后通过中点法、三角法等恢复行李轮廓三维信息，并用行李轮廓点云图进行显示。

3.2 体积法

体积法是采用3D卷积层的卷积神经网络（Convolutional Neural Network，CNN）来处理体素数据。如Wu等［6］提出了一种卷积深度信任网络将几何三维形状转化为3D体素网格上二元变量的概率，可以识别单视图2.5D深度图像中的对象，并使深度图中缺失部分半透明化，可以利用深度图识别3D形状。

由于高计算成本和体数据的稀疏结构，导致了体积法的低效和有效性低，所以Riegler等［7］提出利用体素网格的稀疏性来加速处理高分辨率体素网格。Kumawat等［8］提出了标准3D卷积层的有效替代方案。高庆吉等［9］采用Kinect深度传感器获取行李上表面的深度信息，通过背景相消法提取单独行李，又通过横纵滤波去除噪点，得到行李上表面的深度图像，识别出行李形状。

3.3 点云法

点云在最初由于形式不规则通常会被转换为规则的体素网格或图像集合，然而这极大地增加了运算量和信息丢失。参考文献［10］提出了一种直接使用原始点云数据的深度神经网络PointNet，通过使用一个对称函数来编码选择点云中信息丰富的点，并将最优值聚合到整个形状的全局描述。该方法可以学习全局和局部点特征，为通过点云进行3D形状识别提供了一般方法。

翁博文［11］采用了两个结构光深度相机采集行李的点云，然后用二维网格结构对数据进行储存、索引和简化，通过点云矩阵之间的旋转与平移将两个相机数据拼接在一起获得了行李的形状点云信息，使用PointNet对其进行了3D形状识别。朱嘉宸［12］使用两个深度相机采集行李的点云信息，并进行半径滤波以消除噪声影响，在此基础上采用了先初始匹配后精确配准的点云融合方法，再通过中心投影法将点云图转化为深度图，进而识别行李形状。

首都机场的不正常行李探测系统（如下图）在行李通过时打开线性结构激光照射行李表面，通过3台工业相机实时采集行李图像。根据点云数据提取行李长、宽、高，并根据尺寸模型判断行李是否正常；然后，使用PointNet算法对行李的点云数据进行是否正常的分类；最后，利用Adaboost算法整合以上两种分类结果，达到精准判别行李是否正常的效果。该系统的判别准确度达到90%以上。

（a）不正常行李探测系统          （b）行李探测过程

首都机场不正常行李探测系统图

3.4 多视图法

多视图法类似于人眼的感知机制，是目前应用最广泛的方法。Su等［13］提出的MVCNN（Multiview Convolutional Neural Network，多视角卷积神经网络）是多视图法中最早的研究之一。它是提取视图特征的一种新型架构，并可以将3D形状的多个视图组合到单个紧凑形状描述符中，使识别更高效准确。MVCNN结构虽简单，但提供了一个通用方法，后来的研究者多在此基础上进行改良。

Wang等［14］对MVCNN进行了改进，通过引入通道注意机制有效减少了干扰，通过引入残差结构解决了深度神经网络退化问题；通过引入mish函数提高了适应性和准确性，使算法在数据集上的处理结果更有竞争力。

Xu等［15］基于深度神经网络开发出了3D形状识别的对应感知模块CAR，可将视图特征转化为语言空间中的点集并搜索空间中的潜在对应点，通过利用这些潜在对应点在视图中的位置和空间关系来输出对应感知表示。将CAR模块与ResNet18相结合开发了CARNet模型，可用更少视图获得更显著的性能增益。

Liu等［16］提出了一种高精度三维形状多视图识别框架，先是通过基于投票的过滤算法选择最有代表性的视图，然后通过聚合卷积模块将各视图特征融合到3D形状描述符中，此方法的检索性能和鲁棒性都有了显著提升。

Nie等［17］针对多视角三维形状识别中细节信息易丢失问题，提出了一种基于局部信息的多注意网络。此方法可在获得特征图后通过引入空间感知和通道感知来量化空间区域和通道的贡献，从而使特征图的有效信息更集中，有效提高了视图描述符的区分度。为了给全局特征保存更多有效信息，还引入了多头注意力模块来生成全局描述。显著提高了视觉效果，保留了更多的有效信息。

3.5 综合方法

有学者考虑将不同的方法综合，取长补短。Sun等［18］提出了一个同时使用点云和多视图的视点互补学习网络，从多视图中提取视觉特征，从点云中提取结构特征，然后将两者投影到同一个特征空间，通过相似性建模获得了两种数据的特征信息和互补信息以进行3D形状的统一表示。该方法的各项性能均优于现有的点云或者视图方法。

冯元力等［19］提出了一种基于多视角全景图的3D模型识别方法，将三维模型投影到球面，再将球面从多个不同角度展开得到多个全景图，用多分支的卷积神经网络整合分析并得到识别出的三维形状。此方法保留了更多的特征数据且具有更好的识别精度。

4 结论与展望

行李外形识别作为行李无人化处理的关键技术之一，诸多学者给出了自己的解决方案。本文以外形识别技术发展情况为脉络，阐述了行李外形识别技术的研究现状及应用情况。未来的行李形状识别技术将向着更快速、更精确、更具环境适应性的方向发展，同时随着行李数据库的完善和对数据库的深入学习，未来的行李识别技术可望更加精细化。

参考文献：

［1］董景峰，楊若怡，周康康，等.机场行李提取中行李箱图像识别与旋转仿真［J］.物流技术，2020，39（02）：122129.

［2］李菊霞.基于深度学习的二值图像目标轮廓识别算法［J］.吉林大学学报（理学版），2020，58（05）：11891194.

［3］Elizabeth González，Antonio Adán，Vicente Feliú.2D shape representation and similarity measurement for 3D recognition problems：An experimental analysis［J］.Pattern Recognition Letters，2011，33（2）.

［4］彭传波.基于激光编码的航空行李视觉检测方法研究［D］.中国民航大学，2019.

［5］杨璐.基于双目立体视觉的行李规格检测研究［D］.中国民航大学，2013.

［6］Wu Z，Song S，Khosla A，et al.3D ShapeNets：A Deep Representation for Volumetric Shapes：2015 IEEE Conference on Computer Vision and Pattern Recognition（CVPR），10.1109/CVPR.2015.7298801［P］.2015.

［7］Riegler G，Ulusoy A O，Geiger A.OctNet：Learning Deep 3D Representations at High Resolutions［C］// 2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.IEEE，2017.

［8］S.Kumawat and S.Raman.LP3DCNN：Unveiling Local Phase in 3D Convolutional Neural Networks［C］.2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR），IEEE，2019：48984907.

［9］高庆吉，位园园.基于表面深度值均方差的航空行李分类研究［J］.计算机工程与科学，2017，39（1）：125130.

［10］Qi C R，Su H，Mo K，et al.PointNet：Deep Learning on Point Sets for 3D Classification and Segmentation［C］// 2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.IEEE，2017.

［11］翁博文.基于三維点云的航空行李适运性计算方法研究［D］.中国民航大学，2020.

［12］朱嘉宸.基于深度相机的机场自助行李托运关键技术的研究［D］.电子科技大学，2020.

［13］Su H，Maji S，Kalogerakis E，et al.Multiview Convolutional Neural Networks for 3D Shape Recognition：IEEE，10.1109/ICCV.2015.114［P］.2015.

［14］Y.Wang，et al.An Improved MVCNN for 3D Shape Recognition［C］.2021 IEEE International Conference on Emergency Science and Information Technology（ICESIT），2021：469472.

［15］Xu Y，Zheng C，Xu R，et al.MultiView 3D Shape Recognition via CorrespondenceAware Deep Learning［J］.IEEE Transactions on Image Processing，2021，30.

［16］Liu Zehua，Zhang Yuhe，Gao Jian，Wang Shurui.VFMVAC：Viewfilteringbased multiview aggregating convolution for 3D shape recognition and retrieval［J］.Pattern Recognition，2022，129.

［17］W.Nie，Y.Ke，Y.Zhao，Q.Liang and Y.Su.LIMAN：Local InformationBased Multiattention Network for 3D Shape Recognition［J］.IEEE MultiMedia，2022，29（1）：6573.

［18］Sun S，Li Y，Ren M，et al.PVCLN：PointView Complementary Learning Network for 3D Shape Recognition［J］.IEEE Access，2020，99：1.

［19］冯元力，夏梦，季鹏磊，等.球面深度全景图表示下的三维形状识别［J］.计算机辅助设计与图形学学报，2017，29（09）：16891695.

作者简介：徐琪（1986— ），女，汉族，山东人，硕士研究生，工程师，研究方向：行李系统。