一种安检CT图像的多视角匹配算法设计及应用

冯玮 查艳丽 任世龙 公安部第一研究所

引言

近年来，各地随着平安中国建设的不断推进，在公共安全领域，无论是大型安保活动，还是轨道交通及民用航空等场景，安全检查的标准都在不断提升，尤其是会对旅客行包中是否包含违禁品进行重点关注。随着人工智能技术在生活中的应用越来越广泛，以目标检测算法为基础的违禁品智能探测技术已逐步走进人们的日常安检过程中。通过智能探测技术可以快速的将旅客行包进行筛查，对禁止携带的物品进行快速定位并甄别品类，对安检员判读起到辅助作用，减少因安检员疲劳工作引起的漏检等问题。

随着安检设备的迭代更新，针对行包检查的CT设备逐渐应用在多个场景中，CT设备呈现的图像是三维的，可在不同方向上进行旋转，进而可在多个角度上对旅客的行包进行观察，减少因物品重叠而导致误判和漏检的问题。与常见X射线安检机一样，CT设备上也应用了目标检测算法对违禁品进行智能辅助探测，但与普通X射线安检机不同的是，为了确定目标物的三维坐标信息，需要在多个视角同时探测，将同一目标物在多个视角下的探测结果进行匹配与处理，最终得到目标物的三维空间信息。常见的模板匹配等算法，往往对匹配目标的空间位置变化要求较为苛刻，若图像发生旋转或大小变化则会对匹配结果产生较大影响。安检图像中的目标物会由于观测视角的不同而在图像中呈现出角度和尺寸上的改变，这就对匹配过程提出了更高的要求。

为了能够精准匹配不同视角的目标物，本文提出了一种基于相似性度量的方法，对每个目标物在当前视角下的探测结果进行特征提取，并与其他视角同类别目标物探测框进行相似性评价，找到评价分数最接近的目标物，再经过一系列逻辑判断，确定两者是否真正匹配，为后续的整合处理做准备。

一、设计思路

（一）总体设计思路

目标物匹配算法的工作原理如图1所示。匹配过程输入同一行包三个角度的探测结果，针对某类目标物的匹配，首先使用视角1与视角3进行匹配，其次使用视角1与视角2进行匹配，若该类目标物在两次匹配过程中都匹配上且不存在未匹配上的情况，则结束匹配，若两次都存在未匹配上的情况，则进行视角2与视角3的匹配作为结果的补充，如图1所示。

由算法原理图可知，匹配的过程每次都是两个视角进行比较，具体工作流程如图2所示。首先对两个视角的目标物探测框进行相似性评价，通过寻找最小的评价分数，确定初步匹配结果，即粗匹配过程，其次再进行重叠处理，即需要判断是否存在重复匹配的情况，若存在则需要将重复匹配的几对目标物挑选出来进行重新匹配，最后对匹配结果进行截断处理，即通过将两个视角目标物的二维坐标信息进行比较，对差距较大的匹配结果进行截断，最终得到两个视角的匹配结果。

（二）探测框的相似性评价方法

为了能够量化不同视角探测框之间的匹配程度，本文设计了一种探测框的相似性评价方法，对探测框之间的相似程度进行打分，分数越低代表两探测框差异越小，在空

间位置上越接近，代表同一目标物的可能性越高。其主要的设计思想是对两个不同探测框分别进行特征提取，并对特征的相似性进行评价，计算方法如公式（1）所示，具体包括对探测框的中心点位置信息（xcen,ycen）、宽高比w/h、置信度分数score、探测框角点坐标与图信息（x1,w,y1,h,x2,w,y2,h）、探测框区域面积area共计5种特征进行比较，并乘以不同权重进行求和，作为两探测框的相似性分数。本文使用翻转、调整图像尺寸等方式使匹配的两视角接近于同一空间，然后再进行特征的提取，如图3所示，具体计算方法如公式（2）至公式（8）所示。

由于不同特征对相似性评价分数的贡献并不一致，本文设计了不同权值以客观反映其重要程度，α、β、γ、δ、ε分别为2、0.2、0.5、6、0.001。

在对探测框完成特征提取后，按类别两两进行相似性评价分数的计算，具体计算过程如图4所示。

在评价分数计算完毕后，通过查找视角A中的每个探测框对应的最小分数，即表1中每一竖列的最小值，并以该值所对应的视角B探测框作为匹配对象，至此完成了粗匹配过程。

?

（三）结果中重叠匹配问题的处理

在使用相似性评价方法进行粗匹配后，会存在一些“多对一”的情况，即视角A的多个探测框（记为重叠框）同时匹配上视角B的某个探测框。这是由于在粗匹配的过程中，探测框的匹配仅以评价分数的大小来确定，并未考虑到两个视角探测框的相对位置信息。为了解决“多对一”的情况，本文设计了两种处理策略和一种“查验”机制。若每个重叠框都可以找到对应的探测框，如图4所示情况，使用策略1，通过相对位置确定各个重叠框具体对应的探测框，先确定视角A重叠框的数量，记为m，然后对视角A上每个重叠框分别在视角B上找到评价分数最接近的m个探测框，形成探测框集合Set，总共会有m个集合，Set1, Set2， …,Setm。若m个集合都相同，如图5所示，则确定视角A的重叠框与集合Set中的探测框可以一一对应，又因为重叠框与探测框之间的相对位置关系也一致，则可借此将两者进行对应匹配。

当集合不是完全一样时，不能使用相对位置确定重叠框与探测框的匹配关系，此时使用策略2，即通过评价分数最值来确定重叠框的匹配对象。先统计重叠框对当前匹配框的所有评价分数，找到分数最小的重叠框作为匹配结果，对其他重叠框采用次最值的方法，以各自第二小的分数对应的框作为其匹配框。值得注意是，评价分数的值一旦大于1，则匹配往往出现错误，因此在统计第二小的评价分数时，一旦大于1，则舍弃当前匹配结果。

通过上述方式在一定程度上大幅提高了匹配精度，但仍存在少量“多对一”的情况，对此，本文采用“查验”机制，对通过上述策略处理后的结果再次进行“多对一”情况的统计，针对仍出现的重叠匹配问题，列出每对匹配结果的评价分数，进行升序排列，只保留分数最小的匹配组合，其余的全部舍弃，减少因重叠匹配对后续操作的干扰。

（四）截断原则

在粗匹配的过程中，探测框是以评价分数为纽带找到彼此的匹配对象，但由于缺少判断机制，在某些情况下，即使两探测框在空间中位置差距较大，因为分数最小原则两者仍然会形成配对，这就会对匹配结果造成较大干扰。对此，本文设计了一种截断机制，即对每个匹配组合进行区域判断，符合要求的保留，不符合的舍弃，如图6所示。具体的截断方法是，首先将视角A中探测框的左上角点G1映射到视角B上得到G2，在视角B上的G2点水平和竖直方向分别延展一定距离，若视角B的探测框左上点在G2的扩展区域里，则判断该匹配组合符合要求，若不在G2的扩展区域里，则不符合要求，需要舍弃当前匹配组合。在水平方向设置的基础扩展长度为视角B图像宽度的1/3，竖直方向设置的基础扩展长度为视角B图像高度的1/3。由于不同类别的物品尺寸不一，物品的密集松散程度也会影响判断，因此不能所有物品都使用同样的扩展长度，需要根据行包内物品的类别和密集程度，乘以不同的参数θ来进行调节。

二、应用效果

为了评测所提出方法的性能，本文使用CT设备采集了513张行包的三维图像，其中每个行包中含有2～5个目标物。评测过程中先将每个行包的三维图像分别在视角1、视角2、视角3三个角度下进行二维图像采集，再将三张图像分别输入到目标检测模型中进行探测，最后使用本算法将三个视角的探测结果进行匹配。为了进一步了解图像中目标物的匹配情况，本文将匹配结果进行可视化，如图7所示，并统计匹配结果如表2所示，并以公式（11）和公式（12）分别计算匹配查全率和匹配查准率。

?

经过计算，本文所提出的算法对目标物的匹配查全率为99.77%，匹配查准率为99.08%，可以对不同视角下的目标物实现精准匹配。

三、结语

本文介绍了一种安检图像的匹配算法，对其工作流程，匹配原理作了详细介绍，并应用其进行了实际测试，结果表明，该算法的应用可以解决多个视角的目标物匹配问题，能够为CT的智能探测功能提供强有力的技术保障。预计随着安检CT设备使用数量的不断增加，安检图像的匹配算法也即将投入到生产应用中，还会面对更多复杂的实际场景，还要不断调整以适应环境，增加人工复核等模块，减少因未匹配情况影响准确性的问题。