基于被动毫米波图像与光学图像的人体隐匿物检测

张露，庞蕾，苗俊刚

(1.北京建筑大学 测绘与城市空间信息学院，北京 100044；2.北京航空航天大学 电子信息工程学院，北京 100191)

0 引言

由于世界各地恐怖暴力事件的频发，人们对公共场所的安全问题倍加关注。毫米波(millimeter-wave，MMW)由于其杰出的辐射特性被广泛应用于人体安检领域[1-5]。它对金属具有较高反射率[6]，在穿过衣物等纺织品时能量衰减非常低，因此可以用于隐匿物的检测。被动毫米波(passive millimeter-wave，PMMW)成像系统无需向人体发射电磁波，通过捕获物体辐射的热噪声成像[7-8]，不会产生有害人体的电离辐射。目前使用的被动毫米波安检系统需要受试者合作收集静态单帧图像以进行人体隐匿物检测[9-11]，但单帧图像提供的信息有限且无法满足实时的要求。因此，研究人员开发了阵列式PMMW实时成像系统，极大地提高了成像速度和图像质量。

根据PMMW成像的特点与方式，人体隐匿物检测系统主要包括图像预处理和目标与背景分割两个方面。在图像预处理方面，单帧PMMW图像包含信息有限，研究人员通常利用图像融合等方法增加图像中包含的信息量、提高检测结果与实际的相符度。例如多张相关毫米波图像融合、特征融合、光学或红外图像和毫米波图像融合[12-17]。其中，多张相关毫米波图像融合虽然能增加隐匿物的信息量，但由于图像分辨率低，无法精确判定隐匿物所在的人体位置；特征融合虽然计算量小，但检测结果准确性不足；红外图像与毫米波图像融合，虽然能获得较高的图像分辨率，但视觉效果不佳。在目标与背景分割方面，Yeom等[18]对PMMW图像的隐匿物与背景进行了有效的分割，成功检测出隐匿物；赵书占等[19]将遗传算法与Otsu结合求解最优分割阈值，实现了被动毫米波影像中人体隐匿物和检测背景的分割；杜琨等[20]采用人体区域分割与形态学结合的方法对毫米波图像中的隐匿物进行了有效的检测和提取。这些算法的成功实现有助于PMMW序列影像人体隐匿物检测方法的研究。

综上，研究人员目前主要针对单帧PMMW图像中信噪比低、空间分辨率低、对比度低的问题提出了检测算法，但针对序列影像的人体隐匿物检测算法较少。并且，由于PMMW成像系统获得的图像分辨率较低，安检人员无法在图像上准确识别出隐匿物的位置，影响了安检效率。基于上述问题，本文研究了序列PMMW图像的人体隐匿物自动检测方法，并在此基础上探讨了PMMW图像与光学图像的融合方法。

1 基本原理

1.1 被动毫米波成像原理

PMMW成像系统无需对目标物发射电磁波，通过探测场景、隐匿物与人体辐射亮温的差异成像。它主要由天线、辐射计接收器、伺服控制装置、信号处理器和显示控制装置组成。当成像系统工作时，天线接收辐射目标的毫米波辐射能量，通过辐射计接收器和信号处理器转换并处理目标的毫米波辐射亮温，然后将其发送到显示器和控制设备存储并显示相应的毫米波图像。

1.2 相关系数法

影像的相关程度可通过影像相关系数来定量表示。相关系数越大表示两个影像相似度越大，即场景中的目标和背景的辐射相对越稳定。

1.3 图像配准与图像融合原理

1)图像配准。图像配准主要使用基于特征的方法，步骤为关键点检测和特征描述、特征匹配、图像变换。

2)小波融合。小波变换是一种基于频率的图像变换方法，其重新构建的能力较为完善。它能够对原始图像进行分解，得到一系列频域特性和空间分辨率不同的子图像，使原始图像的细节特征和局部变化得以充分反应。其中，离散小波变换(discrete wavelet transform，DWT)[21]应用最为广泛。

3)YIQ变换。YIQ色彩空间中，饱和度Q和色调I包含图像色彩信息，而亮度Y则包含图像的灰度信息。

YIQ颜色空间能够将图像中的亮度分量Y单独提取存储起来，并且YIQ与RGB色彩空间之间满足线性变换，聚类特性好且数据量不大便于计算，即使是光照强度不断变化的场合也能够适应。所以，YIQ变换用于处理彩色图像可以获得较好的效果，能够在复杂运动背景下采集目标物信息。

从RGB到YIQ的转换关系如式(3)所示。

(1)

2 基于被动毫米波图像与光学图像的人体隐匿物检测方法

2.1 基于被动毫米波图像的人体隐匿物特征提取

复杂的成像环境和硬件设备的限制使得单帧被动毫米波影像质量较低，仅依靠单帧影像进行检测有时会出现漏检或误检隐匿物的情况。针对这一缺陷，本文采用同一场景的多帧影像提升信息量，并提出基于小波融合的多帧PMMW影像人体隐匿物检测算法进行检测。

被动毫米波人体隐藏物体检测的步骤如下。

1)获取数据。利用8 mm波段的PMMW实时成像人体安检仪进行实验，采集模拟的安检序列影像。使用相关系数法选取两幅最优相关影像。

2)对筛选出的被动毫米波影像进行小波融合。

3)对图像进行滤波处理以去除噪声。本文分别尝试了利用3×3的均值滤波算子和高斯滤波算子对融合后的图像进行去噪处理，对比分析后选取对被动毫米波图像去噪效果较好的方法。

4)对去噪后的图像进行阈值分割和边缘检测，获得隐匿物特征图像和人体与隐匿物轮廓图。本文通过Canny算子实现隐匿物的边缘检测。

2.2 隐匿物特征图像与光学图像融合

PMMW图像的低分辨率会导致人体轮廓有缺失，从而无法确定隐匿物在人体中的确切位置。因此，本文将检测得到的隐匿物特征图像与光学图像进行配准与融合，以便安检人员获得更好的视觉效果，提升安检速度及准确度。光学图像与隐匿物特征图像融合步骤如下。

1)对光学图像进行YIQ变换，提取其灰色分量并存储颜色信息。

2)将隐匿物特征图像和光学图像进行配准并调整为相同分辨率。

3)光学图像灰度分量与隐匿物特征图像融合。

4)融合后的隐匿物图像与存储的光学图像颜色信息进行YIQ逆变换，得到假彩色隐匿物融合图像。

2.3 技术流程

本文基于光学与毫米波图像融合的人体隐匿物检测总体技术流程如图1所示。首先，输入光学和毫米波原始影像数据，对毫米波影像进行相应的预处理(包括融合和去噪)；然后，对融合数据进行分割处理和边缘检测，得到隐匿物结果。对光学影像进行YIQ分解得到其灰度分量。光学图像灰度分量作为参考图像，将提取的隐匿物特征图像与之配准。配准后将两图像融合，进行YIQ逆变换，最终获取隐匿物在人体光学图像的显示和定位。

图1 人体隐匿物检测流程图

3 实验与结果分析

3.1 实验数据

实验数据是由8 mm波段的PMMW实时成像人体安检仪采集到的模拟安检图像和相应的光学图像。部分实验数据如图2所示。实验中衣物遮挡的违禁品(隐匿物)是一个金属手枪模型，如图2(e)所示。

图2 部分PMMW图像与违禁品样例

3.2 实验结果分析

以相关系数为筛选指标，计算各影像间的相关系数，从序列PMMW图像中选择最相关的两帧毫米波图像。部分影像间相关系数如表1所示。

表1 部分毫米波影像间相关系数

因此，选择相关系数r(图像1，图像2)=0.975 3的被动毫米波图像即图2(a)和图2(b)进行融合。

将筛选出的两帧影像进行小波变换，在频率域中，被动毫米波图像融合规则如式(2)所示。

c=a×(c1+c2)

(2)

式中：c1和c2分别为两帧原始毫米波图像；c为融合后的图像频率；a为一个小于1的系数，其值将影响融合后图像隐匿物特征的检测效果。通过实验得出，被动毫米波图像融合中，当a=0.7时，隐匿物特征提取效果最好。

融合结果如图3(a)所示。通过与融合前图像(图2(a)，图2(b))对比可以得出，融合后的被动毫米波图像较好地保留了隐匿物的细节信息的同时也增强了隐匿物的信息量，这样的融合处理更有利于后期毫米波图像隐匿物的检测。均值滤波和高斯滤波的结果分别如图3(b)和图3(c)所示。对比分析图3(a)可以发现，两种滤波方法都能在一定程度上抑制噪声信息。相比之下，高斯滤波不仅能较好地去除被动毫米波图像的噪声，同时也较好地降低了隐匿物信息的抑制作用。此外，高斯滤波后得到的边缘检测图像相比于均值滤波后得到的边缘检测图像更为平滑。因此，本文最终选取高斯滤波滤除被动毫米波影像的噪声。

对去噪后的PMMW图像进行阈值分割、二值化。本文采用自适应阈值分割方法，自适应阈值=0.631 4，分割结果如图3(d)所示，其中白色部分表示隐匿物，黑色部分表示人体。Canny算子对检测目标轮廓较为敏感，采用Canny算子边缘检测的结果在图3(e)中示出。该方法可以较好地自动检测PMMW图像中的隐匿物和人体轮廓，但对于检测隐匿物的实际形状还有待改善。

被动毫米波图像分辨率低，图像模糊，无法确定隐匿物在人体的具体位置。因此，将隐匿物特征图像图3(d)与对应的光学图像图2(d)融合，实现隐匿物在人体的精确定位。

图3 PMMW图像隐匿物特征提取检测

由于光学图与PMMW图像具有不同的信息通道数，光学影像具有RGB三个通道，而毫米波图像为单通道。因此，本文采用YIQ方法分解光学图像，得到灰度分量的同时存储了颜色信息，原始光学图像及其灰度分量分别如图4(a)和图4(b)所示。通过对比可以看出，该方法较好地分离了光学图像的灰度分量，较完善地保留了图像的颜色信息。光学图像灰度分量作为参考图像，将提取的隐匿物特征图像与之配准。将配准后两帧影像采用小波变换的方法融合。在频率域中，光学图像灰度分量与隐匿物特征图像融合规则如式(3)所示。

c=a×(b×c1+c2)

(3)

式中：c1为隐匿物特征图像；c2为光学图像；c为融合后的图像频率；a、b均为小于1的系数。通过实验得出，当a=0.9，b=0.2时，融合后图像人体信息保留更加完整，隐匿物位置更加明确。

融合结果如图4(c)所示。图4(d)是在YIQ逆变换之后获得的融合的假彩色图像，与原始的PMMW图像对比可以看出，融合后的假彩色图像较好地保留了光学影像丰富的人体信息，同时获取了隐匿物的位置信息，有利于安检人员更准确地判断隐匿物所在的人体位置。

图4 隐匿物PMMW图像与光学图像融合过程及结果

提取隐匿物特征图像及光学图像与隐匿物特征图像融合所用时间如表2所示。

由表可知，两帧原始PMMW图像与对应的光学图像检测人体隐匿物共耗时1.923 s，基本满足被动毫米波安检仪器2～3 s/人的检测需求。

4 结束语

本文研究了基于被动毫米波图像与光学图像的人体隐匿物检测方法。被动毫米波图像分辨率低，包含信息量少，视觉效果较差，因此，本文提出了一种将相关系数和小波融合相结合提取序列PMMW图像中的人体隐匿物特征，利用YIQ变换与融合规则融合隐匿物特征图像与光学图像，进而实现人体隐匿物检测的方法。实验结果表明，该方法可以有效地检测出被动毫米波图像中隐匿物，解决了无法准确定位隐匿物所在人体位置的问题，提高了安检效率。