人类视觉机制与ROI 融合的红外行人检测

王玉萍，曾 毅

(郑州科技学院信息工程学院，河南 郑州 450064)

0 引 言

红外图像在国防和生活领域有着广泛的应用，例如夜视、监视、辅助驾驶系统、天气预测、搜救、跟踪与入侵检测等。在这些应用中，红外行人检测在国防领域中得到了更多的关注[1]。然而，由于红外图像中行人的以下特点，让检测过程变得困难：1）行人的背景会被未知噪声所污染，并且行人和背景之间的对比度很低；2）小行人目标缺少纹理信息，特征提取较为困难。因此，红外图像中行人目标的检测是一项有挑战性的任务。

近些年，许多研究者提出了大量红外图像中的行人检测方法。这些方法被分为基于滤波、基于阈值、基于模板[2]和基于显著性[3]的检测方法。基于滤波的方法由于图像杂乱以及行人之间遮挡，并不能很好地检测行人。基于阈值方法的缺点是结果图像中存在不连续像素，因此导致误报率增加，不能对行人很好地检测。基于模板的方法不能检测到行人的确切形状。而显着性检测方法在有干扰的图像上检测特征图是很困难的。

Meng 等[4]提出了一种改进的离线训练、在线检测的行人检测方法。但此种方法所采用的HOG特征在检测过程中如果存在图像分辨率不高的情况会导致检测失败。Li 等[5]提出了一种使用双密度复小波变换和小波熵的稳健行人检测。但小波方法未考虑多个行人遮挡。文献[6]提出了使用梯度直方图（HOG）和平均对比度几何特征的行人检测方法。这种方法在温度较高的环境中不能检测到行人。Lu 等[7]提出了一种改进的低维度纹理特征来在红外图像中跟踪运动物体目标。

但是以上算法并没有能很好地解决在检测过程中存在的红外背景复杂问题。针对上述问题，本文提出一种基于人类视觉机制和ROI 融合的红外行人检测方法。实验结果表明，该方法具有较高的精度与召回率，且具有较快的检测速度，优于现有方法。

1 行人检测系统

本文提出的红外图像行人检测框架如图1 所示，其步骤包括：预处理、行人候选区域生成、特征提取、分类。

图1 行人检测框架

1.1 预处理

在冬季，行人的体表温度会很低，其在红外图像中会与周围环境几乎融为一体。而在夏季，行人和周围物体会释放出大量的热，在红外图像中同样不好分辨[8]。而在彩色图像序列中，处理过程就不受季节及温度条件限制。由于这些原因，在红外图像中减少背景的同时进行行人检测很有挑战性。为了减少背景并且增加行人信息，应用了均值滤波和改进的LoG 滤波。

1）均值滤波

均值滤波可以将不必要的目标与背景相结合。为了抑制输入图像中的背景像素信息，将其分成块。每个块的大小为m×n，其中m=2a+1 且n=2b+1 且a，b>1。这里，a和b的值设为2。随后将块中的每个像素值与整个块整体像素进行比较。从实验中观察到均值滤波在所有方面都能更好地抑制背景。因此，对图像块使用顺序统计均值滤波器，即，通过将块中的每个像素与块的平均值（µ）进行比较来完成局部处理。上述情况如下式所示：

其中 IP(x,y)是 输入图像I(x,y)的一小块区域。此外，它将使图像平滑并将图像像素中的任何噪声或其他信息与背景合并[9]。

2）LoG 滤波

在红外图像中，由于种种原因，拍摄中的远处行人变得模糊。为此，设计了人类视觉机制模型。人类视觉机制[10]基于物体和背景之间的对比度感知物体，如果它们具有相似的对比度，则两个物体被认为是近似的。人类视觉机制的主要特性是对比机制，多尺度表示和尺寸适应过程。对比机制是人类视觉机制最基本，最重要的特征。利用加入视觉对比机制的LoG 滤波[11]来区分对象与背景。LoG滤波的表达式为

其中σ 为图像中的变量。

二维高斯函数有着循环对称性，此属性可以使滤波器偏向任何方向。该滤波器类似于人类视觉系统的成像。由于行人是发热物体，因此可以使用此滤波器检测到行人。如果周遭的环境温度比较低，行人产生的热会被外部环境的温度降低。在这个情况下，LoG 滤波器会感知变化。另外，σ 的值用四阶标准中心距的峰度和正切函数来自适应地计算。

峰度是概率密度函数形状的度量的描述符，因此它被用作图像滤波的参数。峰度的普遍定义是四阶累积量除以二阶累积量的平方。对于输入图像I，峰度 γ2的定义如下式所示：

由于数字图像本质上是离散的，因此使用数字近似来定义导数。为了分辨人类视觉系统的预处理图像，使用双曲正切函数，类似于sigmoid 函数的平滑曲线表示。式（3）中的σ 在式（4）～（6）中定义。

LoG 滤波的过程定义为

式中：I Px(x,y)——LoG 滤波图像；

*——对图像进行卷积。

1.2 行人候选区域生成

1）热分析

基于热信息的行人ROI 提取是根据行人会释放出热量这一属性来提出的。仅基于他们的热特性在每个图像帧中提取行人候选区域。图像根据阈值θTA被二值化，目的是得到与行人候选区域相关的像素点[12]。由于该阈值，得到包含热斑的图像区域，此区域可能是行人。阈值 θTA根 据图像I的均值I˜和标准偏差 σI计算：

之后对二值化图像进行形态学处理（先进行开操作，之后进行闭操作）来消除噪点，处理后仅保留连通域面积大于Amin的连通域作为候选连通域，记为Rt。其中，Amin为相机到图像中最远行人的测量距离。

2）运动分析。某些环境条件会对热红外光谱中的视觉对比度产生负面影响。例如，在场景温度与人体温度相似的温暖环境中很难找到行人。然而，如果在场景中使用运动信息来分析，就可以在其中找到行人，因为他们在长时间内不会是静止的。因此，进行运动分析以利用场景中的运动信息。

前一帧图像I（t–1）和当前图像I（t）以每秒5 帧的速率截取，这确保了行人足够的移动距离并能够实时处理所有图像帧。接着，对这些帧执行图像差值运算和阈值处理。阈值θmov经过多次实验确定为256 灰度级图像最大值的16%。如果出现以下情况，则计算出像素（x，y）为“候选像素”：

现在，大于Amin并且“候选像素”比例大于ROI面积的5%的区域被提取到Rm列表中。

3）ROI 融合

将得到的Rf和Rm融 合为一个ROI 区域Rf，分为3种情况：对于Rf中 的与Rm的没有任何的交集ROI，加入到Rf中；对于Rm中 的与Rf的没有任何的交集ROI，加入Rf中 ；Rm和Rf中有交集的ROI，将其所有像素点构成一个新的ROI，加入到Rf中。

4）宽度调整

在得到Rf之 后，首先在像素级别按列扫描Rf，得到在ROI 中每个像素对应的灰度值。由此获得直方图H[i]（如式（10）所示），其显示当前ROI 中热量集中的区域：

由于在一个ROI 中可能包含几个彼此足够接近的行人，因此直方图有助于将行人群体（如果有的话）分成单个行人。当在直方图内查找最大值和最小值时，可以区分实际存在于特定ROI 中的行人。

因此，如果直方图H[i]存在于该ROI 中，则扫描直方图H[i]以将分在同一ROI 中的行人分开。在直方图列中搜索局部最大值和局部最小值来确定ROI 中的热源，并据此确定新阈值。在其中寻找60%的像素低于Rf的平均灰度值的列，因为这些区域可能属于两个人之间的间隙。这样，列表Rf将形成子ROI——名为 sRf的新列表。在这里，如果每个Rf包含一个行人，则 sRf将等于Rf。

5）行人确认

现在，列表 sRf的每个ROI 需要确认候选区域是否真的是行人。实际上，由于其热性质，图像中的一些白炽斑点（例如白炽灯泡）在某些情况下仍然可能与人类混淆。因此，验证其是否为行人是重要的一步。

如果行人候选区域的高度大于其宽度，则检查ROI 灰度的标准差。如果相反，则将其剔除出ROI列表。这是由于诸如白炽灯等热源的标准差很低，因为它们的热分布是均匀的。相反，人体的身体部位有不同的热量集中，例如头部比身体其他部位放热量更高。通过实验确定行人ROI 的标准差必须大于12。

可以看到，经过信息融合的行人候选区域生成，图像中的关键信息得到了最大程度的保留，并去除了许多干扰内容。为之后的特征提取及分类奠定了基础。

1.3 特征提取

1.3.1 HOG特征

梯度直方图特征(histogram of oriented gradient,HOG)是目标检测领域常见的特征。HOG特征背后的主要思想是通过使用边缘方向的分布来描述对象外观和形状，并对单元的每个像素，计算梯度方向和边缘方向的直方图。

1.3.2 OCS-LBP特征

局部二值模式（LBP）是一种在检测红外图像目标时常用的特征，但由于局部二值模式（LBP）会产生较长的直方图，影响检测的速度。因此，提出了一种新的OCS-LBP特征[13](Oriented center symmetric local binary patterns)，用于红外图像下的目标检测。相比于原始的LBP特征，OCS-LBP特征减少了计算量，保持了其灰度不变性等特点，对于红外图像中的灰度变化以及噪声具有更好的鲁棒性。图2为OCS-LBP特征的计算原理图。

图2 OCS-LBP特征计算原理示意图

从图中可以看出，在OCS-LBP特征提取过程中，将梯度方向分为8 个方向。梯度方向及幅值信息通过计算两个中心对称像素点灰度值之差确定。

从上节提取的行人检测感兴趣区域（ROI）中获取OCS-LBP特征直方图，实现图2 的计算过程，整个计算过程的数学公式描述为：

式(11)分段函数s(x)中的阈值T是其函数中的比较阈值，阈值T的值需要通过实验来确定。通过对阈值T赋予不同值的方式来提升目标特征的鲁棒性。当选中的中心对称的两个像素点灰度值差值大于或等于所设置的阈值T时，则将其差值记录在所对应梯度方向的直方图中。在式(12)与式(13)中，(xc,yc)表 示邻域内中心像素点的坐标值，ni和ni+(P/2)与ni和ni−(P/2)表示一组以P为等间隔，对半径为R的圆形区域进行分割后的一组像素点的灰度值。k表示对应的梯度方向，其取值范围为0～7。

1.4 随机蕨分类器

随机蕨分类器(random ferns,RFs)[14]称为半朴素贝叶斯(semi-naïve Bayes)分类器，它是由贝叶斯分类器发展而来。原理是从特征集合中随机抽取一组特征子集，一组子集被称为一个随机蕨。设每组子集包含s个特征：

假设每个随机蕨都是条件独立的，因此所有特征的联合似然分布可由下式计算：

相应的随机蕨分类器为：

RFs 分类器中的样本特征值获取方法为：从图像中随机选取多个像素点对，将每对像素点提取HOG特征，即可得到该样本的特征值。尽管使用HOG特征可以对外观的变化具备一定的鲁棒性，由于红外图像的特性，往往会有背景噪声或是出现相似目标混淆的情况，使得其对红外目标描述能力变弱。梯度信息在环境或目标属性出现变化的时候，通常可以表现出更高的稳定性，因此，可以利用OCSLBP特征作为分类器的候选特征。

设OCS-LBPx为在输入图像中以x位置的像素点为中心的直方图，设F(f1(x),f2(x),···,fL(x))为L维向量，fk(x)的取值为：

其中，i和j表示在OCS-LBP特征直方图中随机选取的不同的bin。从式中可以看到，每一个RFs 的特征可以利用二进制描述出2L种不同的观测值。

2 实验结果和效果分析

2.1 应用的数据集

为了评估所提出的行人检测方法的性能，选用OSU 红外行人数据集。该数据集包含6 类284 个行人图像，588 个行人对象。这些图像是在不同的天气环境下使用高精度红外摄像机拍摄的，例如晴天、小雨、多云和雾霾。图像的尺寸为360×240。数据库中的每个像素由8 位表示，即256 个灰度级。每个图像序列集合的详细信息如表1 所示。

表1 OSU 红外行人数据集

2.2 效果评估方法

精度矩阵用于性能评估。TP、FP、FN 分别表示“真阳”（模型预测为正的正样本），“假阳”（模型预测为正的负样本）和“假阴”（模型预测为负的正样本）。召回率用于评估行人检测的完整性。其中高召回率值对应于高检测率，即召回率表示检测率的稳健性。

准确率是衡量保真度的标准。它在式（19）中定义。高准确率表示检测到的“假正”数量低，即准确率表示检测的准确性。

2.3 实验结果

文章中的实验平台为Matlab2016b，计算机配置及参数为Intel i7-7300HQ CPU，内存16GB。HOG单元尺寸与块尺寸分别设置为8×8 和2×2。OCSLBP特征中参数半径R=3，间隔P=9，阈值T=2。行人目标红外视频序列使用IRJ-CT 型红外照相机来拍摄，此相机的焦距为8 mm，水平视角为50°(HFOV)，相机的基准线为120 mm，感光的波长范围为9～14 µm，图像分辨率为1024×768。实验结果分为两个阶段。第一个阶段：预处理结果；第二个阶段：所提出的行人检测方法与其他常用且效果好的行人检测方法进行比较。

预处理结果如图3 所示。均值滤波使图像平滑并且可以抑制背景信息。因此，经过均值滤波的图像质量要比输入图像质量好。LoG 滤波的结果在图3(c)中显示。LoG 滤波器结果图像表示行人和背景之间的对比度。根据该结果，注意到LoG 滤波器感知来自图3(b)中的对比度信息，这基于人类视觉机制。

图3 预处理结果

行人候选区域生成结果如图4 所示。阈值分割结果如图4(a)所示。图4(b)显示了热分析与运动分析融合后得到的Rf。在执行宽度调整后，将两个靠在一起的行人用两个候选区域分开得到 sRf，结果如图4(c)所示。最终生成的行人候选区域如图4(d)所示。

图4 行人候选区域生成结果

不同特征的分类性能如表2 所示。由表中的数据可知，在都应用SVM 分类的情况下，使用HOG+OCS-LBP特征检测达到了最高的检测精度与召回率；而在都应用HOG+OCS-LBP特征的情况下，使用随机蕨分类器（RFs）分类使检测精度与召回率基本不变的情况下使检测时间缩短了3.7 s，将速度提升了近一倍。四种实验方法结果的ROC 曲线如图5所示。

表2 不同特征的分类性能比较

图5 ROC 曲线图

在分类过程中，特征描述子起着重要的作用。为了选取与分类过程匹配的特征描述子，使用不同特征进行实验，如局部二值模式（LBP），方向中心对称局部二值模式（OCS-LBP），梯度方向直方图（HOG）特征。通过实验明显表明HOG+OCS-LBP方法优于其他方法。

图6 显示了所提方法的一些样本分类结果与HOG+OCS-LBP特征和其他特征方法的比较，标识为行人的TP 与FP 对象方框。从结果可以看出，所提出的HOG+OCS-LBP 方法在检测行人方面的性能优于其他的方法。

图6 样本分类结果的比较

3 结束语

本文提出了一种运用人类视觉对比机制和ROI融合的红外图像行人检测方法。这种方法首先将输入的红外图像进行预处理，并通过ROI 的两类信息融合来生成行人候选区域，增加行人信息与抑制背景信息，增强了行人与背景之间的对比度。此外，针对行人目标在红外图像中存在较多干扰的问题，提出一种改进的低维度纹理特征OCS-LBP，将其作为HOG 的候选特征来进行分类。实验结果表明，与其他不同的特征提取方法和其他流行的红外图像行人检测方法相比，在检测时间、检测精度方面都有所提升。但此方法在街景较为复杂与光照昏暗的条件下，效果不是很理想。下一步的研究工作需要将此方法的分类阶段与深度学习结合，创建一个应用于红外行人检测的神经网络。