旋转复杂背景中红外运动小目标实时检测

闫钧华，段 贺，艾淑芳，李大雷，许倩倩



旋转复杂背景中红外运动小目标实时检测

闫钧华1,2，段 贺1，艾淑芳2，李大雷2，许倩倩1

(1. 南京航空航天大学航天学院 南京 210016；2 光电控制技术重点实验室 河南洛阳 471009)

针对旋转复杂背景中红外运动小目标检测误检率高、实时性差等问题，提出了目标检测新算法。首先对图像进行中值滤波预处理，计算图像光流场，提取特征点，估算背景光流；然后设置阈值，判断提取备选目标特征点集合；最后通过特征点光流矢量角度、目标灰度值区间、目标特征点区域边缘检测的方法，排除备选目标特征点集合中的背景特征点，实时准确检测旋转复杂背景中红外运动小目标。实验结果表明，该算法能够准确地检测出红外多个运动小目标，检测率93.8%，平均虚警率0.126 次/帧，平均每帧耗时15.53 ms，每帧图像处理的最大时间为20.45 ms，能够满足运动目标检测对实时性的要求。

复杂背景; 红外目标; 旋转; 目标检测; 特征点光流矢量角

长波红外(8～12 μm)成像技术已被广泛地应用于红外精确制导、预警、视频检测和跟踪等多种军事及民用领域[1-3]。长波红外成像的本质是将物体红外辐射的强度信号转换成人类视觉分辨的图像，温度越高，长波红外辐射强度越强，成像时的灰度值越大。基于长波红外成像技术检测运动目标的本质是利用目标与周围环境的温度差检测目标，适用于夜晚运动目标的检测。如果目标与周围环境的温度差小，长波红外图像中的目标与背景的差异小，目标检测难度大。夏季周围环境温度全年中最高，在长波红外视频图像中的运动目标与背景的对比度[4]最低，本文特选择拍摄于夏季城市夜晚道路的长波红外视频图像，展开针对性的研究以实时精确检测道路上运动的车辆。夏季城市夜晚道路的状况复杂，造成红外视频图像背景复杂。固定安装的摄像机无法有效持续检测跟踪道路上的运动车辆，利用运动平台使摄像机平移和旋转以持续检测跟踪运动[5]的车辆，造成红外视频图像背景旋转[6]。城市夜晚道路上的运动车辆体积小，各种车辆运动速度不同，造成红外视频图像中待检测的运动目标是多种速度的小目标。运动车辆的长波红外辐射区域主要集中在发动机的区域。上述情况使得目标检测难度大，本文展开针对性的研究以实时检测旋转复杂背景[7]中红外运动小目标。

通过感兴趣区域增强[8]、区域生长和连续图像特征匹配融合的算法对于简单背景下的运动目标可以有效的检测，但对于复杂背景下的红外目标检测效果不是很理想[9]。文献[10]提出了基于形态学和高斯函数模型的目标检测算法，能够很好地去除云雾等复杂气象条件干扰，提取高亮度点作为空中目标，局限在仅限于检测空中目标，无法应用在有高亮度干扰的地面上。文献[11]提出了基于图像匹配差分的红外运动目标检测算法，可以有效去除背景中树木等干扰，只适用于检测速度较大的运动目标，不适用于慢速小目标的检测。文献[12]提出了图像分块重建的红外运动目标检测算法，算法简单，运算速度快，抗噪声强，但是算法建立在目标灰度值大于背景灰度值假设基础上，不能适用于复杂背景下的目标检测。本文针对旋转复杂背景中红外运动小目标检测误检率高、实时性差等问题，提出了目标检测新算法。

1 背景估计

1.1 估算图像背景光流

表1 Shi-Tomasi Harris特征点检测结果

长波红外视频图像背景旋转复杂时可以提取的特征点较多，当背景特征点的数量远大于目标特征点的数量时，用图像总的特征点数量替代背景特征点数量来估算背景光流是简单高效的。从2 642帧拍摄于夏季城市夜晚道路的长波红外视频图像中随机抽取10帧图像，实验验证估算背景光流方法的有效性。特征点检测采用Shi和Tomasi提出的角点检测方法，对每帧图像检测背景特征点和目标特征点，其数量关系如表1所示。

实验结果表明：不同场景中检测的背景特征点数占特征点总数的93.82%以上，平均为96.91%。因此，用全部检测出的特征点代替背景特征点来估算图像背景光流是简单高效的。

1.2 金字塔Lucas-Kanade光流法[13]计算图像光流

文献[14]中Lucas-Kanade稀疏光流算法应用在输入图像中的一组点上，基于如下3个假设：

1) 像素亮度恒定：连续视频图像前后两帧极短时间内，跟踪像素的灰度()不随时间变化。

2) 时间连续或者运动是缓慢运动：时间变化相对图像中运动的比例要足够小。

3) 运动一致性：视频图像上在一块´小区域内的像素运动是近似一致的。

可以得到光流矢量为：

2 运动目标检测

利用金字塔Lucas-Kanade稀疏光流法估算图像背景光流，计算目标光流，得到目标备选特征点集合。由于夏季城市夜晚道路的长波红外视频图像含有大量的噪声、干扰，所以在目标备选特征点集合中含有大量背景特征点。利用特征点光流矢量角度、目标灰度值区间、目标特征点区域边缘检测的方法，排除其中的背景特征点，实现目标特征点的准确提取，从而检测出红外运动小目标。

2.1 提取运动目标特征点

利用光流矢量把运动目标特征点从红外图像的背景中提取出来。在连续两帧图像中检测出对匹配特征点，特征点光流矢量为：

设定阈值，根据式(4)逐一判定个特征点是否为运动目标特征点。

阈值的设定非常关键，值越小，运动目标检测的漏检率越低。因此排除背景点的误检尤为关键。为了检测出旋转复杂背景中红外运动小目标，需要将阈值设置尽可能小，使初步得到的备选目标特征点集合包含所有的运动目标的特征点和部分背景特征点。从该集合中排除背景特征点，剩下的就是运动目标特征点，进而把所有运动目标检测出来。

2.2 判断光流矢量角度排除背景特征点

当摄像机平移和旋转以持续检测跟踪运动目标时，造成红外视频图像背景旋转。利用特征点光流矢量角度的方法，排除背景特征点。

图1 特征点光流矢量角度

2.3 确定目标灰度值区间排除背景特征点

长波红外图像受环境热源、空气流动、天气状况、季节温度的影响，背景像素灰度值分布范围很大，运动目标的像素灰度值一般较大，其分布在一定的范围内。利用一种适应环境的动态目标灰度值区间[15]确定方法，可以确定目标像素灰度值的分布区间，从而排除部分背景特征点。本文提出一种改进的确定目标灰度值区间的方法，从图像直方图峰值向两侧搜索灰度值区间，可以有效避免因某一灰度值统计量较小而中断，从而获取足够大的目标灰度值区间。

根据式(7)～式(10)可以确定目标的灰度值区间，避免因为个别灰度值数量太低而导致灰度区间较窄的情况，如图2所示。

图2 搜索灰度值区间

根据确定的直方图区间，如图3所示(箭头指示的区间)，可以去除部分背景特征点。原始图像经过灰度值区间滤除后的图像仍然包含所有运动目标，并去除部分背景，如图4所示。

图3 图像灰度直方图及其目标灰度区间

a. 原始图像 b. 灰度区间的图像

2.4 检测目标特征点区域边缘排除背景特征点

夏季城市夜晚道路上由于路灯、广告屏、道路旁各种建筑、桥梁、湖面等的干扰，导致红外视频图像背景复杂，因此在目标备选特征点集合中含有大量背景特征点。本文提出一种目标特征点区域边缘检测的方法对目标备选特征点逐一进行甄别，以排除背景特征点。

首先对原始图像进行线性拉伸[16]，增强目标与背景的对比度：

最后，目标特征点在边缘上，如图5所示。

图5 目标特征点区域边缘检测

值的选取与运动目标的大小有关，´的区域应能包含目标，可以有选择地检测不同尺寸的运动目标，如大客车、小汽车、摩托车等。

3 运动目标检测算法流程

运动目标检测算法流程如图6所示。

图6 运动目标检测算法流程图

4 实验结果及分析

本文所用的实验视频图像是用长波红外摄像机拍摄的夏季城市夜晚道路的长波红外视频图像(帧率为25 帧/s，尺寸为352´288)，拍摄时利用运动平台使摄像机可以平移和旋转，从而能够持续检测跟踪运动的车辆。视频图像背景中有路灯、高架桥、各式各样的建筑，造成背景复杂、干扰较多；视频图像中运动车辆较多，车辆大小不尽相同，运动速度各异，需要检测出多种速度的运动目标。实验平台为Windows XP操作系统的PC机，使用VC6.0进行编程实现。

图7为长波红外视频图像中选取的4帧图像，图8为背景的旋转情况，图中圆点表示同一位置，箭头标示背景旋转的方向(背景的旋转中心位于图像右下方，旋转方向为逆时针)，由图8可以看出图像伴随有上下抖动的现象。图9是上述4帧图像中的特征点光流减去背景光流后产生的备选目标特征点光流。图10是利用特征点光流矢量角度、目标灰度值区间、目标特征点区域边缘检测的方法，排除备选目标特征点集合中的背景特征点，实现目标特征点的准确提取。

图7 原始长波红外图像

图8 背景旋转方向

a. 第951帧图像备选目标特征 b. 第1 184帧图像备选目标特征点光流 点光流

c. 第1 595帧图像备选目标特征 d. 第1 763帧图像备选目标特征点光流 点光流

图9 长波红外图像备选目标特征点光流

a. 第951帧图像运动目标 b. 第1 184帧图像运动目标

c. 第1 595帧图像运动目标 d. 第1 763帧图像运动目标

图10 检测出的运动目标

表2 剔除背景特征点

视频(2 642帧)中出现的5 890个运动目标，检测目标5 524个，准确检测率为93.8%，出现虚警目标334次，平均虚警率0.126次/帧。虚警率与环境的复杂程度直接相关。目标检测总耗时为41 023 ms，平均耗时15.53 ms/帧，每帧图像处理的最大时间为20.45 ms。本文算法检测时间小于40 ms，完全能够满足对路面运动目标检测实时性的要求。该算法针对长波红外场景下的运动目标检测，因此要求目标与背景的灰度值存在一定差异，进而有效提取特征点，这是该算法进行目标检测前提和基础。但是该算法仍有尚需改进之处，如对于极其慢速的运动目标(即将靠近红灯前将要停止的运动车辆)，难以检测出来。

5 结束语

本文提出了一种旋转复杂背景中红外运动小目标实时检测算法。实验结果表明该算法能够准确地检测出红外多个运动小目标，虚警率低，且具有很好的实时性。

[1] YANG L, YANG J, YANG K. Adaptive detection for infrared small target under sea-sky complex background[J]. Electronics Letters, 2004, 40(17): 1083-1085.

[2] WANG X, LV G, XU L. Infrared dim target detection based on visual attention[J]. Infrared Physics & Technology, 2012, 55(6): 513-521.

[3]WEIHUA W, YAN H, ZHIJUN L, et al. A real-time target detection algorithm for Infrared Search and track system based on ROI extraction[C]//Signal Processing, Communication and Computing (ICSPCC), 2012 IEEE International Conference on. [S.l.]: IEEE, 2012: 774-778.

[4] 张肃,王文生,徐春云. 低对比度环境下运动目标光学相关检测技术[J]. 仪器仪表学报,2013, 34(2):319-325.

ZHANG Su, WANG Wen-sheng, XU Chun-yun. Optical correlation detection technology of moving target under low contrast environment[J]. Chinese Journal of Scientific Instrument,2013, 34(2):319-325.

[5] 蒋建国,安红新,齐美彬, 等. 复杂场景下的快速目标检测算法[J]. 电子测量与仪器学报,2012, 26(3):261-266.

JIANG Jian-guo, AN Hong-xin, QI Mei-bin, et al. Rapid target detection algorithm in complex scene[J]. Journal of Electronic Measurement and Instrument, 2012, 26(3):261-266.

[6] 蒋建国, 蔡志祥, 齐美彬, 等. 旋转摄像机下的快速目标检测算法[J]. 电子测量与仪器学报, 2012, 26(7): 624-628.

JIANG Jian-guo, CAI Zhi-xiang, QI Mei-bin, et al. The method of rapid moving object detection in rotating camera[J]. Journal of Electronic Measurement and Instrument, 2012, 26(7):624-628.

[7] 李劲菊,朱青,王耀南. 一种复杂背景下运动目标检测与跟踪方法[J]. 仪器仪表学报,2010, 31(10): 2242-2247.

LI Jing-ju, ZHU Qing, WANG Yao-nan. Detecting and track ingmethod ofmoving target in complex environment Chinese[J]. Journal of Scientific Instrument, 2010, 31(10):2242-2247.

[8] DONG X, HUANG X, ZHENG Y, et al. Infrared dim and small target detecting and tracking method inspired by Human Visual System[J]. Infrared Physics & Technology, 2014, 62: 100-109.

[9] CHEN Y, LIU X, HUANG Q. Real-time detection of rapid moving infrared target on variation background[J]. Infrared Physics & Technology, 2008, 51(3): 146-151.

[10] KIM J H, PARK J J, AHN S H, et al. A small target detection system based on morphology and modified gaussian distance function[M]. Berlin, Germany: Springer Berlin Heidelberg, 2014.

[11] 李建成,刘兴淼,潘伟全,等. 动态背景下的红外运动目标检测[J]. 光电工程,2013, 40(3):1-6.

LI Jian-cheng, LIU Xing-miao, PAN Wei-quan, et al. A method of infrared image moving object detection on dynamic background[J]. Opto-Electronic Engineering, 2013, 40(3):1-6.

[12] 刘兴淼,王仕成,赵静. 图像分块重建的红外运动目标检测算法[J]. 红外与激光工程,2011, 40(1):176-180.

LIU Xing-miao, WANG Shi-cheng, ZHAO Jing. Infrared image moving object detection based on image block reconstruction[J]. Infrared and Laser Engineering, 2011, 40(1): 176-180.

[13] LUCAS B D, KANADE T. An iterative image registration technique with an application to stereo vision[C]//IJCAI'81 Proceedings of the 7th International Joint Conference on Artificial Intelligence. Vancouver, BC, Canada: Morgan Kaufmann Publishers Inc, 1981.

[14] BRADSKI G, KAEHLER A. Learning openCV: Computer vision with the openCV library[M]. [S.l.]: O'Reilly Media Inc, 2008.

[15] LIU Z, ZHOU F, CHEN X, et al. Iterative infrared ship target segmentation based on multiple features[J]. Pattern Recognition, 2014, 47(9): 2839-2852.

[16] TAN D, CUI L, ZHANG A. Object Detection Based on Cluttered Infrared Image Background Suppression[C]// Proceedings of the 9th International Symposium on Linear Drives for Industry Applications, Volume 2. Berlin, Germany: Springer, 2014: 787-795.

编 辑 税 红

Real-Time Detection for Infrared Motion Small Targets in Rotation and Complex Background

YAN Jun-hua1,2, DUAN He1, AI Shu-fang2, LI Da-lei2, and XU Qian-qian1

(1. College of Astronautics, Nanjing University of Aeronautics & Astronautics Nanjing 210016; 2. Science and Technology on Electro-Optic Control Laboratory Luoyang Henan 471009)

A new algorithm of real-time detection for infrared motion small targets in rotational and complex background is proposed for solving the problems of high error rate of detection and poor real-time performance. The algorithm, at the first, processes the original infrared image with median filter, calculates the optical flows field, extracts the image’s feature points, estimates the background optical flows field, and then extracts the assemblage of the target feature points by setting the threshold. Finally, according to the optical flow vector angle of feature points, target gray interval and the area of feature points of edge detection, the background features points are removed from the assemblage, and thus the infrared motion small targets in rotational and complex background are detected accurately and timely. The experimental results show that the rate of detection of infrared motion small targets reaches 93.8%, the rate of average false alarm is 0.126 times per frame, the average time of target detection per frame is 15.53 milliseconds, and the maximum processing time for each frame is 20.45 milliseconds. It is concluded that the proposed algorithm meets the requirements of real-time moving target detection.

complex background; infrared targets; rotation; target detection; the optical flow vector angle of feature points

TP391.41

A

10.3969/j.issn.1001-0548.2017.05.010

2015-10-08；

2017-03-23

国家自然科学基金(61471194)；航空电子系统综合技术重点实验室和航空科学基金联合资助(20155552050)；国家留学基金(201506835020)

闫钧华(1972-)，女，博士，副教授，主要从事多源信息融合、目标检测跟踪与识别方面的研究.