嵌入式平台下红外图像坦克目标识别的实现方法

王 磊，关 英，孟志敏，郝永平，徐九龙

(沈阳理工大学 兵器科学与技术研究中心， 沈阳 110159)

坦克是现代地面大集群作战的主要武器，主要用于摧毁野战工事，快速歼灭有生力量[1]。随着坦克在陆地战场上的综合实战能力不断增强，反坦克作战逐渐成为了各国陆军的重要能力[2]。反坦克打击的首要任务就是对典型的坦克目标进行精准识别。随着探测技术的飞速发展，传统的可见光探测已不能满足现代化战场的要求，因此，红外探测技术应运而生[3]。常见的目标识别算法大多采用PC机实现，但是由于其功耗与散热的问题也使其很难实现小型化、集成化[4]。随着半导体技术与数字计算机技术的飞速发展，嵌入式系统越来越常见。Oishi采用HOG特征和SVM分类算法在Kintex-7 FPGA上设计了一种目标识别系统[5]。Viola和Jones提出了AdaBoost目标识别的级联算法，该算法在保持准确率的同时显著的提高运算速度[6]。

针对本文所涉及的目标识别领域，单一平台往往难以很好地满足要求，更多的是基于组合平台来完成这一任务[5]。采用低成本、具有红外成像的嵌入式系统开发具有广泛的应用。基于ARM+FPGA架构的ZYNQ SoC平台，完美地结合了FPGA平台灵活的硬件结构与强大的并行计算能力以及ARM平台在嵌入式操作系统上的优势[7-8]。在此类平台下实时性算法的开发与实现是研究的热点[4]。

本文采用HOG特征结合AdaBoost分类算法进行坦克目标识别，根据FPGA平台的计算特性，对HOG特征提取算法进行优化设计，通过软硬协同设计的方法搭建嵌入式系统，定制了小型化样机，在不同平台开展了相关实验，验证所提出方法的可行性。

1 坦克目标识别算法

1.1 坦克目标的HOG特征提取

由于红外成像相比于可见光成像分辨率不高，难以体现出目标的纹理细节，因此在特征提取的过程中，目标的外形、轮廓特征显得尤为重要。针对坦克这类有形目标，其梯度强度和梯度方向能够很好的描述一个目标的形状与轮廓[10]。采用梯度方向直方图特征(Histogram Of Oriented Gradient,HOG)能够很好地描述目标的形状特征。便于快速识别，计算流程如图1所示。

HOG特征的具体计算过程如下：

1) Gamma校正。Gamma校正是对输入图像的灰度值进行指数变换，从而对图像的亮度偏差进行校正[14]。在红外图像中，由于不同场景下的温度条件不同，因而需要通过对图像进行Gamma校正归一化来消除亮度偏差对特征提取的影响。式(1)为Gamma校正公式：

I(x,y)=I(x,y)γ

(1)

式(1)中：I(x,y)表示图像中像素点的灰度值；γ为校正值。

2) 梯度计算。图像梯度的计算如式(2)、式(3)：

Gx(x,y)=I(x+1,y)-I(x-1,y)

(2)

Gy(x,y)=I(x,y+1)-I(x,y-1)

(3)

其中，x、y分别是图像像素点的坐标；I(x,y+1)、I(x,y-1)、I(x+1,y)、I(x-1,y)分别为当前像素上、下、左、右相邻像素点的值；Gx(x,y)、Gy(x,y)分别为像素点(x,y)的水平方向梯度和垂直方向梯度。

图1 HOG特征提取流程框图

得到两个方向的梯度后，利用这2个梯度值计算每个像素点的梯度幅值G(x,y)和梯度方向θ(x,y)如式(4)、式(5)

(4)

(5)

3) 基于梯度方向的加权投影统计。将梯度方向平均分为W个区间(bin)，用binw表示第w个梯度区间，根据cell中的每个像素的梯度方向将梯度幅值映射到对应的bin中，每个cell单元根据梯度的方向将梯度幅值投影至对应区间的bin中并进行累加，最终得到表述cell单元梯度幅值和梯度方向分布的梯度方向特征向量h。h是一个W维的向量，见式(6)：

(6)

式(6)中，w=0,1,2,…,W-1。

4) block块的划分与特征向量归一化。由于图像中存在噪声，导致HOG特征在计算过程中梯度幅值不稳定，因此需要对梯度幅值进行归一化[15]，具体方法是将cell单元组合成block块，在块内进行归一化操作。若某block块的HOG特征向量为H，通常采用的L1-norm归一化函数来完成归一化操作，式(7)为L1-norm归一化函数：

(7)

式(7)中，ε为一个极小值，这样可以避免分母为0，对最终结果并不产生影响。

5) 组合HOG特征向量。将每个block的HOG特征向量组成最终的HOG特征向量。实际系统中HOG特征提取器的参数如表1所示。

表1 HOG特征提取器参数

1.2 HOG+AdaBoost识别算法

AdaBoost的核心思想是不断训练弱分类器，并根据每次迭代后的误差率来调整权重值，提高被错误分类的样本的权重，降低被正确分类的样本的权重，使每一次迭代过程中被错误分类的样本可以在后一轮的训练过程中被弱分类器更加重视[12-14]。通过调整每轮迭代的权值，最终可以得到分类效果显著提升的强分类器。AdaBoost算法的具体训练过程如下：

1) 给定训练样本数据集T：

T={(x1,y1),(x2,y2),…,(xN,yN)}

其中，xi∈χ=Rn，yi∈γ={+1,-1}，i=1,2,…,N，χ为实例空间；γ为标记集合;xi为第i个特征向量； (xi,yi)为样本点；yi为实例的类标记，当yi=+1时，xi为正样本，当yi=-1时，xi为负样本。

2) 初始化训练数据的权重，每个训练数据的权重都指定为1/N：

D1=(ω11,…,ω1i,…,ω1N)

3) 对m=1,2,…,M，将各个带权重的训练数据进行分类学习，得到基本分类器Gm(x)：

Gm(x)∶χ→{+1， -1}

(4)

4) 计算Gm(x)在训练数据集上的分类误差率em，即被Gm(x)错误分类的样本的权值总和：

其中：

(5)

5) 计算Gm(x)在强分类器中的系数：

6) 继续迭代，更新训练数据集的样本权值分布：

Dm+1=(ωm+1,1,…,ωm+1,i,…,ωm+1,N)

其中，i=1,2,…,N；Zm为规范化因子，可按下式计算得到：

(7)

对弱分类器进行线性组合，得到强分类器：

AdaBoost算法训练流程如图2所示。

图2 AdaBoost算法训练流程框图

2 HOG特征提取算法优化设计

2.1 梯度方向直方图生成算法的优化设计

考虑到算法在嵌入式平台的实现问题，前述的cell单元统计直方图的计算过程中，arctan运算需要计算两个梯度幅值的比值，此类运算不适合在FPGA进行处理。因此需要对cell单元的梯度方向直方图生成过程进行优化设计。

在cell单元中，梯度角度值θ被划分成了8个区间，进行加权统计时只考虑某一梯度方向所属的角度区间bn。bn和θ的关系见式(8)。

(8)

将计算梯度角度值的计算式(5)代入上式(8),可得式(9)：

(9)

其中，Gx、Gy分别表示x,y方向上的梯度值，由于bn的取值区间为[0,7]，由式(9)，可得式(10)。

(10)

其中，mod表示取余数计算，b的值按式(11)计算得到：

(11)

式(10)中的GxGy≥0与GxGy<0用于区分Gx与Gy符号位的异同，算法在FPGA实现中，只需要通过符号位的比较即可实现；根据式(11)中的各个判断条件，该优化方案中完成一次符号位比较、四次常量乘法、四次比较、一次减法运算和一次求模运算；即只需通过常量乘法和比较运算即可实现，运算更加简单、逻辑资源消耗更少，便于在嵌入式系统平台移植实现。

2.2 归一化运算的优化设计

算法中归一化的计算过程需要进行多次除法运算，而二进制数每次的移位操作相当于一次除2的除法运算。而这种移位的操作在FPGA上易通过寄存器实现，且每次移位只需要一个时钟周期即可完成[10]。算法采用移位操作近似替代除法运算的方法，将归一化分母H||+ε近似为2k形式的数值，这样归一化的计算过程就可以通过移位k次实现。假设2n-1

Hnorm≈

(12)

由式(12)可知，表达式中分母都是以2k的形式表示，归一化运算可以通过多次简单的移位操作就能得到复杂的除法运算的近似结果。文中分别对将H||+ε近似为2k的形式以及采用式(12)分段近似方法进行了误差分析，结果如图3所示。

图3 归一化近似计算方法的误差分析曲线

3 系统搭建与实验验证

为验证所提优化算法的有效性，搭建了嵌入式测试系统。开发了FPGA/ARM原理样机，其中ARM硬核的主频率为767 MHz，FPGA主频率为250 MHz，配备了HDMI、USB等输入输出接口用于可见光与红外图像采集与处理结果显示。同时，为便于比较，采用Zynq SoC的AX7020开发板为参考系统，实验系统平台如图4所示。

图4 嵌入式红外图像坦克目标识别系统平台

样机中嵌入式系统通过软硬件协同设计方法进行资源优化与合理配置，根据各模块的不同特性，将各个模块合理地分配在ARM与FPGA端。采用所提算法在嵌入式系统中进行了实验验证，系统的总体架构如图5所示。

图5 嵌入式系统总体架构示意图

为获取高清图像数据，系统中同时采用Fluke Tix640型红外热像仪(图6)分别对不同地点的不同坦克目标进行数据采集，获取了样本数据。

图6 实验用红外热像仪

分别选取正负样本各4 000张作为训练集。部分样本的示例见图7，图中前3行为正样本，后3行为负样本，分别代表真目标和伪目标。

另外各选取100张包含坦克目标的红外图像与100张不含坦克目标的红外图像作为测试样本，红外图像大小为640×480像素。分别在PC机，Zynq平台下的单一ARM核，以及基于ARM+FPGA架构的样机上开展坦克目标识别的对比实验，部分识别结果如图8所示。

图8(a)、图8(b)、图8(c)分别为在PC平台下、单一ARM平台、ARM+FPGA平台下的识别结果。算法分别在定制样机与AX7020开发板进行了相应验证。由图8可知，上述3种方法均能够实现对红外图像中坦克目标的识别，但识别性能指标不同，表2给出了精度P、召回率R以及平均耗时t三项性能指标的差异。

图7 正负样本示例

图8 坦克目标识别结果

表2 各项性能指标

由对比可见，PC平台的精度最高，耗时也较大；单一ARM 平台精度和耗时略有不足；ARM+FPGA平台下，改进后的算法在保证一定识别率的基础上，大幅地提高了运算速度，运算速度相对于单一ARM硬核的方法提高了3倍以上，具备了工程应用的条件。实验过程中，检测一张640×480像素的图像只需要52 ms，帧率达到20 fps，可以满足系统实时性的要求。

4 结论

针对战场环境下红外图像坦克目标在嵌入式系统中的快速识别，提出了一种改进的HOG特征提取结合 AdaBoost 分类算法的红外图像目标识别实现方法。针对ARM+FPGA嵌入式平台，算法根据FPGA的计算特性对HOG特征进行提取和优化。搭建了实验系统，通过采集坦克目标的红外样本数据，对所提算法进行验证，相比于传统的目标识别算法，所提算法在样机的ARM+FPGA嵌入式平台上，识别率70%以上，运算速度相对于单一ARM硬核的方法提高了3倍以上，平均耗时52 ms(640×480),帧率达到20 fps，可以满足系统精度和实时性要求。