小波图像融合与目标识别的嵌入式系统实现方法

王 磊，孟志敏，刘 帅，郝永平，徐九龙

(沈阳理工大学兵器科学与技术研究中心，沈阳 110159)

0 引言

红外图像可根据目标和背景热辐射差异来区分目标和背景。可见光CCD/CMOS成像器件在空间分辨率较高，能够提供物体清晰的结构细节[1]。红外和可见光图像融合在军事和民用领域发挥着重要作用，如目标探测、监视和情报收集[2]。

基于多传感器图像融合的战场目标识别是现代化战争的重要发展方向[3-4]。近年来，代表性的图像融合方法有：多尺度变换、小波变换、非下采样轮廓波变换(NSCT)、引导滤波等。Yang等采用NSCT与GoogLeNet神经网络模型结合的异源传感器图像融合算法，有效提高图像融合质量，但是其算法复杂，实时性较差[5]。Li等提出了彩色图像双树四元数小波变换的融合方法，可保留更多源图像的细节信息[6]。Cadambi等研发了FPGA+DSP架构的红外与可见光融合系统[7]，其主要缺点是对大规模的数据吞吐处理难度较大且实时性差。上述算法计算复杂，针对低成本嵌入式实时平台的应用受到一定限制。

文中针对坦克等战场目标，提出了基于小波变换的红外与可见光图像融合的目标识别算法，克服识别过程中传输效率低，计算性能不足以及实时性差等问题。搭建ARM+FPGA架构的嵌入式平台，通过软硬件协同设计进行资源优化与合理配置，根据各模块的不同特性，给出了实时图像配准和融合处理系统在嵌入式平台的设计与实现方案，仿真和实验结果验证了算法的有效性。

1 红外与可见光坦克图像融合方法

1.1 基于形状上下文特征的图像配准

对于红外与可见光图像，通过边缘检测算子获取轮廓边缘，对轮廓边缘采样得到离散模型。采用形状上下文特征(shape context, SC)配准方法，建立异源图像共有特征，寻找最大相似度下的空间几何变换模型，实现图像匹配准，其流程见图1。

图1 SC配准算法流程图

为解决异源图像中同一目标尺度不同问题，计算两点集对应距离矩阵与平均距离之比映射到坐标系中对应的欧氏距离，其距离和方向计算公式为：

(1)

(2)

采用卡方检验统计输入与模板图像的相似度，即

(3)

式中:k表示对数坐标系中第k个网格;g与h表示相似点对。

设定梯度值计算切向角为θ1和θ2，切向角非相似函数变换后，得：

(4)

两个相似度度量矩阵进行加权求和，输出总相似度度量矩阵为：

C=(1-λ)Cs+λCt,λ∈[0,1]

(5)

利用匈牙利算法实现两图像采样集点最优匹配。通过匈牙利算法不断迭代求出最终开销值最小的点对匹配方案。得到匹配度较高采样点拟合出新的边缘轮廓后，采用薄板样条插值函数对轮廓进行插值变形。其薄板样条插值函数为：

(6)

插值函数由线性项和非线性项组成。线性项是平面与所有匹配度高的点最佳匹配，非线性项与控制点的弯曲率有关。

为验证配准效果，针对同一组640像素×480像素包含坦克目标的红外与可见光异源图像测试样本，采用文中所述配准算法以及Hu不变矩、SURF算法进行比对，配准结果如图2所示。

图2 不同配准算法特征点匹配

由图2可见，Hu不变矩特征匹配点对的误差较大，SURF算法特征点匹配由于图像中目标与环境的结构相似，较多的误匹配点限制了配准效果。相应匹配性能结果对比如表1所示。

表1 特征点匹配结果

以可见光图像为参照模板，采用所述配准方法结果如图3。

图3 红外原图像与空间变换后图像对比

1.2 小波变换的坦克图像融合

基于小波变换的方法是较为典型的多尺度分解融合方法，通过尺度函数和小波函数进行分解，提取各自图像高频与低频分量，其作用分别对信号高通滤波保留细节，低通滤波去除噪声，平滑处理；按照融合规则进行信息重构，得到融合图像，其流程见图4。

图4 基于小波变换的图像融合流程

设大小为M×N的离散图像，其二维离散小波变换为：

(7)

(8)

逆变换为：

(9)

为了提高图像融合效果，小波基的选择至关重要。同时考虑到小波变换时包含奇异点造成大幅值系数情况，选取高的消失矩，小的支集。DB系列小波为最优选择。由表2可知，选用DB-4基函数，融合后图像的平均梯度略低，但其熵、均值和标准差均优于其他基函数，综合评价较好。

表2 不同小波基函数融合图像性能指标

针对融合前图像中存在的高斯噪声，小波变换后噪声在小波域对应的高频系数进行最大程度抑制，对有效信号影响较小。将经过阈值处理后的小波系数重构，可以得到去噪后的信号。由于图像经过预处理，噪声较小，且最大程度保留原始高频信号，采用极值阈值估计。

(10)

式中，N为小波系数个数。

为保证融合图像平滑，保留较多原始信号，选取软阈值函数去噪。

(11)

将待融合高频子图像分为若干5像素×5像素局部区域，并计算每一个区域的能量E。其计算公式为：

(12)

式中，E(x,y)表示以(x,y)为中心，窗口5像素×5像素内区域的能量;f(x,y)是对应的高频系数。

高频部分系数融合规则为：

(13)

式中:fHA和fHB为待融合图像的高频系数;fH(x,y)是融合后的高频子图像系数。

低频融合规则为：

fL(x,y)=w1fLA(x,y)+(1-w1)FLB(x,y)

(14)

式中:fLA(x,y)，fLB(x,y)为低频系数；fL(x,y)为融合后低频系数；w1为加权系数，取w1=0.5。

分别采用加权平均融合、Harr小波变换融合、文中方法进行图像融合，结果见图5。

图5 不同融合算法结果对比

图5中:图(a)比图(b)保留更多源图像的特征，但存在错位重影现象且图像模糊；图(b)要比图(a)的背景与目标对比度明显；图(c)中坦克的边缘轮廓明显，人身体部分无错位，融合效果更好。

通过融合图像均值、标准差、平均梯度、熵等客观评价指标来反映融合效果。对比不同融合方法结果其指标如表3所示，文中采用融合算法实现图像融合的效果达到预期效果。

表3 不同算法融合效果评价指标

2 HOG+SVM的坦克目标识别算法

对于融合后图像，坦克目标的几何形状特征稳定可靠，因此采用HOG+SVM的目标识别方法，有较好的光学变形和几何变形不变性。

2.1 目坦克标HOG特征提取

为有效降低图像对光照变化的敏感性，采用式(15)标准化方式进行归一化处理，效果对比如图6所示。

图6 原图像与归一化图像

I(x,y)=Iγ(x,y)

(15)

式中:I(x,y)为图像任意像素点灰度值;γ为Gamma校正值，对于图像归一化，选取γ=1/2。

然后通过差分计算来求解梯度,其表达式为：

Gx(x,y)=f(x+1,y)-f(x-1,y)

Gy(x,y)=f(x,y+1)-f(x,y-1)

(16)

式中:(x,y)表示灰度图的像素位置;f(x+1,y),f(x-1,y),f(x,y+1),f(x,y-1)分别是(x,y)邻域的像素值;Gx(x,y)与Gy(x,y)为(x,y)处水平和垂直方向的梯度分量。因此每个像素点的梯度值和梯度方向为：

(17)

将梯度图像划分为6像素×6像素像素的方格单元(cell)，每个块(block)由2像素×2像素方格单元构成。梯度方向数为9。

由于块特征向量对于光照的变化比较敏感，对块特征进行归一化，可以使其对光照和阴影变化具有抗干扰性。设块的特征向量为H，归一化方法为：

H=H/(‖H‖1+ε)

(18)

式中，ε是一个无穷小量，避免分母为0，且不影响归一化结果。以方格单元边长为跨度，进行遍历图像特征提取，生成不同块的HOG特征，将块特征向量组合起来，生成检测窗口的HOG特征。

2.2 坦克目标分类决策方法

针对坦克目标，由于受到样本数量的限制，选择支持向量机(support vector machine，SVM)[8]作为小样本坦克目标数据的分类器，其实现流程如下：

步骤1:建立超平面方程。设样本集合为(xi,yi)，xi是每一个样本中提取的特征向量，yi是每个样本的类别号，对于二分类情况，yi∈{+1,-1}。则分类超平面方程为：

wTx+b=0

(19)

步骤2:求解最优分类函数。针对非线性分类，可以将样本数据x映射到高维的特征空间E。定义內积函数C(xi,xj)实现非线性样本分类问题线性化，求解最优分类函数为：

(20)

步骤3:核函数选择。为了加速算法实现，利用核方法定义核函数，避免计算非线性变换得到具体形式。高斯径向基核函数的非线性支持向量机在训练时可以自动确定核参数[9]，高斯径向基核函数如下所示：

C(xi,xj)=exp(-‖x-xi‖2/2σ2),σ>0

(21)

检测窗口在遍历整个图像时，目标周围HOG特征相似，因此识别目标周围会出现在不同位置的重叠矩形框选窗口如图7所示。

图7 识别目标的重叠框

步骤4:选框融合。采用非极大值抑制方法进行候选框融合[10]。将N个候选窗口的得分Grai按顺序排列，得到集合H={Gra1,Gra2,…,GraN-1,GraN}，计算集合H中每一个框选窗口得分与集合M中的Gra1的重叠度IoU。

IoU=S(Grai)∩S(Gra1)

(22)

式中，S为框选窗口的面积。

设定重叠阈值Th=0.4，IoU高于阈值，认为该框选窗口与基准窗口有较多的区域交集。迭代此过程，直至集合H为空。针对移动样本和静止样本，识别结果如图8所示。有效剔除了图像重复特征信息，减少了识别误差。

图8 非极大值抑制窗口融合标

3 嵌入式系统搭建

结合所提红外与可见光图像融合的目标识别算法在战场环境下的应用，搭建ARM+FPGA架构的嵌入式系统，通过软硬件协同设计进行资源优化与合理配置，选用XC7Z020作为嵌入式主芯片，ARM+FPGA架构中一部分是以ARM处理器为核心的PS端，另一部分是以FPGA可编程逻辑为核心的PL端，PS与PL之间的互联是通过ARM的AXI接口来实现。其中ARM硬核的主频率为767 MHz，FPGA主频率为250 MHz，配备了HDMI、USB等输入输出接口用于红外与可见光目标特征的采集与处理结果显示。搭建所需目标识别系统，选用的平台及开发的样机见图9。

图9 开发的识别系统与FPGA/ARM样机

根据平台的ARM与FPGA端数据处理特性差异，对不同模块进行合理部署划分，系统总体布局如图10所示。

图10 嵌入式系统部署框架图

图10中针对红外与可见光测试样本进行预处理、特征提取等算法处理。为进一步方便地面的测试与验证，凭借Vivado开发环境进行设计，包括可见光与红外摄像头数据通过算法IP核处理，由VDMA传输到PS端识别分类后，通过HDMI接口显示等。软件实现架构如图11所示。

图11 软件实现架构图

系统通过FPGA提取到的图像特征数据，融合处理后在传送到ARM端进行分类、识别。为便于算法在PS端执行，在Ubuntu系统中配置Qt编译环境，同时链接OpenCV库，通过交叉编译的方式生成工程的可执行文件，同时移植Linux系统。

3.1 图像融合与识别算法优化加速设计

针对图像预处理中滤波和边缘轮廓提取计算量大、耗时长的问题，采用图像行缓存、窗口缓存等方法对图像进行处理，实现加速遍历图像像素卷积运算。对于算法中循环迭代加速优化，通过Vivado HLS的优化指令，实现算法并行优化加速。表4为优化后算法执行时间。

表4 优化后算法执行时间

对图像融合算法移植到Zynq7020平台实现。算法IP核工作频率为150 MHz，将数据输入口设置为RAM-2P-BRAM类型扩大带宽，数据分块管理，并将算法中循环迭代展开。表5为经过Vivado HLS指令优化后综合分析的IP执行时间。

表5 图像融合算法优化执行时间

系统定制了融合算法的IP核，数据传输是通过stream形式，定义AXI总线接口协议，采用上述硬件优化后，融合后结果见图12。

图12 融合算法硬件优化实验

由图12可见，目标局部重影较少，融合图像保留了异源图像的主要特征信息。

HOG特征提取过程，主要在梯度计算与特征向量加权统计。由式(17)可知反正切运算含有除法运算。针对特征提取过程进行优化，在FPGA中除法运算通过移位和比较操作实现[11]，并封装加速IP核，表6为HOG特征提取硬件加速的资源占用情况。

表6 HOG特征提取算法优化占用资源

3.2 嵌入式系统模块化部署及实验验证

选取红外与可见光图像各200张作为测试样本。对比不同平台融合识别效果，结果如图13所示。为验证算法有效性，分别选用复杂背景下的静止和运动目标进行融合和识别，图13(a)、图13(b)为PC端的识别结果。如图13(a)可见，识别过程中HOG特征提取在FPGA上优化加速，梯度中除法运算转换为硬件逻辑移位比较的方式，导致框选中心偏移。针对运动目标，PC平台目标识别帧率为10 Hz左右。算法仅通过PS端(ARM)执行，实时性不好，有目标丢失情况，帧率为7 Hz左右，且芯片发热严重。所提方法通过在PL和PS端(FPGA+ARM)有效分配，在识别实时性方面有显著提高，帧率约为20 Hz，画面连续，识别率与静止情况差别较小。

图13 PC和嵌入式平台识别结果

3.3 嵌入式系统性能分析

由实验结果，主要从准确率P、召回率R、综合评价指标F1三个方面对图像融合识别系统进行客观评价分析，3种不同平台下识别效果以及平均耗时如表7所示。

表7 系统评价指标对比

由表7可知，针对文中采用的ARM+FPGA异构软硬协同设计的方法在准确率、召回率以及综合评价指标相较于前两种实验方法都有一定降低，平均耗时有显著的减少。平均耗时51 ms，视频识别结果的帧率约为20 Hz，满足系统实时性要求。

4 结论

针对坦克目标的红外与可见光图像融合的识别开展采用基于小波变换的融合算法研究通过提取融合图像HOG特征并生成SVM分类器模型实现坦克目标识别。构建了嵌入式的红外与可见光图像融合系统，定制了ARM+FPGA样机。开展了相关实验验证。配准平均精度为51%，效果优于Hu不变矩和SURF算法配准。在ARM+FPGA嵌入式系统中，对图像处理算法进行优化加速，定制融合处理IP核，其识别准确率为78.22%，系统平均耗时为51 ms，帧率约为20 Hz，相较其它实现平台耗时大幅缩短，满足目标检测识别的实时性要求。