基于块分解的超分辨率图像特征零样本分类

张 杰，汤嘉立，2，高 伟

(1. 江苏理工学院计算机工程学院，江苏 常州 213000；2. 东南大学电气工程学院，江苏 南京 210096)

1 引言

超分辨率图像重构技术的出现为图像领域带来了极大的便利[1]。随着超分辨率图像被提出，在各个领域被广泛应用。这时，如何有效地分类超分辨率图像成为一时之间相关领域专家讨论的热门话题之一[2]。当传统的分类方法满足不了人们日益增长的需求时，提出一种行之有效的超分辨率图像特征零样本分类方法成为图像处理领域亟待解决的问题。

文献[3]提出基于深度示例差异化的零样本多标签图像分类。该方法首先利用深度嵌入网络将超分辨率图像的视觉特征空间与零样本特征空间进行映射处理；再利用示例差异化算法对图像像素进行计算；最后基于计算结果实现对超分辨率图像特征零样本的分类。该方法由于未能利用小波包变换方法提取超分辨率图像的纹理特征，导致该方法的图像零样本分类精度偏低。文献[4]提出联合稳健跨域映射和渐进语义基准修正的零样本遥感影像场景分类。该方法首先基于可见类的类别语义向量和场景影像样本，将图像的视觉空间稳健映射到语义空间中；再基于k近邻算法修正图像中不可见类类别的语义向量，从而缓解可见类语义空间与不可见类语义空间的漂移问题；最后通过修正结果实现对超分辨率图像特征零样本的分类。该方法由于未能将图像的母小波进行平移伸缩处理所以该方法的图像分类效果差。文献[5]提出直推式遥感图像场景零样本分类算法。该方法首先利用嵌入算法对图像的语义特征空间类原型进行修正；再借助结构迁移方法获取视觉特征空间测试类原型；最后采用谱聚类方法对上述原型进行修正，获取适应测试类样本分布特点，提高场景零样本分类准确度。但是，该方法由于未能利用图像窗口，对图像的纹理能量特征进行特征提取，因此该方法的分类结果真实性较差。

为解决上述传统方法存在的问题，提出新的基于块分解的超分辨率图像特征零样本分类方法。

2 获取图像特征

利用块分解方法分解超分辨率图像，再利用小波包变换方法去噪处理分解后的图像块，从而提取超分辨率图像的特征。

2.1 图像分解

块分解方法利用图像局部方差、像素点以及像素均值将超分辨率图像分为平滑、边缘、纹理三类图像块。分类过程如下式所示

(1)

式中，σ为超分辨率图像的局部方差，E为熵，m为图像块中像素点总个数，yi为图像块中第j个像素点的值，μ为像素均值，qi为图像在不同灰度值出现的概率，b为常数。

2.2 图像的多分辨率分析

(2)

式中，函数的内积为〈，〉。f(b，a)=f*ψb，a为图像的函数卷积，通过对原始图像小波带滤波的计算，实现对图像信号的分解。在对原始图像的小波分解时，需对图像的不同尺度进行离散化处理。

由于小波函数ψ(x)是经过尺度函数φ(x)组合后形成的，其本身也要满足图像的尺度差分值，具体过程如下式所示

(3)

式中，图像的低通滤波器为h，高通滤波为g。利用二维的小波变换方法，对图像的函数矢量积进行计算，过程如下式所示

(4)

式中，二维尺度函数用φ(x，y)表示，而ψ1(x，y)，ψ2(x，y)，ψ3(x，y)分别代表三个二维的小波函数。

(5)

其中，φ2j(y-2-jm)>)(m，n)∈Z2

(6)

式中的多个表达式均为原始超分辨率图像的离散图像表征。

2.3 提取图像纹理特征

由于超分辨率图像的细节中存在高频分量，可以反映图像的能量分布。设定(2n+1)×(2n+1)为图像窗口，对图像的纹理能量宏观特征进行特征提取，过程如下式所示

(7)

式中，图像像素(i，j)的特征值为E(i，j)，图像像素的中心窗口的第(k，l)个小波系数用w(k，l)表示。

2.3.1 RGB空间的纹理特征提取

由于图像空间中颜色值无法直接反映图像的视觉特性，因此要对超分辨率图像的颜色通道进行小波分解[7]。从而提取图像中的小波能量，提取过程如下式所示

(8)

利用小波纹理分析方法对颜色通道进行小波分解，获取图像的小波能量[8]。将结果进行归一化处理，过程如下式所示

(9)

3 图像特征的零样本分类

基于上述获取的超分辨率图像纹理特征，利用自适应加权法对图像特征零样本进行分类处理[9]。

3.1 图像权重值的更新

首先构建图像语义融合模型，设定超分辨率图像语义属性特征A=(a1，a2，…，ap)为输入数据，图像的属性向量维数为p，语义词向量特征为W=(b1，b2，…，bq)，结合浅层神经网络将模型分为输入层融合、全连接层的融合以及分层融合。对图像的特征向量进行归一化处理，利用维度方向对两个特征向量进行拼接，过程如下式所示

F=A+W

(10)

(11)

式中，图像的激活函数为f2(·)。若设定模型的输出数据为V，则该模型的目标函数获取过程如下式所示

(12)

式中，获取的目标函数为E。依据链式法则对目标函数进行计算，获取该函数的偏导，过程如下式所示

(13)

式中，获取的图像特征偏导值为∇E。最后依据梯度下降算法对图像的权重值进行更新。

3.2 分类

利用粒子群优化算法对图像的融合权重进行计算，从而规避图像在零样本分类时的融合权重缺乏普适性带来的影响[10]。首先对超分辨率设定w1，w2图像的特征融合权重，融合模型的输出如下式所示

(14)

设定图像的粒子群是由m个粒子构成的，每一个粒子都有相对应的位置。由于要对超分辨率图像中w1，w2的进行寻优，所以要选取固定速度对每个粒子的位置进行计算。粒子最佳适应值用pbest，种群中的全部粒子的学习适应度的最优位置用gbest表示。

对上述获取的粒子最佳位置进行综合考虑，用xi(xi1，xi2)，pi=(pi1，pi2)以及vi=(vi1，vi2)来表示粒子群中第i个粒子的目前位置，最佳位置以及更新速度，且i=1，2，…，m。在进行迭代时，当前位置的图像特征权重可作为适应函数对模型进行评估。若该粒子适应值比历史的最佳位置高，可直接将其替换为最佳位置，并以此获取整个粒子群适应度的最佳位置pg=(pg1，pg2)以及最佳的优化权重(w′1，w′2)。设定固定值为最大迭代次数，对上述计算过程进行迭代，直至固定值为止。

针对粒子的速度及位置对图像的d维数据进行更新计算，过程如下式所示

(15)

式中，n为计算时的惯性权重，c1和c2分别为学习因子。基于上述的计算结果，对超分辨率图像的特征零样本进行分类处理，过程如下式所示

(16)

式中，φ(Ij)为超分辨率图像在语义联合嵌入空间的第j个测试样本的图像视觉特征，Av和Wv表示超分辨率图像的语义属性与语义词的向量特征，Cv表示二者融合后的图像特征。最后依据上式完成对超分辨率图像的分类。

4 实验

为了验证上述分类方法的整体有效性，需要对此方法进行测试。

4.1 实验结果及分析

分别采用本研究提出的基于块分解的超分辨率图像特征零样本分类方法(方法1)、基于深度示例差异化的零样本多标签图像分类(方法2)、联合稳健跨域映射和渐进语义基准修正的零样本遥感影像场景分类(方法3)进行测试。

1)特征分类准确度测试

在不同训练类别的情况下，利用方法1、方法2以及方法3测试超分辨率图像多类别特征分类时的分类精度，特征类别总数为随机选取，本次实验的特征类别为类别2、类别3、类别5、类别6，特征分类准确度测试次数为110次，每20次记录实验结果。三种方法的检测结果如图1所示。

图1 不同方法的分类精度测试结果

依据图1可知，在超分辨率图像特征训练类别不同的情况下，随着训练类别的增多，图像特征分类精度也随之下降。如图1(b)和图1(c)所示，方法2和方法3的图像特征分类准确度均低于60%，该数值说明这两种传统方法的应用精度偏低，且其分类准确度受特征类别数量的影响较大，应用效果较差。如图1(a)可知，所提方法的超分辨图像特征零样本分类准确率可始终保持在80%以上，当特征类别增多时，其准确度波动幅度不大，说明该方法应用稳定性较理想。

2)AUC指标测试

AUC(Area Under Curve)为ROC曲线下与坐标轴围成的面积，该面积数值的范围为小于等于1。由于ROC曲线一般都处于y=x这条直线的上方，因此AUC的取值范围在0.5和1之间。AUC越接近1.0，说明该方法所得结果真实性越高；等于0.5时，则真实性最低，无应用价值。在超分辨率图像中引入ROC曲线下面积(AUC)，对方法1、方法2以及方法3的分类效果进行测试，测试结果如图2所示。

图2 不同方法的AUC指标测试结果

依据图2可知，方法2和方法3的AUC指标明显低于所提的方法1。当图像类别数量不断增多时，方法2和方法3的AUC指标出现下降趋势，说明特征类别较多时，传统方法的分类结果真实性较差，可应用价值也较小。而相比之下，方法1的AUC指标一直接近1，说明所提方法的超分辨率特征特征零样本分类结果具有真实性。

5 结束语

提出基于块分解的超分辨率图像特征零样本分类方法。该方法首先利用小波包变换方法，对超分辨率图像进行特征提取；再利用自适应加权法对图像特征零样本进行分类处理，从而实现超分辨率图像的特征零样本分类。该方法由于在特征提取时还存在一定缺陷，今后会针对这一问题对该方法深入优化。