人脸超分辨率重建中投影空间的选择方法

张哲, 齐春, 张钊强, 陈晓璇

(1.西安交通大学电子与信息工程学院, 710049, 西安; 2.西北大学信息科学与技术学院, 710049, 西安)

人脸超分辨率重建是一种利用单幅或多幅低分辨率人脸图像重建高分辨率人脸图像的方法[1],由于其在计算机视觉、民用安防等多个领域[2-4]的重要作用,近年受到了广大科研工作者的关注。由于人脸固有特征较多,相似程度高,因此基于学习的超分辨率重建方法在人脸超分辨率重建中得到了广泛的应用,这其中使用最为广泛的,当属邻域嵌入的方法。邻域嵌入的方法首先由文献[5]提出,该方法的理论基础是流形假设。流形假设指出,高低分辨率图像在不同的特征空间中拥有相似的局部流形结构。也就是说,如果该假设成立,低分辨率图像的重建权值就可以直接用来重建对应的高分辨率图像,以获得人脸超分辨率重建结果,但文献[6-16]指出,由于高低分辨率图像间一对多的关系,这种流形假设并不一定成立。为了克服这个问题,研究者尝试将原始高低分辨率图像投影到一致性更强、更符合流形假设的空间进行邻域嵌入。文献[10]利用高低分辨率图像对投影后相距较近作为约束条件来计算线性投影矩阵并投影;文献[11]利用偏最小二乘(PLS)算法获取线性投影矩阵,从而将高低分辨率图像投影到新的线性空间;文献[12-13]通过引入非线性核函数,将原始图像投影到更高维度的空间进行邻域嵌入;文献[14]在非线性函数投影的基础上,增加了额外的投影矩阵,并通过以上两者,将原始图像投影到新的高维空间。另外,文献[17-19]还利用典型相关分析(CCA)等方法从原始图像中提取特征,进而在特征空间中进行邻域嵌入。

虽然以往有各种方法将图像映射到更为一致的投影空间来满足流形假设,进而获得更好的图像重建效果,但是,不同的投影空间该如何选择呢?针对上述问题,本文通过引入空间一致性,给出了一种投影空间的选择方法。该方法可以在人脸超分辨率重建前对投影空间进行筛选,为获得更好的人脸超分辨率重建结果奠定基础。另外,本文还对各大类投影空间的优缺点进行了分析,指出了目前投影算法存在的一些问题。

1 本文方法

对于基于流形假设的投影空间人脸超分辨率重建算法来说,随着投影空间一致性的增强,算法最终的重建结果也会越来越好[10-16]。图1为邻域嵌入示意图[5-6],图2为投影空间人脸超分辨率重建算法模型[5-19],由图1、图2可以看出,投影空间人脸超分辨率重建算法的结果主要由两大因素决定:高低分辨率近邻块对(Hi与Li)的选择,以及将低分辨率图像块重建权值(ωL)直接作为高分辨率图像块重建权值(ωH)所带来的影响。如果所选高低分辨率近邻块对中的高分辨率近邻块(Hi)恰好能利用低分辨率图像块重建权值(ωL)得到高分辨率图像块(yi),那么就能够完全重建出高分辨率测试图像。

图2 投影空间人脸超分辨率重建算法模型

由于高分辨率测试样本块的不可知性,合适的高分辨率近邻块难以被直接选取。目前大多数算法使用2-范数在低分辨率图像空间进行近邻选取,然后将所选低分辨率图像块对应的高分辨率图像块作为近邻块[5-11],因此对高低分辨率近邻块对的选择不会在各投影算法间产生较大影响;另一方面,由于低分辨率图像与高分辨率图像间一对多的关系,流形假设并不一定成立,将低分辨率图像块重建权值直接作为高分辨率图像块重建权值会带来一定的误差,而一致性强的投影空间将会获得更相关的高低分辨率图像块重建权值,因此可以通过高低分辨率图像块重建权值的相关性来评估投影空间的一致性。

1.1 选取高低分辨率图像块

考虑到人脸对应位置块的相似性,本文在获取测试与训练人脸图像之后,将其按一定规律切分成图像块,然后对于低分辨率图像,随机选取p幅测试图像q个位置的图像块作为中心块,并将相应位置的部分训练图像块作为近邻块。对于高分辨率图像也做同样处理。

1.2 获取高低分辨率图像块重建权值

随着投影算法的不同,获取高低分辨率图像块重建权值的方式也有所区别。此处将以低分辨率图像块为例给出不同投影的重建权值计算方法,高分辨率图像块的重建权值计算方法同理可得。另外,为了方便比较,本文从投影矩阵是否为单位阵以及投影方式是否为线性这两方面,将投影算法及其对应的投影空间分为4大类,并将各类算法与其对应的权值获取方式列举如下。

根据拉格朗日乘数法,可得[5]

式中:Q=(xi·1T-Li)T(xi·1T-Li),1表示元素全为1的列向量。

(2)线性一般投影。线性一般投影即投影矩阵为一般矩阵P的线性投影算法,采用这种投影方法的有文献[6,10-11]等。为了保证投影后的反投影不影响算法最终结果,一般约束PP-1=I。线性一般投影权值优化函数为

根据拉格朗日乘数法,可得

式中:Q=(xi·1T-Li)TPTP(xi·1T-Li)。

另外,投影矩阵P的获取将根据算法的不同而有所区别。为方便比较,本文实验部分采用文献[10]中所述方法获取线性投影矩阵P。

本研究以从环境中分离得到的菌株 Y17作为出发菌株，对其进行反复多次ARTP等离子诱变，利用氯化钾敏感筛选得到核酸含量提高的突变菌株Y17aM3，然后对突变菌株进行生理生化特性分析，并进行发酵培养条件优化及传代稳定性分析。

(3)非线性单位投影。非线性单位投影即投影矩阵为单位阵I的非线性投影算法,利用这种投影空间的文献有[12-13]等。非线性单位投影权值优化函数为

根据拉格朗日乘数法,可得

式中:Q=(Φ(Xi)-Φ(Li))T(Φ(Xi)-Φ(Li))=KXiXi-KXiLi-KLiXi+KLiLi,其中Xi=xi·1T,Φ(·)为非线性映射矩阵,Φ:Rd→RF(d∈F),KXiLi为核矩阵,kx,y为核函数,其计算式如下

本文实验部分采用高斯核化方法,其中σ=1。

(4)非线性一般投影。非线性一般投影即投影矩阵为一般矩阵P的非线性投影算法,文献[14]等使用这种方法进行空间投影,非线性一般投影权值优化函数为

根据拉格朗日乘数法,可得

式中:Q=(Φ(Xi)-Φ(Li))TPTP(Φ(Xi)-Φ(Li))。

另外,由于上式非线性投影向量的内积之间存在投影矩阵P,因此并不能直接采用非线性单位投影中的核矩阵方法进行处理,而需要通过变量代换进行计算,其具体实现过程请参考文献[14]。

1.3 相关性度量与分析

两向量间的相关性通常有3种衡量方法:欧氏距离、相关系数及余弦相似度。对于重建权值的相关性度量来说,欧氏距离并不能体现出两权值间夹角信息,相关系数并不能区分归一化与非归一化权值之间的区别。因此,本文选用既考虑到夹角问题、又对权值归一化敏感的余弦相似度进行相关性度量。对于测试高分辨率图像块重建权值ωH,与对应测试低分辨率图像块重建权值ωL,其余弦相似度scos计算公式如下。

当高低分辨率图像块重建权值均归一化后,其余弦相似度将与相关系数计算结果相同。余弦相似度的均值计算公式如下

最后,算法对第p幅测试图像第q个位置的图像块所获得的n个余弦相似度Scos进行直方图统计。

2 实验结果与分析

2.1 各投影空间一致性分析

为了说明本文算法的正确性,分别从线性单位投影、线性一般投影、非线性单位投影、非线性一般投影方法中,各选出一种代表性方法对其投影空间一致性进行实验验证,分别为文献[5,10,13-14]方法。

本文的实验图像均从CAS数据库[20]中获取,实验参数设置如下:在CAS数据库810幅图像中,随机选取115幅图像作为测试样本,其余作为训练样本。图像放大倍数为4,低分辨率图像块大小为4×4像素,低分辨率图像块间重叠像素数为2,近邻块个数为50,高斯模糊算子方差为0.85,实验随机选取48 000个测试块进行测试。另外,下文所列各投影空间余弦相似度统计图(图3～图5)均是在10次独立随机选取的48 000个测试样本上进行实验后求均值获得的。

各投影空间的余弦相似度统计图如图3所示,其对应算法的超分辨率重建结果如表1所示。由于实验所选算法在投影空间超分辨率重建后,进行了其他后处理,为避免误解,本文将分别给出投影部分峰值信噪比(RPSN)结果与最终RPSN结果,其中各投影空间对应的余弦相似度曲线及余弦相似度均值均对应投影部分RPSN结果。另外,以上结果均为115副测试样本进行对应处理后的RPSN均值,为方便比较,各投影空间余弦相似度均值在表2中一并列出。

图3 各投影空间余弦相似度统计图

各投影空间余弦相似度统计图(图3～图5)的横坐标表示余弦相似度,横轴中心的0表示线性无关,向两侧余弦相似度绝对值越接近于1表示越线性相关;纵坐标则表示所统计出的拥有对应余弦相似度的样本对个数,其数量大小反映投影空间在不同余弦相似度值处的强弱。对于任何一个高低分辨率图像样本对来说,其余弦相似度的绝对值越接近于1,表示高低分辨率图像样本对重建权值ωH与ωL之间的相关性越强,将ωL作为ωH进行邻域嵌入给重建结果所带来的误差也会越小。因此,对于投影空间余弦相似度统计曲线来说,越向图像两侧偏移,说明该空间所拥有的高相关性高低分辨率图像样本对越多,由于这些样本拥有更小的重建误差,能获得更好的图像超分辨率重建结果。

表1 各投影方法的超分辨率重建峰值信噪比结果

在线性投影空间的一致性评估上,从表2中可以看到,文献[10]算法所选投影空间的余弦相似度均值为0.443 4,要优于文献[5]所选投影空间的余弦相似度均值0.426 6。同时,图3中相对于线性单位投影空间,线性一般投影空间的统计曲线也整体向右移动。这些都说明线性一般投影空间要比线性单位投影空间能获得更多相关性强的高低分辨率图像样本对,余弦相似度均值更大,空间一致性更强。另外,从表1中可以看到,使用线性一般投影空间的文献[10]算法投影部分峰值信噪比均值比使用线性单位投影空间的文献[5]算法投影部分峰值信噪比均值要高,这说明拥有更强空间一致性的线性一般投影空间的确能够获得更好的超分辨率重建效果。

表2 各投影空间余弦相似度均值

在非线性投影高维空间的一致性评估上,对余弦相似度统计曲线、余弦相似度均值与其对应算法的超分辨率重建结果进行分析也可以得出一致的结论。此外,关于非线性投影所采用的近似处理以及表2中理想非线性投影的具体分析将在2.3节进行。

2.2 近邻选择对投影空间的影响

不同训练样本的选择将会对投影矩阵等参数产生影响,进而获得不同的投影空间,而目前大部分算法均利用近邻关系选择训练样本。为了说明近邻选择所建立的投影空间在一致性方面的优势,本文对随机选择与近邻选择所建立投影空间进行了一致性评估,实验结果如图4所示。

图4 近邻选择对线性与非线性投影空间的影响

从图4可以看出:相比于随机选择的余弦相似度统计曲线,近邻选择的余弦相似度统计曲线均在相关系数接近于1的部分出现了向上的凸起,且非线性投影空间受其影响更为显著;各近邻投影空间的余弦相似度均值相比随机投影空间的余弦相似度均值也提升了0.03～0.04左右。也就是说,通过近邻选择,高低分辨率图像块重建权值间的相关性得到了增强,即近邻选择比随机选择能够获得更为一致的投影空间。这不仅给出了之前各文献[5-19]均采用近邻投影的原因,也从侧面说明了本文评估方法的正确性。

2.3 非线性投影中近似处理对投影空间的影响

从2.1节可以看到,非线性投影高维空间的余弦相似度统计曲线不如线性投影空间,这是由于目前非线性投影方法在重建高分辨率图像时采用折中方法所导致的。这种折中方法在保持低分辨率图像使用非线性邻域嵌入的情况下,用高分辨率图像在原图像空间进行线性重建代替投影后的高分辨率图像使用非线性邻域嵌入进行重建,再反投影回原图像空间,以避开非线性反投影难以获取的问题。也就是说,这种折中将一个高低分辨率图像共同投影到的非线性投影高维空间,近似表示成了一个低分辨率图像投影到的非线性投影高维空间与一个高分辨率图像所在的原始图像空间。图1中的非线性投影余弦相似度统计曲线即为利用该折中方法所获得的结果。为了进一步分析该近似处理所带来的影响,本文做了相关对比实验,其结果如图5所示。

图5 非线性投影近似处理对投影空间的影响

图5中的理想非线性投影是指未采用折中方法,高低分辨率图像块均在非线性投影高维空间中进行邻域嵌入所得出的余弦相似度统计曲线。从图中可以看到,理想非线性投影所获得的相关系数远高于线性投影及折中后的非线性投影,余弦相似度均值也可达0.7左右。这是由于图像之间并非简单的线性关系,而是非线性关系造成的[12-14]。由于目前没有很好的非线性反投影方法,因此非线性投影算法通常会通过增加额外约束项或者多次迭代,来弱化这种折中所带来的影响。从文献[13]算法投影部分RPSN均值(27.376 9 dB)与最终结果RPSN均值(30.337 4 dB)的差别即可看出额外约束与迭代所带来的影响。

因此,虽然自然图像之间的关系更接近于非线性,但若不能很好地解决非线性反投影难以获取的问题,将很难利用非线性投影高维空间更为一致的优势。而如何获取非线性反投影,以及寻找能更好地降低折中处理所带来影响的约束项,可以作为投影空间人脸超分辨率重建算法一个新的研究方向。

3 总 结

本文对投影空间人脸超分辨率重建算法中常用的投影空间进行了分类与研究,给出了一种投影空间的选择方法。通过此方法,本文对各类投影空间进行了实验分析,不仅说明了该方法的正确性,还利用此方法解释了近邻选择对于投影空间的影响。最后,本文还通过实验分析指出了目前存在的问题,即非线性投影虽然理论上更符合自然图像规律,但因其反投影困难而采取的折中方法会对超分辨率重建结果造成损失。因此,寻找有效降低这种损失的方法,可以作为今后投影空间人脸超分辨率重建算法研究的新方向。