基于局部约束的人脸图像超分辨率重构算法

朱华生，徐晨光

（南昌工程学院信息工程学院，江西南昌330099）

基于局部约束的人脸图像超分辨率重构算法

朱华生，徐晨光

（南昌工程学院信息工程学院，江西南昌330099）

基于超完备稀疏表示理论，并根据人脸图像的特征，提出一种基于局部约束的人脸图像超分辨率重构算法。该算法首先通过样本训练出一对高、低分辨率相关联的冗余字典；再根据局部范围内人脸图像的相关性，重构出高分辨率图像；最后对图像进行全局优化。为验证算法的有效性，本文利用ORL标准图像库进行了对比实验，实验结果表明，该算法能够有效提高峰值信噪比，同时能够更好地恢复人脸图像的高频信息，有一定的实用价值。

超分辨率重构；稀疏表示；局部约束；人脸图像；K－SVD

1 引 言

随着视频监控系统和数码摄像产品的普及，人脸图像在安全防范、刑事侦察和法庭取证等领域发挥了越来越重要的作用。在实际应用中人们总希望获得高分辨率（High Resolution，HR）人脸图像，因为人脸图像的分辨率越高，可以提供的图像细节越多，对实际应用的价值就越高。但在现实生活中往往获得的是低分辨率（Low Resolution，LR）人脸图像，例如：在视频监控系统中获得的图像，尤其是拍摄距离较远的人物时。因此，如何将低分辨率图像通过图像超分辨率（Super Resolution，SR）重构技术［1－3］构建出高分辨率图像是一个有价值的研究内容。

图像超分辨率重构算法主要分为3种类型，即：基于插值、基于重建和基于学习的重构方法［4－5］。基于插值方法的主要思路是：先对各帧图像之间的相对运动信息进行估计，以获得HR图像在非均匀间距采样点上的像素值，下一步通过非均匀插值得到HR栅格上的像素值，最后通过图像恢复去除模糊以及降低噪声。基于重建方法的主要思路是：假设超分辨率图像在适当的变形、平移和子采样及噪声干扰下，利用多帧低分辨率图像作为数据一致性约束，并结合图像的先验知识进行求解。基于学习的方法是利用给定的训练图像集来计算测试样本patch与训练图集patch之间的邻域关系，然后构造最优权值约束来获得先验知识，最后逼近测试样本的高分率图像。

基于学习的方法是近期的研究热点。基于学习的典型算法包括：Freeman［6］等人提出的Examplebased方法；Chang［7］等人提出的领域嵌入方法（neighbor embedding）；Yang［8］等人提出的基于超完备稀疏（spars representation）表示理论的图像超分辨率重建算法。基于学习的算法能够弥补重建算法的很多不足，具有广泛的应用前景。其中，基于超完备字典的信号稀疏表示［9－10］又是信号稀疏表示的研究热点。

人脸图像是一类特定领域的图像。在人脸图像超分辨率重建方面，Baker［11］等人第一次提出“虚幻脸（face hallucination）”算法，引入图像的梯度先验信息，即图像的拉普拉斯金字塔、高斯金字塔的一阶和二阶梯度作为特征空间进行训练。Liu［12］等人提出全局信息和局部信息相结合的算法；Wang［13］等人提出了特征变换的重构算法；张雪松［14］等人提出了特征子空间规整化的算法；兰诚栋［15］等人提出了鲁棒性人脸超分辨率算法；李涛［16］等人提出了基于学习的人脸图像超分辨率重构算法等等。

尽管目前已有大量文献提出了人脸图像超分辩率重建算法，但很少考虑图像局部间的相关性，从而导致重构图像在某些轮廓部分产生不规则边缘，使得图像清晰度下降。本文提出一种基于局部约束的人脸图像超分辨率重构算法，该算法利用周边图像小块的权值相加来优化中心小块图像，优化后的图像能够很好地恢复人脸图像的高频细节信息。

2 人脸超分辨率重构算法设计

人脸图像超分辩率重构算法的主要任务是：利用观察到的低分辨率图像，重构出一个与之对应的理想的高分辨率图像。低分辨率图像与高分辨率图像之间的关系可以表示为：

其中，Y表示观察到的低分辨图像；X表示理想的高分辨率图像；M表示退化模型。

已知Y，求解X，这是一个欠定问题，X具有无数种可能取值，所以不能直接求解。本文使用冗余字典的方法对公式（1）进行求解。本算法主要包括3部分，即：冗余字典构建、局部约束的人脸图像重构和图像的全局优化等。

2.1 冗余字典构建

冗余字典的构建是人脸图像超分辨率重构算法的关键技术之一。冗余字典的构建方式主要有三种：一是采用已有的变换矩阵，如：非抽样小波、可控小波、Curvelet变换等。二是采用参数可调的方式，如小波包、Bandelet变换等。三是采用样本训练的方法。因为样本训练的方法适应性强、效果佳，所以本文采用样本训练的方法。

样本训练的方法是：通过对样本的学习建立低分辨率图像和高分辨图像之间的关系，最终生成一对冗余字典Dh和Dl。Dh是高分辨率图像冗余字典，Dl是低分辨率特征图像冗余字典。冗余字典构造包括样本采集和字典学习两部分。

样本具体采集方法参见文献［8］。训练样本集Y＝｛y1，y2，…，yN｝，N表示样本的个数。每个样本yi都是由高分辨率图像块hi和低分辩率图像特征块li联合生成，如图1所示。

图1 训练样本

hi用于生成Dh，li用于生成Dl。hi直接由高分辨率图像块组成；li是由低分辨率图像放大后的一阶和二阶梯度信息组成。用于提取图像一阶和二阶梯度信号的滤波器如下：

常用的字典学习方法有：最大似然法、最优方向法、最大后验概率法和K－SVD法［17］等。因为KSVD法能够提高稀疏字冗余典编码的计算速度，加快稀疏冗余字典的建立，所以本文选用该方法。

令D∈Rn×K，y∈Rn，α∈RK分别代表字典、训练样本以及训练样本的稀疏表示系数向量，Y＝{y}为训练样本的集合，A＝{α为Y的解向ii量集合。n是训练样本图像块的长度，N是训练样本集的总个数，K是字典D的原子个数，N＞＞K，并且K＞n。则K-SVD训练算法的目标方程可表示为：

其中，T是稀疏度，表示系数中非零分量的数目的上限。

对公式（3）可以采用迭代方法进行求解。首先，假设字典D是固定的，采用OMP算法估计出样本集Y的稀疏表示系数矩阵A；然后根据系数矩阵A，更新字典中的原子，从而找到更好的字典D。

假设矩阵A是固定的，则更新字典D的过程如下：

令di为字典D的第i列，αiT为系数A的第i行，假设要更新D的第k个原子。可以将公式（3）变形为：

公式中的DA被分解成K个秩1的矩阵的和。假设其中的（K－1）项是固定的，所以只要处理一项，即第k项。矩阵Ek代表的是去掉原子dk的成分在所有样本中造成的误差。令ωi记录｛yi｝中使用原子di的那些图像小块，即：

定义矩阵Ωk大小为N×｜ωi｜，其在（ωk（i），i）处为1，其他地方全为0，并令＝Ωk，＝EkΩk。对公式（4）乘以Ωk得到：

对ERk进行SVD分解，得到ERk＝UΔVT，利用矩阵U的第一列去更新原子dk。如此循环不断地对所有原子都进行更新，最终求得学习后的字典D。在图像超分辨率重构时，再将字典D拆分为Dh和Dl一对字典。

2.2 局部约束的人脸图像重构

局部约束的人脸重构由人脸图像重构和局部约束优化两部分组成。

人脸图像重构方法是：首先将输入的低分辨率图像使用插值算法放大，然后再利用公式（2）对图像进行滤波，得到特征图像Y。再将Y分割成N个图像块，Y＝｛y1，y2，…，yn｝，对每个图像块y单独进行稀疏分解，求得图像块y在低分辨率字典Dl的分解系数α。求解稀疏分解系统的公式如下：

目前，求解公式（7）中的稀疏分解系数α的算法主要有：匹配追踪算法（MP）、正交匹配追踪算法（OMP）、基追踪算法（BP）等。其中OMP算法是对MP算法的一种改进算法，在精度要求相同的情况下，OMP算法的收敛速度更快。所以本文采用OMP算法求解公式（7）中的稀疏分解系数α。得到y的稀疏系数α后，再利用高分辨率字典Dh，计算出对应的高分辨率图像块x，计算公式如下：

将所有的低分辨率图像块y，都重构出对应的高分辨率图像块x，再将这些高分辨率图像块x组合成一幅完整的高分辨率图像X。

以上每个图像小块都是单独进行超分辨率重构，并没有考虑人脸图像局部范围内整体结构，所以会导致重构图像在某些轮廓部分会产生一些不规则的边缘。为了解决这个问题，需要对重构出来的高分辨率图像X进行局部约束优化处理。

局部约束优化的基本原理是：将人脸图像分割成若干图像小块，则每一个图像小块，都可以通过其局部范围内的周边图像小块的权值相加来获得。如图2所示。人脸图像X可以看成由若干个图像小块xi组成，每一个图像小块xi都可以通过周边的图像小块xj的权值相加得到。

图2 局部约束优化原理图

局部约束优化的计算公式如下：

xi为待优化的图像小块，xj是以xi为中心，局部范围内的图像小块，w（i，j）是权值，它的大小由xi和xj之间的相似度决定，权值w（i，j）的计算公式如下：

其中，参数h为控制权值随着欧式距离增加的下降速度。

2.3 人脸图像的全局优化

为了提高图像的整体效果，还需要对图像进行全局优化，优化公式如下：

其中，X0为原始高分辨率图像；X为求得的高分辨率图像；Y为观察到的低分辨率图像；M为降质矩阵；X*为最终的目标图像。

可以利用迭代返向投影法（iterative back projection，IBP）求解以上优化问题。求解见公式（13）：

其中，Xn＋1、Xn分别是第（n＋1）次和第n次迭代求得的高分辨率图像；MBP是为返投影矩阵。

3 实验结果与分析

为了验证本文算法的有效性，作者对低分辨率人脸图像进行放大3倍的实验。实验时的具体参数如下：

在冗余字典构建中。样本采集时，采集高分辨率图像块的大小为9×9像素，所以样本中hi的长度为81。低分辨率图像是由高分辨率图像进行1／3下采样获得，然后再将低分辨率图像使用插值算法放大2倍，最后使用公式（2）提取特征图像。采集特征图像块的大小为6×6像素，所以样本中li的长度为144。样本的采集数量为50000个。冗余字典的原子个数为1024个。

在局部约束重构模型中。图像块的大小为3× 3像素，局部搜索区域的大小为7×7图像，h的取值为30。

在全局优化中，迭代次数为10。

测试图像选用ORL标准图像库进行实验。并将结果与插值算法和文献［8］算法进行了比较。

首先，采用被广泛使用的峰值信噪比（PSNR）将实验结果进行量化描述，3种算法的结果如表1所示。由表1可以看到，本文的所有重构图像的PNSR值都高于其他方法。

其次，比较重构图像的视觉效果。几种算法重构出来的人脸图像，如图3所示。图3中（a）、（b）、（c）、（d）、（e）分别为输入的低分辨率图像、采用插值算法重构的高分辨率图像、采用文献［8］算法重构的高分辨率图像、采用本文算法重构的高分辨率图像和原始高分辨率图像。

表1 各种算法PSNR值比较

图3 几种算法重构出的人脸图像

对比发现，本文算法重构出来的人脸图像的视觉效果要比其他两种算法好一些。

4 结束语

超完备稀疏表示理论在图像压缩、去噪和超分辨率重构等领域受到广泛关注，并成为当前的研究热点。本文在此基础上，结合人脸图像的特征，提出一种基于局部约束的人脸图像超分辩率重构算法。本算法能够有效提高峰值性噪比，能更好地恢复人脸图像的高频信息。但是，本算法仍然存在一些需要改进之处，例如：本文训练出来的字典只是一些原子的集合，没有考虑原子之间的结构。如果能够引入原子之间的相关性的先验信息，这可以提高稀疏分解算法的精度。所以今后还需要对这一问题进行更深入的研究。

［1］ Kang M，Chaudhuri S.Super-resolution image reconstruction［J］.IEEE Signal Processing Magazine，2003，20（3）：19－20.

［2］ SFarsiu，D Robinson，M Elad，et al.Advanced and challenges in super-resolution［J］.International Journal of Image System and Technology，2004，14（2）：47－57.

［3］ Tsai R Y，Huang T S.Multiframe image restoration and registration［J］.Advances in Computer Vision and Image Processing，1984，（1）：317－339.

［4］ Pu Jian，Zhang Junping，Huang Hua.A survey of super resolution algorithms［J］.Journal of Shandong University：Engineering Science，2009，39（1）：1－7.（in Chinese）浦剑，张军平，黄华.超分辨率算法研究综述［J］.山东大学学报：工学版，2009，39（1）：1－7.

［5］ Wan Xuefen，Yang Yi，Cui Jian.Research on Super-resolution Image Reconstruction［J］.Laser＆Infrared，2011，41（11）：1278－1281.（in Chinese）万雪芬，杨义，崔剑.图像超分辨率重建处理算法研究［J］.激光与红外，2011，41（11）：1278－1281.

［6］ Freeman W T，Jones TR，Pasztor E C.Example based super resolution［J］.IEEE Computer Graphics and Application，2002，22（2）：56－65.

［7］ Chang G，Yeung D Y，Xiong Y.Super-resolution through

neighbor embedding［C］／／Proceeding of IEEE Conf CVPR.Washington，DC：IEEE Press，2004：275－282.［8］ Yang JC，Wright J，et al.Image super-resolution as spars representation of raw image patches［J］.Proc.of International Conference on Computer Vision and Pattern Recognition（CVPR），2008，2：729－736.

［9］ Li Min，Cheng Jian，Le Xiang，et al.Super-resolution based on sparse dictionary coding［J］.Journal of Software，2012，23（5）：1315－1324.（in Chinese）李民，程建，乐翔，等.稀疏字典编码的超分辨率重建［J］.软件学报，2012，23（5）：1315－1324.

［10］Rubinstein R，Zibulevsky M，Elad M.Double sparsity：Learning spare dictionaries for sparse signalapproximation［J］.IEEE Trans.on Signal Processing，2010，58（3）：1553－1564.

［11］Baker S，Kanada T.Hallucinating face［C］／／Proceedings of the 4th International Conference on Automatic Face and Gesture Recognition，Washington D C，2000：83－89.

［12］Liu C，Shum H，Zhang C.A two-step approach to hallucinating face：Global parametric model and local nonparametric model［C］／／Proceedings of IEEE Int Conf on Computer Vision and Pattern Recognition（CVPR）.Hawaii，USA：［s.n.］，2001：192－198.

［13］Wang X G，Tang X O.Hallucinating face by eigentransformation［J］.IEEE Transactions on Systems，Man，and Cybernetics，Part-C，2005，35（3）：425－433.

［14］Zhang Xuesong，Jiang Jing，Peng Silong.Eigen-subspace regularized face image super-resolution reconstruction［J］.Journal of Computer-Aided Design＆Computer Graphics，2010，22（3）：487－493.（in Chinese）张雪松，江静，彭思龙.特征子空间规整化的人脸图像超分辨率重建［J］.计算机辅助设计与图形学学报，2010，22（3）：487－493.

［15］Lan Chengdong，Hu Ruimin，Lu Tao，et al.Robust superresolution algorithm for low-quality surveillance face images［J］.Journal of Computer-Aided Design＆Computer Graphics，2011，23（9）：1474－1480.（in Chinese）兰诚栋，胡瑞敏，卢涛，等.低质量监控图像鲁棒性人脸超分辨率算法［J］.计算机辅助设计与图形学学报，2011，23（9）：1474－1480.

［16］Li Tao，Wang Xiaohua，Zhang Chao，et al.Face image super-resolution reconstruction based on learning［J］.Transactions of Beijing Institute of Technology，2012，32（4）：386－389.（in Chinese）李涛，王晓华，张超，等.基于学习的人脸图像超分辨率重构算法［J］.北京理工大学学报，2012，32（4）：386－389.

［17］Rubinstein R，Zibulevsky M，Elad M.Double sparsity：learning spare dictionaries for spare signal approximation［J］.IEEE Trans.On Signal Processing，2010，58（3）：1553－1564.

Face image super-resolution reconstruction based on local constraint

ZHU Hua-sheng，XU Chen-guang
（School of Information Engineering，Nanchang Institute of Technology，Nanchang 330099，China）

Based on the overcomplete sparse representation theory，a face image super-resolution reconstructionmethod based on local constraint is proposed.First，a pair of associated redundant dictionary，including high-resolution（HR）and low-resolution（LR），are calculated through sample training.Based on the correlation in local scope of face image，the high-resolution image is reconstructed.Then，the image is optimized globally.To verify the validity of the algorithm，the contrast experiment ismade by using ORL standard image，the results show that the algorithm can work well in the actual conditions，and can recover the high-resolution information perfectly.

super-resolution reconstruction；sparse representation；local constraint；face image；K-SVD

TP391

A

10.3969／j.issn.1001-5078.2014.02.0

1001-5078（2014）02-0217-05

江西省教育厅科研项目（No.GJJ13762）资助。

朱华生（1965－），男，教授，主要研究工作是图像处理。E-mail：zhuhuasheng＠sohu.com

2013-07-04