基于离线双字典学习算法的图像超分辨率重建研究

周 琳，杨 娜



基于离线双字典学习算法的图像超分辨率重建研究

周 琳，杨 娜

（河南牧业经济学院，河南 郑州 450045）

为了提高图像超分辨率重建的质量，采用离线双字典学习算法。首先图像块建立字典稀疏模型，确定字典中原子数量；然后使用基于离线字典学习对图像稀疏编码，同时把稀疏编码统一到一个框架中进行优化编码；接着对字典进行分解多个子字典，将图像块中像素点的列向量在子字典展开；最后双字典与超分辨率重构中不同分辨率的异构数据进行同构化，确定控制残差条件，给出了算法实现过程。实验仿真显示本文算法重建效果清楚，峰值信噪比最大，BIQI最小。

离线双字典；超分辨率重建；稀疏；控制残差

0 引言

图像在成像过程中受到噪声的污染，其成像为低分辨率的图像，但是现实需要高清的图像，因此需要将一幅或者多幅低分辨率图像合成出高分辨率图像，提供图像细节信息，在视频监控、成像技术、遥感图像等领域有着广泛的应用前景[1-3]。

基于字典学习的图像超分辨率重建算法有：Jianchao Yang的基于L1范数优化的联合字典学习算法（Combine Dictionary Learning，CDL），通过联合正交基来构成字典[4]，但是算法对大系数的稀疏信号重建还不够准确；基于耦合学习超完备字典方法（Couple Overcomplete Dictionary Learning，CODL），通过超完备字典中的冗余基取代传统字典中的正交基[5]，但建立字典对的过程繁琐，字典样本的选取对重构有一定影响；Roman Zeyde的基于低分辨率字典学习的高分辨率字典数值计算方法（High Resolution Numerical Base on Low Resolution Dictionary Learning，HRBLRDL），字典原子能够包含图像的降质信息[6]，但是对强模糊退化图像的超分辨率能力有限；基于粒子字典学习算法（Particle Dictionary Learning，PDL），考虑到图像之间的相似性[7]，但是算法效率较低，没有有效地利用字典的内在联系；基于邻域字典嵌入算法（Neighborhood Embedding Dictionary Learning，NEDL），用近邻系数联合图像块线性组合为超分辨图像[8]，但是存在欠拟合或过拟合缺陷。

本文采用基于离线双字典学习算法（Offline Double Dictionary Learning，ODDL）对图像超分辨率进行重建，在图像块中建立字典稀疏模型，确定稀疏精确重构高分辨率图像的条件即字典中原子的数量；通过离线字典学习中的原子线性组合表示任意一幅与训练样本具有类似结构特征的图像，将图像块中像素点的列向量在子字典展开；双字典与超分辨率重构中不同分辨率的异构数据进行同构化，确定重建的残差补偿过程。实验仿真显示本文算法重建效果清楚，峰值信噪比大，BIQI最小。

1 改进字典学习算法思路

1.1 基于稀疏模型的局部块建立字典模型

选取的字典原子应与信号的本质特征一致，这样信号才能通过字典中尽可能少量的原子来表示，使表示结果更稀疏[9-10]，取原图中大小为×像素的图像块，将块中的像素点按照从上到下，从左到右的顺序排成一个列向量∈R×，字典基元组用稀疏表达模型来表示图像块：min||||0，满足：

式中：||||0为范数，表示中非零系数的个数；＝[1,2, …,d]∈R×为过完备字典，d为的原子，||×||0为非零元素个数；为稀疏表示的误差控制阈值。这样每个图像块都可以表示成字典基元组的一个线性组合[11]。

通过参数平衡稀疏性和稀疏表示误差：

稀疏精确重构高分辨率图像的条件只要字典中原子的数量满足：

1.2 基于离线字典学习的图像稀疏编码

假设训练样本包含的图像区域为：

式中：y和y¢为图像中和¢的向量表示，学习过程通过训练过完备字典来稀疏表示[12]，其目标函数为：

式中：¢为¢训练的字典，为训练的字典。

训练字典完成后，为了使训练图像区域与原始图像区域具有相同的稀疏表示，需要将它们统一到一个稀疏编码框架中进行优化编码[13]，优化模型如下：

式中：为依据所得的稀疏编码。

在离线训练字典时，通过字典中的原子线性组合表示任意一幅与训练样本具有类似结构特征的图像，从训练图像集中选取一定量的特征作为已知量[14]，通过训练样本进行均值聚类划分获得字典，从循环开始利用和，使用feature sign search算法得到每个训练样本的稀疏编码，利用Lagrange dual算法来优化字典：

1.3 子字典学习过程

式中：g、g为子字典、第个和第个原子，越小子字典原子间相干性越弱[15]。

将图像块中像素点的列向量在子字典展开：

式中：为尺度稀疏系数，∈(0, 1)。

2 基于双字典学习的超分辨率重构

图像超分辨率重建犹如传统的病态反问题，其解不唯一，字典学习是对重建结果进行约束以得到最优化的结果。在图像超分辨重建中，需要双字典，一个是对低分辨率重建的低分辨率字典，另一个是对超分辨率重建的超分辨率字典，低分辨率和超分辨率属于异构数据[16-17]，在实际中需要把异构数据进行同构化，其过程为：

式中：¢是低分辨率图像区域的字典；¢是超分辨率图像区域的字典；0和分别是正则化参数；是满足低分辨率、超分辨率字典的稀疏表示。把低分辨率重建的字典使用在超分辨率重建的字典过程为：

当稀疏字典¢和¢训练之后，重建图像H¢通过特征算子2提取其特征集合p¢，与降维矩阵相乘得p¢。在¢中得最佳匹配因子：

∈(0, 0.05)为控制残差。残差补偿过程为：对重建高辨率图像H¢随机采样，获得相应的低辨率图像H*，计算H－H*，对其值进行插值获取残差；最后将残差叠加到重建图像H¢中，最终获得超分辨重建图像H²。

计算H的特征p¢：

p¢＝¢(13)

则H最佳估计H¢为：

H¢＝H²＋p¢(14)

算法流程：

快干型高光聚氨酯面漆Hardtop E88及快干型聚氨酯半光面漆Hardtop E88 SG有着优异的保光、保色性能，可形成光泽度高、鲜映性强、外观丰满的镜面效果，同样绿色环保又出色的施工性能在顺应社会发展趋势的同时也意味着更大的经济效益。

1）输入图像，通过图像局部块建立字典模型；

2）离线字典对图像稀疏编码；

3）划分多个子字典进行学习，图像块中像素点在子字典展开；

4）双字典对超分辨率重建，满足重建控制残差，进行步骤5），否则进行步骤2）；

5）输出图像。

3 实验仿真

3.1 重建视觉对比

选择Lena、Cameraman作为训练集，每幅图像采用2000个图像块来训练，稀疏字典大小分别选择256，子字典个数为32个，进行放大4倍的超分辨率仿真，低分辨图像取4×4图像块，并保留与周围图像块1个像素的重叠，对应的超分辨率图像取9×9图像块，保留3个像素的重叠，如图1所示。然后本文算法ODDL与CDL、CODL、HRBLRDL、PDL、NEDL分别进行比较，其结果如图2和图3所示，在具体实施过程中，参数＝0.01，＝1，从低分辨率图像的2倍放大图像中提取特征数据，即8×8图像块。

在图2和图3的重建效果中，本文算法处理的结果在纹理上要比其他算法更清晰，可清楚看到本文算法图2的(a)中Lena头发边缘的自然曲线和图3的(a)中重建效果Cameraman的手指动作，其他算法结果过于平滑，Lena的眼部周围出现格子效应，Cameraman的鼻子轮廓有锯齿现象，消除放大图像的边缘伪迹，实现了主客观良好的图像超分辨率重构。这是因为本文算法对每幅低分辨率图像特征块对应采用子字典中的稀疏编码判定误差，选择最小误差子字典的特征部分重建图像块，将重建图像中广泛存在的像素点保留下来，奇异值点剔除掉，保留了高频细节信息，使得重建效果最佳，其它的方法重建效果存在振铃和阴影缺陷。

3.2 完全参考图像质量评价

重建图像质量峰值信噪比（Peak Signalto Noise Ratio，PSNR）评价参数：

式中：PSNR单位为dB，值越大，说明重建质量越好。

图2 Lena重建效果

3.2.2 相似度指标

相似度指标（Structural Similarity Index Measure- ment，SSIM）衡量2幅图像相似程度，其值越大越好，最大为1：

式中：和为均值；和为方差；为和之间的协方差。

3.2.3 通用质量评价指数

通用质量评价指数（Universal Image Quality Index，UIQI）：

3.2.4 偏差指数

偏差指数（Difference Index，DI）用来比较重建图像和标准图像偏离的程度，定义重建图像的偏差指数的表达式为：

式中：、为图像宽和高；x、y分别为标准图像和重建图像上对应(,)点的灰度值。偏差指数的大小反映了重建图像对标准图像的保持程度，偏差指数越大，重建效果越差。

3.2.5 边缘信息保持指数

边缘信息保持指数（Edge Preserve Index，EPI），考察图像经过重建后边缘不模糊，边缘点不位移，计算公式如下：

若EPI值接近1，说明重建图像与标准图像越接近，效果最好。

表1给出了图2和图3中不同算法的PSNR、SSIM、UIQI、DI、EPI值。

从表1的结果中可以看出，对不同的图像本文算法的PSNR、SSIM、UIQI、DI、EPI值较优，使重建图像质量较好，这时因为多个子字典的P越小子字典原子间的相干性越弱，在图像超分辨重建中，对不同的分辨率图像采用不同的字典，防止数据异构化，同时本文算法在高、低分辨率图像块的字典上具有相同的表示系数，在重建中利用控制残差对重建约束。

3.3 无参考质量评价

无参考质量评价（Blind Image Quality Index，BIQI）作为图像质量的评测算法，不需要标准的优质图像作为参考，返回评测的指标值介于0～100之间，0为质量最优，100为质量最差：

式中：p为图像在JPEG、JPEG2000、白噪声、高斯模糊、快衰落5类中的分布概率；q为在相应5类中的失真程度，q越小失真越小。评价不同算法在较大分辨率提升倍率下的重构效果，低分辨率图像与不同倍率分辨率提升后重构图像的BIQI指标取平均值，图4给出了平均BIQI指标与分辨率提升倍率之间的关系。

从图4可以看出本文算法在分辨率提升倍率增加情况下平均BIQI指标变化率增加较少，保证了图像的重建质量，其他算法在分辨率提升倍率较大时重构图像的质量下降十分明显。

表1 不同算法的PSNR、SSIM、UIQI、DI、EPI值

图4 平均BIQI指标与分辨率提升倍率之间的关系

4 总结

本文提出基于离线双字典学习算法对图像超分辨率进行重建，字典稀疏模型确定字典中原子数量，把稀疏编码统一到一个框架中进行优化编码，将图像块中像素点的列向量在子字典展开，确定重建控制残差条件，实验仿真显示本文算法重建效果清楚，峰值信噪比大，BIQI最小，为图像超分辨率重建提供了一种新的参考方法。

[1] Qiegen Liu, Shanshan Wang, Jianhua Luo. A novel predual dictionary learning algorithm[J]., 2012, 23(1): 182-193.

[2] Q. Barthélemy, A. Larue, J. I. Mars. Decomposition and dictionary learning for 3D trajectories[J]., 2014, 98(5): 423-437.

[3] 江静, 张雪松. 图像超分辨率重建算法综述[J]. 红外技术, 2012, 34(1): 24-30.

Jiang Jing, Zhang Xue-song. A Review of Super-resolution Reconstruction Algorithms[J]., 2012, 34(1): 24-30.

[4] Jianchao Yang, Zhaowen Wang, Zhe Lin, et al. Coupled dictionary training for image super-resolution[J]., 2012, 21(8): 3467-3478.

[5] Mingli Song, Chun Chen, Jiajun Bu, et al. Image-based facial sketch-to-photo synthesis via online coupled dictionary learning[J]., 2012, 193(15): 233-246.

[6] Roman Zeyde, Michael Elad, Matan Protter. On Single Image Scale-Up Using Sparse-Representations[C]//7th, 2010: 711-730.

[7] S. F. Cotter, K. Kreutz-Delgado, B. D. Rao. Backward sequential elimination for sparse vector subset selection[J]., 2001, 81(9): 1849-1864.

[8] Qidan Zhu, Lei Sun, Chengtao Cai. Non-local neighbor embedding for image super-resolution through FoE features[J]., 2014, 141(10): 211-222.

[9] 余雷, 满家巨, 刘利刚. 基于联合字典学习的图像去噪[J]. 湖南师范大学自然科学学报, 2013, 36(6): 11-16.

Yu Lei, Man Jiaju, Liu Ligang. Image Denoising via Joint-Dictionary Learning[J]., 2013, 36(6): 11-16.

[10] Liu Liu, Zhen weiShi. Airplane detection based on rotation invariant and sparse coding in remote sensing images[J]., 2014, 125(9): 5327-5333.

[11] 梁锐华, 成礼智. 基于小波域字典学习方法的图像双重稀疏表示[J]. 国防科技大学学报, 2012, 34(4): 126-131.

Liang Ruihua, Cheng Lizhi. Double sparse image representation via learning dictionaries in wavelet domain[J]., 2012, 34(4): 126-131.

[12] 李民, 程建, 汤万琼. 基于学习字典的图像类推方法[J]. 计算机应用研究, 2011, 28(8): 3171-3173.

Li Min, Cheng Jian, Tang Wanqiong. Image analogies method based on learned dictionary[J]., 2011, 28(8): 3171-3173.

[13] 段菲, 章毓晋. 一种面向稀疏表示的最大间隔字典学习算法[J]. 清华大学学报: 自然科学版, 2012, 52(4): 566-570.

Duan Fei, Zhang Yujin. Max-margin learning algorithm for sparse representation[J]., 2012, 52(4): 566-570.

[14] 罗燕龙. 基于局部稀疏表示模型的在线字典学习跟踪算法研究[D]. 福建: 厦门大学, 2014: 45-60.

Luo YanLong. Representation of learning tracking model based on local sparse Online Dictionary[D]. FuJian: Xiamen University, 2014: 45-60.

[15] 马路, 邓承志, 汪胜前, 等. 特征保留的稀疏表示图像去噪[J]. 计算机应用, 2013, 33(5): 1416-1419.

Ma Lu, Deng Chengzhi, Wang Shengqia, et al. Feature-retained image de-noising via sparse representation[J]., 2013, 33(5): 1416-1419.

[16] Ender M. Eksioglu. Online dictionary learning algorithm with periodic updates and its application to image denoising[J]., 2014, 41(8): 3682-3690.

[17] 彭真明, 景亮, 何艳敏, 等. 基于多尺度稀疏字典的多聚焦图像超分辨融合[J]. 光学精密工程, 2014, 22(1): 169-175.

Peng Zhenming, Jing Liang, He Yan min, et al. Superresolution fusion of multi-focus image based on multiscale sparse dictionary[J]., 2014, 22(1): 169-176.

Image Super Resolution Reconstruction Based on Offline Double Dictionary Learning Algorithm

ZHOU Lin，YANG Na

(450045,)

In order to improve the quality of image super-resolution reconstruction, offline double dictionary learning algorithm is established. First, dictionary sparse representation model was built by image block, and the number of atoms in dictionary is determined. Second, sparse code of image is used based on offline dictionary learning and put into frame to optimize code. Third, double dictionary is decomposed into some sub dictionaries, and column vector of pixel of image block is spread in sub dictionary. Last, heterogeneous data with different resolution in the final dictionary learning and super resolution reconstruction is getting isomorphic, control residual is determined, and process is given. Simulation shows that ODDL algorithm reconstruction result is clear, PSNR is better, and BIQI is lower.

offline double dictionary，super resolution reconstruction，sparse，control residual

A

1001-8891(2015)04-0277-06

2014-12-09；

2015-02-04.

周琳（1977-），女，河南西华人，硕士，实验师，主要研究方向：计算机教育技术研究。

河南省教育厅“十五”教育科学规划课题，编号：2005-JKGHAZ-086；河南省社科联课题，编号：SKL-2011-1927。