基于马尔科夫网络的文本图像超分辨率重建

李瑞明，张 烨

(太原工业学院，山西 太原 030008)

基于马尔科夫网络的文本图像超分辨率重建

李瑞明，张 烨

(太原工业学院，山西 太原 030008)

随着多媒体技术的日益发展，人们对图像质量有着越来越高的要求，受硬件的限制，所获取图像的分辨率常常无法满足需要，超分辨率技术能够克服硬件设备的固有限制，提高图像的分辨率，因此应用广泛。本文基于马尔科夫网络对文本图像进行超分辨率重建，首先对马尔科夫网络进行阐述，然后构建了基于马尔科夫网络的网络文本图像的超分辨率结构，最后对算法进行仿真。结果表明，本文所提算法具有很好的效果。

文本图像；马尔科夫网络；超分辨率

图像分辨率的大小是衡量图像质量最主要的指标之一，由于受到捕获设备分辨率的影响，成像设备不能获取实际场景的全部信息。高分辨率的成像设备的价格在应用中难以接受，而超分辨率重建技术无需硬件参与，实现成本低逐步成为研究的热门课题。在现实中，存在许多文本图像的场合，因此高分辨率文本图像存在着广阔的应用领域，例如文本自动识别，文本图像恢复，视频压缩和传输等。

许多研究者都针对文本图像进行了讨论,最早见于Capel[1]等人采用基于空域方法，通过对多幅文本图像进行处理来产生高分辨率文本图像。Baker[2]等人采用基于学习的方法对文本图像进行了研究。Pickup[3]等人通过使用图像的纹理知识作为先验条件，通过纹理块之间的匹配来重建出高分辨率文本图像。Donaldson[4]等人使用了文本图像双模态先验模型，并通过对阶跃的边缘进行局部平滑。Park[5]等人使用边缘图，通过使用文本图像的样本来学习文本图像的局部信息，从而重建出高分辨率文本图像。

1 马尔科夫网络模型

基于学习的超分辨率算法是从贝叶斯公式中找到最大后验概率或者最小均方差。贝叶斯公式包含对先验概率的估计项，在不确定性问题中得到广泛的运用。假设在最大后验概率下求解高分辨率图像，因此贝叶斯公式为：

(1)

其中：P(x)是先验知识，表示从训练样本中得到的图像特征，P(y|x)表示从超分辨率的估计图像中得到低分辨率图像的概率，P(x|y)表示为获得高分辨率图像的后验概率，P(x，y)为联合概率。

马尔科夫网络模型是一种关于图像的结点之间的空间依赖性统计描述。因为图像具有局部性，即图像中各个像素点的值仅与相邻像素点的值相关，因此可以使用马尔科夫网络为超分辨率重建问题建模。同时马尔科夫网络的条件独立性使得可以采用条件概率来表示，这样就提供了一个贝叶斯框架，允许对图像进行最大后验概率估计。

马尔科夫网络模型的构建通常是将训练集中的低分辨率图像和高分辨率图像分成若干个图像块，将马其中的每一个结点对应一个图像块，并将这些图像块用线连接，其中低分辨率图像与其对应的高分辨率图像连接起来，而高分辨率图像则与它相邻的高分辨率图像连接起来，如图1所示，图中圆圈代表结点，连线代表图像之间的统计关系。上层结点代表低分辨率图像块，也称为观察结点，下层结点代表与低分辨率相对应高分辨率图像块，也成为隐含结点。观察结点和隐含结点的之间的关系通过函数φ(xi,yi)来表示，通常称这个函数为观察函数。隐含结点之间的关系通过函数Ψ(xi,xj)来表示，通常称这个函数为相容函数，相容函数越大，代表两个高分辨率图像块之间的相邻的概率越大。

图1 马尔科夫模型

这样就构造了马尔科夫网络，马尔科夫网络的定义为：

(2)

其中V为马尔科夫网络中的结点，neighboring(V)为马尔科夫网络中某一节点的领域。

则马尔科夫网络的联合概率可以表示为：

P(x1,x2,…，xN,y1,y2，…，yN)=

(3)

(4)

其中：σ为候选样本的标准差，d(xi,yi)为平方距离下的误差。

Ψ(xi,xj)表示两个高分辨率图像块之间的兼容关系，可以通过计算 样本中高分辨率图像块之间重叠区域的指数函数得到：

(5)

其中：σ为噪声参数。

2 基于马尔科夫网络模型的网络文本图像的超分辨率算法框架

通过对上面知识的认识，基于马尔科夫网络模型的网络文本图像的超分辨率算法框架如图2所示。

图2 网络文本图像的超分辨率算法框架

算法的框架具体解释如下：

1) 构造训练集：将高分辨率图像进行降质，产生低分辨率图像，将高分辨率图像和低分辨率图像按块进行分块产生一一对应的图像训练集。

2) 预处理：把输入的低分辨率图像进行分块之前的所有操作归类于预处理，其中包括灰度变换，亮度调节。

3) 样本获取：使用一个滑动窗口在低分辨率网络文本图像进行遍历。滑动窗口与图像重叠处提取出来作为一个样本。

4) 搜索匹配：在样本库中使用欧式距离获得与样本块最近邻的K个匹配块作为输入的低分辨率图像块的候选结点集合。

5)MRF合成：将得到的K最近邻匹配块的低分辨率图像块和高分辨率图像块构造马尔科夫网络，并通过信念传播算法得到最优匹配块，最后根据这些最优匹配块重建出高分辨率图像。

3 仿真结果及分析

根据网络文本图像的超分辨率算法框架的介绍，首先需要构造训练样本集。然后利用马尔科夫网络模型重建出高分辨率网络文本图像。

3.1 训练样本构造

训练集中的图像通常需要有较高的分辨率，以便可以学习到更多的细节信息，同时要求训练集中的图像必须与输入的图像包含相似的内容。由于文本图像的特殊性和文本内容的固定性，因此我们只需要使用文字最基本的部件来构造训练集，这样可以大大减少训练集的数量及算法的复杂度，为算法以后的搜索匹配节省大量的时间。对每一张高分辨率文本图像进行添加噪声和下采样得到与高分辨率文本图像相对应的低分辨率图像。然后利用滑动窗口遍历高分辨率文本图像和低分辨率文本图像，这样就得到了一一对应的训练集。如图3所示为本文使用的部分训练样本图像，图4所示为部分高分辨率图像块和所对应的低分辨率图像块。

图3 部分训练样本图像

图4 部分高分辨率图像块和所对应的低分辨率图像块

3.2 仿真结果

首先给出一张低分辨率的网络文本图像，我们需要对该图像进行三线性插值，得到更大尺寸的图像作为实际输入的低分辨率图像。图5所示，图(a)为输入的低分辨率网络文本图像，图(b)为输入的低分辨率网络文本图像的原图，图(c)为图(a)低分辨率网络文本图像经过三线性插值以后的图像，图(d)为使用超分辨率重建算法得到的高分辨率图像。从图中所示的性噪比(PSNR)来看，超分辨重建算法得到的高分辨率图像的信噪比更好，所以可以提供更多的图像细节。

4 结论

在马尔科夫网络模型和贝叶斯信念传播算法的基础上，提出了基于学习的网络文本图像的超分辨率算法框架。并通过仿真实验表明，本章中我们提出的基于马尔科夫网络模型的网络文本的超分辨率算法可行，并且能够取得不错的效果。

图5 网络文本图像的超分辨率算法重建

[1]CapelD,ZissermanA.Super-ResolutionEnhancementofTextImageSequences[C].InternationalConferenceonPatternRecognition, 2000.Proceedings.IEEE,2000(1):600-605.

[2]BakerS,KanadeT.LimitsonSuper-ResolutionandHowtoBreakThem[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2002,24(9):1167-1183.

[3]ChangH,YeungDY,XiongY.Super-resolutionthroughneighborembedding[C].ComputerVisionandPatternRecognition, 2004.CVPR2004.Proceedingsofthe2004IEEEComputerSocietyConferenceon.IEEEXplore,2004(1):1275-1282.

[4]PickupLC,RobertsSJ,ZissermanA.Asampledtexturepriorforimagesuper-resolution[C].InternationalConferenceonNeuralInformationProcessingSystems.MITPress,2003:1587-1594.

[5]DonaldsonK,MyersGK.Bayesiansuper-resolutionoftextinvideowithatext-specificbimodalprior[C].ComputerVisionandPatternRecognition,2005.CVPR2005.IEEEComputerSocietyConferenceon.IEEE,2005(1):1188-1195.

Super-Resolution Reconstruction of Textual Image Based on the Markov Network

Li Ruiming， Zhang Ye

(TaiyuanInstituteofTechnology,TaiyuanShanxi030008,China)

With the development of multimedia technique, the need for image quality is increasing. Limited by hardware, the resolution of the captured image is often unable to meet the needs. Super-resolution technology can overcome the limitations of the imaging system. It can improve the resolution of the image without changing the existing equipment. This paper reconstructs the textual image based on the Markov Network. Firstly, it introduces the Markov Network; and then constructs the super resolution structure of textual image based on Markov network. Finally, the algorithm is simulated and results indicate the proposed algorithm has good effects on reconstruction of super-resolution.

textual image; Markov network; super-resolution

2017-05-17

李瑞明(1989- )，男 ，河南林州人 ，助教，硕士研究生，研究方向：图像超分辨率 。

1674- 4578(2017)04- 0024- 04

TP391.41

A