基于Otsu阈值分割的边缘快速图像插值算法

王震 杜进楷 寇宏玉 陈世国

关键词： Otsu阈值分割; 边缘插值; 插值算法; 图像质量; 视频监控; 目标检测

中图分类号： TN911.73?34; TP391.41           文献标识码： A                   文章编号： 1004?373X（2019）02?0071?04

A fast edge image interpolation algorithm based on Otsu threshold segmentation

WANG Zhen， DU Jinkai， KOU Hongyu， CHEN Shiguo

（School of Physics and Electronic Science， Guizhou Normal University， Guiyang 550025， China）

Abstract： A fast edge image interpolation algorithm based on Otsu threshold segmentation is proposed in this paper to meet the requirements of high image quality and low algorithm complexity during the process of video monitoring， and target detection and recognition， and improve detail fuzziness and saw?tooth effect during the traditional image interpolation. The Otsu algorithm is used to determine the segmentation threshold according to the maximum class variance between the target region and background region. The bilinear interpolation is conducted for the non?edge area. The multi?direction characteristic for the local structure of six or eight adjacent downsampling pixels around the point under interpolation is used for the edge area， so as to self?adaptively estimate high resolution pixel values. The experimental results show that the algorithm has low computational complexity， can well retain the image edge， and obtain high resolution images with good visual quality.

Keywords： Otsu threshold segmentation; edge interpolation; interpolation algorithm; image quality; video monitoring; target detection

0  引  言

目前，在大部分实时视频监控系统中，普遍存在摄像头分辨率不高，获取的监控图像分辨率低，导致目标识别和检测的准确率下降。为了获取高分辨率图像，又不增加硬件成本的，有效方式是通过图像插值技术来提高图像的分辨率[1]。传统图像插值算法有最近邻插值、双线性插值、双立方插值[2?4]，该类算法计算复杂度较低，但插值后图像边缘会产生边缘模糊和锯齿效应。

针对传统插值算法的不足，各类边缘图像插值算法相继被提出。文献[5]提出了一种新的边缘插值算法（New Edge?Directed Interpolation， NEDI），利用低分辨率图像中局部的协方差与高分辨率图像的对偶关系来实现高分辨率图像的插值。该算法能获得视觉效果较好的高分辨率图像，但计算复杂度高，不能达到快速插值的目的。为此文献[6]提出了快速的边缘图像插值算法。文献[7]提出了基于阈值控制的边缘自适应快速图像插值算法（Fast Self?Adaptive Edge?Oriented Interpolation Based on Threshold Method，FEOI）。該方法利用待插值像素[3×3]邻域内水平方向、垂直方向、对角方向两像素差值与自设阈值比较，对图像进行区域划分，对不同区域进行相应的插值，非边缘区域进行双线性插值，对边缘区域利用各方向最大相关性进行插值。图像的边缘模糊和锯齿现象得到了一定改善，计算复杂度也较低;但对边缘与非边缘区域划分采用的是自设阈值，若对所处理图像都采用同一阈值，导致图像区域划分不准确，从而影响图像插值效果;若对每一类图像都通过试验来找到最优分割阈值，会降低处理效率，不能满足大批量处理图像的实时性要求。

本文提出基于Otsu（最大类间方差法）阈值分割的边缘图像快速插值算法。通过Otsu阈值分割法[8]，能够快速获取最优分割阈值，划分图像区域，然后利用与其相邻的6个或8个降采样像素点的多方向最大相关性来估计高分辨率像素。该算法保持了图像边缘，降低了运算复杂度，减少了误差累积，提高了运算效率。

1  Otsu阈值分割的边缘图像插值算法

1.1 Otsu阈值分割法

1.1.1  Otsu阈值分割法的阈值确定

Otsu阈值分割法是以图像的灰度直方图为依据，选取阈值是以目标区域与背景区域平均灰度的最大类间方差为基准[9]。其基本思想如下：假设图像的灰度为[i]的像素数为[ni]，灰度范围为[[0，L-1]]，可记为[G={0，1，2，…，L-1}]，总像素数为[N]：

[N=i=0L-1ni] （1）

各灰度值出现的概率为：

[pi=niN] （2）

对于[pi]，有：

[i=0L-1pi=1] （3）

将图像中像素用阈值[T]分成两类[C0]和[C1]，[C0]由灰度值在[[0，T-1]]的像素组成，[C1]由灰度值在[[T，L-1]]的像素组成，则区域[C0]和[C1]的概率分别为：

[p0=i=0T-1pi] （4）

[p1=i=TL-1pi] （5）

区域[C0]和[C1]的平均灰度分别为：

[μ0=1p0i=0T-1ipi] （6）

[μ1=1p1i=TL-1ipi] （7）

整幅图像的平均灰度值为：

[μ=i=0T-1ipi+i=TL-1ipi=p0μ0+p1μ1] （8）

两个区域的总方差为：

[σ2B=p0（μ0-μ）2+p1（μ1-μ）2=p0p1（μ0-μ1）2] （9）

让[T]在[[0，L-1]]范围内依次取值，使[σ2B]最大时，被认为是两区域最佳分割状态，由此确定分割阈值：

[T=argmaxT∈G[σ2B]] （10）

1.1.2  Otsu阈值分割法的边缘区域确定

根据Otsu阈值分割法处理图像找到其最优分割阈值，将其与待插值像素点邻域6个或8个原已知像素点的平均灰度值做比较来确定为非边缘区域和边缘区域，针对不同的区域采用不同的插值算法，这样既能够保证图像放大的质量要求，也能降低计算复杂度。

为了快速对图像区域进行确定，假设[M×N]低分辨率图像[X]由[2M×2N]高分辨率图像[Y]降采样得到，即[Y（2i，2j）=X（i，j）]，考虑到待插像素点的不同位置关系，将其分为三类，如图1所示，即[Y（2i+1，2j+1）]，[Y（2i，2j+1）]，[Y（2i+1，2j）]。首先对图1a）所示待插像素进行边缘与非边缘的确定：利用Otsu阈值分割找到最优分割阈值[T]，记[a]，[b]，[c]，[d]，[e]，[f]，[g]，[h]为3[×]3邻域上各点的灰度值，平均灰度值记为[E]，则待插像素[Y（2i+1，2j+1）]局部平均灰度值为[（a+b+c+d+e+f+g+h）8]，如果平均灰度值小于[T]，则[Y（2i+1，2j+1）]确定为非边缘区域，否则为边缘区域。图1b）、图1c）这两类待插值像素点的边缘区域确定与图1a）类似。

1.2  边缘区域插值算法

记[p]为[Y（2i+1，2j+1）]的灰度值。采用[p]周围3[×]3邻域内8个低分辨率近邻像素如图2所示。计算4个方向上的像素差值，分别用[d1]，[d2]，[d3]，[d4]表示，找出其中最小值[dmin]，即确定待插值像素的邊缘方向。然后对该方向上的两个像素进行加权计算得到待插值点的像素值。

过程如下：记8个低分辨率像素的灰度值分别为[a～h]，有：

[d10=a-c;   d11=d-f;    d1=a-c+d-f2;] [d20=a-g，d21=b-h;][d2=a-g+b-h2;][d3=b-d;d4=a-e;][dmin=Min（d1，d2，d3，d4）]

如果[dmin=d1]，则[p=d1min（d10，d11）]，若[d1min=d10]，则[p=aa+c·a+ca+c·c];若[d1min=d11]，则[p=dd+f·d+fd+f·f];如果[dmin=d2]，则[p=d2min=（d20，d21）]，若[d2min=d20]，则[p=aa+g·a+ga+g·g];若[d2min=d21]，则[p=bb+h·b+hb+h·h];如果[dmin=d3]，则[p=bb+d·b+db+d·d];如果[dmin=d4]，则[p=aa+e·a+ea+e·e]。

对边缘区域为[Y（2i，2j+1）]进行插值，记[q]为[Y（2i，2j+1）]的灰度值。采用[q]周围[2×3]邻域内6个低分辨率近邻像素如图3所示，计算4个方向上的像素差值，分别用[f1]，[f2]，[f3]，[f4]表示，找出其中最小值[fmin]，即确定待插值像素的边缘方向。然后对该方向上的两个像素进行加权计算得到待插值点的像素值。

过程如下：记6个低分辨率像素的灰度值分别为[a～f]，有：

[f10=a-c;f11=d-f;][f1=（a-c+d-f）2;][f2=b-e;f3=c-d;f4=a-f;fmin=Min（f1，f2，f3，f4）]

如果[fmin=f1]，则[q=f1min（f10，f11）]，若[f1min=f10]，则[q=aa+c·a+ca+c·c];若[f1min=f11]，则[q=dd+f·d+fd+f·f];如果[fmin=f2]，则[q=bb+e·b+eb+e·e];如果[fmin=f3]，则[q=cc+d·c+dc+d·d];如果[fmin=f4]，则[q=aa+f·a+fa+f·f]。

同理，对边缘像素[Y（2i+1，2j）]的插值方法类似于边缘像素[Y（2i，2j+1）]。

1.3  图像插值算法实现步骤

插值算法步骤如图4所示。

2  实验结果及分析

从标准图库中选取3幅灰度图作为测试图像，通过实验来验证算法的有效性。实验时将待测试图像进行降采样处理（[256×256-128×128]）。对降采样图像进行插值复原，非边缘区域进行双线性插值[10]，边缘区域按第1.2节算法进行插值。为了进行对比验证，分别采用Otsu分割阈值与自设阈值对图像区域划分;分别采用双线性插值、NEDI插值、FEOI插值对边缘区域插值，结果分别如图5和图6所示。实验环境是计算机Intel Core i5 CPU 2.5 GHz，内存4 GB，双线性插值和Otsu阈值分割采用Matlab R2010b自带库函数编程， NEDI插值采用文献[5]作者在其学术主页上公布的Matlab代码， FEOI插值和本文算法则在Matlab R2010b上编程。

从图5可以看出，针对某一图像的最优分割阈值（自设阈值）并不能适用于所有图像，不能很好划分图像区域，尤其是图像纹理比较复杂的;而Otsu阈值分割能根据不同图像的特征自适应确定最优分割阈值，能较准确划分图像区域，且计算简单，能快速实现。

从图6可以看出，双线性插值的图像存在边缘模糊和锯齿现象，而NEDI插值和FEOI插值有了显著改善;本文插值算法也没有出现明显锯齿和模糊现象，图像边缘和纹理特征得到了较好保持，视觉效果也较好。

为了客观评价文中算法的优越性，给出了不同插值方法的峰值信噪比（PSNR）和计算时间，如表1和表2所示。峰值信噪比反映插值图像与原图像的相似程度，PSNR越大说明图像质量越好;计算时间反映处理图像的运算速度。

从表1可以看出，本文算法的PSNR值高于双线性插值和FEOI插值，略微低于NEDI插值。從表2可知本文算法计算时间低于NEDI插值和FEOI插值。结果表明，本文算法能够在保证图像质量情况下，有效提高插值效率，满足实时性需求。

3  结  论

本文提出的基于Otsu阈值分割的边缘快速图像插值算法有两个优势：第一，Otsu阈值分割的方法能够根据图像自身的结构特征来自动快速确定图像的最佳阈值。既能保证图像的质量，又能满足图像处理的实时性要求，且获得该阈值的方法计算简单，能够解决固定阈值不能根据不同图像自适应调整图像区域划分的局限性;第二，对待插像素点根据其各方向的边缘信息特征以及近邻的6个或8个低分辨率像素估计高分辨率像素，能进一步减少误差的产生和误差累积，计算复杂度也较低。本文插值算法在保证图像质量的同时，能够快速地实现图像的插值复原，大大提高图像的处理效率。

参考文献

[1] SAJJAD M， EJAZ N， BAIK S W. Multi?kernel based adaptive interpolation for image super?resolution [J]. Multimedia tools and applications， 2014， 72（3）： 2063?2085.

[2] 金海丁，周孝宽.数字图像自适应插值法[J].激光与红外，2006，36（9）：907?910.

JIN Haiding， ZHOU Xiaokuan. Self?adaptive interpolation algorithm for digital image [J]. Laser & infrared， 2006， 36（9）： 907?910.

[3] KEYS R G. Cubic convolution interpolation for digital image processing [J]. IEEE transactions on acoustics， speech and signal processing， 1981， 29（6）： 1153?1160.

[4] 李春龙，潘海侠，王华峰.自适应立方卷积图像插值算法[J].北京航空航天大学学报，2014，40（10）：1463?1468.

LI Chunlong， PAN Haixia， WANG Huafeng. Adaptive cubic convolution based image interpolation approach [J]. Journal of Beijing University of Aeronautics and Astronautics， 2014， 40（10）： 1463?1468.

[5] LI X， ORCHARD M T. New edge?directed interpolation [J]. IEEE transactions on image processing， 2001， 10（10）： 1521?1527.

[6] CHEN Meijuan， HUANG Chinhui， LEE Wenli. A fast edge?oriented algorithm for image interpolation [J]. Image and vision computing， 2005， 23（9）： 791?798.

[7] 吴锡生，党向盈，赵勇.基于阈值控制的边缘自适应快速图像插值算法[J].計算机工程，2007，33（22）：226?228.

WU Xisheng， DANG Xiangying， ZHAO Yong. Fast self?adaptive edge?oriented interpolation based on threshold method [J]. Computer engineering， 2007， 33（22）： 226?228.

[8] OTSU N. A threshold selection method from gray?level histograms [J]. IEEE transactions on systems， man and cybernetics， 1979， 9（1）： 62?66.

[9] 张铮.精通Matlab数字图像处理与识别[M].北京：人民邮电出版社，2013.

ZHANG Zheng. Proficient in Matlab digital image processing and recognition [M]. Beijing： Posts & Telecom Press， 2013.

[10] TIAN Qichong， WEN Hao， ZHOU Chenhui， et al. A fast edge?directed interpolation algorithm [C]// Proceedings of the 19th International Conference on Neural Information Processing. Berlin： Springer， 2012： 398?405.