缺帧环境下弱纹理图像的三维重建方法

2016-11-30王芳，汪伟

西安工程大学学报 2016年4期

关键词：角点三维重建轮廓

王芳，汪伟

(1.郑州升达经贸管理学院信息工程系，河南郑州 451191；2.河南工程学院计算机学院，河南郑州 451191)

缺帧环境下弱纹理图像的三维重建方法

王芳1，汪伟2

(1.郑州升达经贸管理学院信息工程系，河南郑州 451191；2.河南工程学院计算机学院，河南郑州 451191)

针对传统方法进行缺帧环境下弱纹理图像三维重建时容易受到边缘缺帧点干扰的影响，降低三维重建效果的问题，提出一种基于边缘轮廓角点分割和相邻帧补偿缺帧环境下弱纹理图像三维重建方法.构建缺帧环境下图像采集模型，采用阈值降噪算法对采集的缺帧环境下弱纹理图像进行降噪滤波预处理，对降噪输出图像进行边缘轮廓角点分割，采用相邻帧补偿方法进行弱纹理修复和稳像处理，提高了对图像弱纹理特征的重建能力，实现图像三维重建的改进.仿真结果表明，改进方法能提高图像纹理识别和修复重建能力，输出图像质量得到有效改善．

弱纹理图像；边缘轮廓；相邻帧补偿；图像识别

0 引言

随着图像处理技术的发展，对图像进行纹理分割和边缘轮廓特征提取，在图像识别和图像修复等领域具有较好的应用价值.在复杂环境下受采集设备和环境因素影响，导致图像采集的帧丢失，在缺帧环境下，会导致图像纹理细节丢失，对缺帧环境下弱纹理图像进行三维重建是实现图像识别的重要环节，相关算法研究受到人们的极大重视[1-5]．

传统方法对缺帧环境下弱纹理图像三维重建方法主要有基于CT/MRI/US的缺帧环境下弱纹理图像重构算法，或基于统计形状模型(Statistical Shape Model， SSM)的缺帧环境下弱纹理图像重构方法、基于模板形状匹配的缺帧环境下弱纹理图像重构方法等[6-7]，但这些方法在信噪比较低时，降低图像三维重建抗干扰性能[8-14].为此，提出一种基于边缘轮廓角点分割和相邻帧补偿缺帧环境下弱纹理图像三维重建方法．

图 1 缺帧环境下的图像采集模型的运动模型Fig.1 Motion model of image acquisition model in a lack-of-frame setting

1 缺帧环境下图像采集模型与图像预处理

1.1 图像采集模型及图像特征分析

文中构建的缺帧环境下图像采集模型如图1所示．根据上述图像采集模型，采用正方形网格立体建模，将背景图像B和当前缺帧环境下弱纹理图像I划分为(W/2)×(H/2)个子块，划分后不规则三角网中的像素灰度值满足

(1)

(2)

采用视点切换运动方程进行图像的稳像处理：

(3)

(4)

(5)

其中：x，y，z为纹理规则化的特征分布位置；ψV为视点切换运动的轮廓标记线偏角.计算弱纹理图像轮廓波域的邻域在(x，y)(x∈[0，W-1]，y∈[0，H-1])处的像素值，进行图像特征点采集，使用归一化分割模型进行缺帧环境下弱纹理图像特征分割，相邻帧像素点的近似解为

(6)

通过小波尺度分解，得到缺帧环境下弱纹理图像纹理特征序列子样，利用图像采集的帧误差T，得到图像主分量边缘轮廓信息特征，获取缺帧环境下弱纹理图像信息的采集形式为

(7)

采用二阶不变矩作为向量量化参数，得到三维成像数据的补偿量度，成像区域特征点的灰度像素为

(8)

1.2 弱纹理图像降噪预处理

文中采用阈值降噪法进行图像降噪滤波，首先利用Harris角点分割，把图像分割为M个子块[15]，利用Hessian矩阵，判断成像区域的极值点是否为图像的噪点，Hessian矩阵为

(9)

假设Ix表示主分量边缘轮廓中含有较大噪点的特征值;Iy表示较小的特征值，通过对图像特征值的匹配和融合，计算α与β的比值γ，即α/β=γ，得到缺帧环境下弱纹理图像的透射率为

(10)

(11)

其中：Δx和Δy分别表示缺帧环境下弱纹理图像的梯度水平幅值和竖直幅值；k表示缩放因子；θ表示差异性旋转角度.

2 弱纹理图像三维重建改进

2.1 问题描述及边缘轮廓角点分割

首先对降噪输出的图像进行边缘轮廓角点分割，利用式(12)获取缺帧环境下弱纹理图像噪声强度：

(12)

其中:J(x)为一个7×7像素滑动窗口内的干扰强度；A为帧丢失的幅值；t(x)为背景噪声干扰下缺帧环境下弱纹理图像的透射率；J(x)t(x)为图像噪点的衰减项；边缘轮廓子空间内图像的帧差损失为

(13)

计算全部帧图像对应的粗尺度和细尺度，通过Harris角点检测，得到图像角点包络特征方程描述为

(14)

其中：ρ(x)表示两帧之间的运动位移；exp(-βd(x))是高斯函数的尺度；d(x)是相邻帧的方差.假设Ii(x，y)是小波特征分解细节重构函数，P(x，y)iv和P(x，y)if分别为两帧之间运动的成像区域像素，则尺度不变性约束函数为

(15)

图 2 缺帧环境下弱纹理图像重建的相邻帧补偿示意图Fig.2 Sketch map of adjacent frame compensation for weak texture image reconstruction in a lack-of-frame setting

通过Harris角点特征提取，实现对采集的缺帧环境下弱纹理图像特征分割．

2.2 弱纹理图像三维重建实现过程

在上述进行缺帧环境下弱纹理图像的边缘轮廓角点分割基础上，采用相邻帧补偿方法实现弱纹理图像三维重建，相邻帧补偿示意图描述如图2所示．实现步骤如下：

(1)对缺帧环境下弱纹理图像特征点及参量进行初始化，假设弱纹理图像度量区域间的差异性级数N，在相邻两帧之间求解失真阀值ε；弱纹理图像像素值的训练序列{xj}，j=0，1，…，m-1，初始化帧序列n=0，D-1=∞；

(16)

(3)如果(Dn-1-Dn)/Dn≤ε，停止；求得相应时刻的最佳估算值s(k|k)，否则继续；

(a) 340和378帧图像

(b) 1 045和1 097帧图像图 3 原始采集的弱纹理图像Fig.3 Weak texture images

3 仿真实验与结果分析

为了测试本文算法在缺帧环境下弱纹理图像三维重建中的性能，进行仿真实验.硬件环境：Intel(R) 2.3 GHz CPU，2 GB内存，32位Windows 7系统的PC机.基于Matlab 2010编程平台，根据上述仿真环境和参数设定，得到原始采集的弱纹理图像如图3所示．

从图3可见，原始图像采集受边缘缺帧点干扰的影响，导致图像纹理特征较弱，为实现图像三维重建，采用本文方法对缺帧环境下弱纹理图像进行降噪预处理，对降噪输出的图像进行边缘轮廓角点分割，实现角点提取，为了对比性能，采用本文方法和传统的小波检测方法和SUSAN角点方法进行对比，得到结果如图4所示．

从图4可见，采用本文方法进行缺帧环境下弱纹理图像角点提取，能有效实现对弱纹理特征的重建和边缘轮廓分割，提高图像的修复和重建能力.最后得到不同算法下进行不同帧图像的三维重建修复处理结果如图5所示.从图5可见，采用本文方法进行缺帧环境下图像三维重建，具有较好的降噪和纹理修复性能，提高对图像成像和识别能力．

(a) 小波分析方法

(b) SUSAN

(a) 340和378帧图像

(b) 1045和1097帧图像图 5 不同帧图像样本的三维重建和纹理修复能力对比Fig.5 3D reconstruction and texture repair ability of different image samples

4 结束语

本文提出一种基于边缘轮廓角点分割和相邻帧补偿缺帧环境下弱纹理图像三维重建方法.仿真结果表明，采用本文方法进行缺帧环境下弱纹理图像的三维重建，提高纹理的修复能力，三维重建后图像成像的质量提高，性能优越于传统方法，展示了较好的应用价值．

[1] 周镭，单锋，刘鹏，等. 基于供应链的企业信息化评价模型的建立[J]. 西安工程大学学报，2015，29(6):772-779．

ZHOULei，SHANFeng，LIUPeng，etal.Theestablishmentoftheenterpriseinformatizationevaluationmodelbasedonsupplychain[J].JournalofXi’anPolytechnicUniversity，2015，29(6):772-779．

[2]KARLSSONJ，ROWEW，XUL，etal.Fastmissing-dataIAAwithapplicationtonotchedspectrumSAR[J].IEEETransactionsonAerospaceElectronicSystems，2014，50(2):959-971．

[3]PARKHR，LIJie.Sparsecovariance-basedhighresolutiontimedelayestimationforspreadspectrumsignals[J].ElectronicsLetters，2015，51(2):155-157．

[4]GLENTISGO，JAKOBSSONA，ANGELOPOULOSK.Block-recursiveIAA-basedspectralestimateswithmissingsamplesusingdatainterpolation[C]//InternationalConferenceonAcoustics，SpeechandSignalProcessing(ICASSP)，Florence，2014，12(10):350-354．

[5] 王慧贤，靳惠佳，王娇龙，等.k均值聚类引导的遥感影像多尺度分割优化方法[J]. 测绘学报，2015，44(5):526-532．

WANGHuixian，JINHuijia，WANGJiaolong，etal.Optimizationapproachformulti-scalesegmentationofremotelysensedimageryunderk-meansclusteringguidance[J].ActaGeodaeticaetCartographicaSinica，2015，44(5):526-532．

[6] 宋涛，李鸥，刘广怡. 基于空时多线索融合的超像素运动目标检测方法[J]. 电子与信息学报，2016，38(6):1503-1511．

SONGTao，LIOu，LIUGuangyi.Movingobjectdetectionmethodviasuperpixelsbasedonspatiotemporalmulti-cuesfusion[J].JournalofElectronics&InformationTechnology，2016，38(6):1503-1511．

[7]BROXT，MALIKJ.Largedisplacementopticalflow:Descriptormatchinginvariationalmotionestimation[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2010，33(3):500-513.

[8] 李秦，夏选太. 基于Kinect传感器的三维重建算法研究[J]. 电子设计工程，2015，23(17):30-31．

LIQin，XIAXuantai.Studythethree-dimensionalreconstructionalgorithmbasedontheKinectsensor[J].ElectronicDesignEngineering，2015，23(17):30-31．

[9] 赫高进，熊伟，陈荦，等. 基于MPI的大规模遥感影像金字塔并行构建方法[J]. 地球信息科学学报，2015，17(5):515-522．

HEGaojin，XIONGWei，CHENLuo，etal.AnMPI-basedparallelpyramidbuildingalgorithmforlarge-scaleRSimage[J].JournalofGeo-InformationScience，2015，17(5):515-522．

[10] 李旭超，宋博，甘良志. 改进的迭代算法在图像恢复正则化模型中的应用[J]. 电子学报，2015，43(6):1152-1159．

LIXuchao，SONGBo，GANLiangzhi.Theapplicationofimprovediterativealgorithmtoregularizationmodelofimagerestoration[J].ChineseJournalofElectronics，2015，43(6):1152-1159．

[11] 于海琦，刘真，田全慧. 一种基于RBF神经网络的打印机光谱预测模型[J]. 影像科学与光化学，2015，33(3):238-243．

YUHaiqi，LIUZhen，TIANQuanhui.AspectralpredictionmodelofprinterbasedonRBFneuralnetwork[J].ImagingScienceandPhotochemistry，2015，33(3):238-243．

[12] 柏猛，李敏花，吕英俊. 基于对称性分析的棋盘图像角点检测方法[J]. 信息与控制，2015，44(3):276-283．

BAIMeng，LIMinhua，LYUYingjun.Cornerdetectionmethodofchessboardbasedonsymmetryanalysis[J].InformationandControl，2015，44(3):276-283．

[13] 张子龙，薛静，乔鸿海，等. 基于改进SURF算法的交通视频车辆检索方法研究[J]. 西北工业大学学报，2014，32(2):297-301．

ZHANGZilong，XUEJing，QIAOHonghai，etal.ThevehicleretrievalmethodsoftrafficvideobasedonimprovedSURFalgorithm[J].JournalofNorthwesternPolytechnicalUniversity，2014，32(2):297-301．

[14]EVANGELIORH，PATZOLDM，KELLERI.AdaptivelysplittedGMMwithfeedbackimprovementforthetaskofbackgroundsubtraction[J].IEEETransactionsonInformationForensicsandSecurity，2014，9(5):863-874．

[15]MARTINSP，CASEIROR，BATISTAJ.Non-parametricbayesianconstrainedlocalmodels[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition，Columbus，2014:1797-1804．

编辑、校对：师琅

Three dimensional reconstruction method of weak texture image under the condition of lack of frame

WANG Fang1，WANG Wei2

(1.Department of Information Engineering， Zhengzhou Shengda College of Economics and Trade Management，Zhengzhou 451191，China;2.School of Computer Science， Henan University of Engineering， Zhengzhou 451191，China)

In traditional methods, 3D reconstruction of weak texture images without frame is easily affected by edge no-fram-point interference,lowing 3D reconstruction effect.A 3D reconstruction method is proposed based on a corner edge contour segmentation and adjacent frame of compensation.Image acquisition model is constructed, the threshold de-noising algorithm is adopted to collect the images for noise filtering pre-processing, and corner edge contour segmentation is processed for denoised output image.Adjacent frames compensation method is adopted to improve the weak texture repair, image processing, and the weak texture feature of image reconstruction ability, realizing 3D reconstruction image improvement. Simulation results show that the method can improve the texture of image recognition and reconstruction ability, effectively improving the output image quality.

weak texture image; edge profile;adjacent frame compensation;image recognition

1674-649X(2016)04-0477-06

10.13338/j.issn.1674-649x.2016.04.012

2016-01-10

河南省重点科技攻关项目(152102210176)

王芳(1973—)，女，河南省郑州市人，郑州升达经贸管理学院副教授，研究方向为图形图像处理与计算机网络.E-mail:wangfang0278@163.com

王芳，汪伟.缺帧环境下弱纹理图像的三维重建方法[J].西安工程大学学报，2016，30(4)：477-482.

WANG Fang，WANG Wei.Three dimensional reconstruction method of weak texture image under the condition of lack of frame[J].Journal of Xi′an Polytechnic University,2016，30(4)：477-482.

TP 391