基于能量信息耦合梯度调节机制的图像修复算法设计与应用

杜 媛

(西安职业技术学院 大数据应用学院，西安 710072)

0 引言

在当今人们越来越重视信息传递的环境下，得益于数字图像的便捷性和易获取性，数字图像也得到了更为宽广的使用，在航空航天、医疗诊断以及汽车制造等多个领域都可以看到数字图像技术的使用[1]。现代发达的科技，使得人们易于获取与保存数字图像。但在数字图像的保存与使用等处理过程中，也会出现数字图像损坏的情况，损坏的数字图像不仅会降低数字图像的观赏性，甚至有时还会对传送的图像信息造成缺失，使得数据传送出错[2]。因此，对损坏图像修复的方法进行研究，就变得贴切于生活，成为了一项具有实际应用价值的工作[3]。当下图像修复技术已在新闻传媒、考古研究等领域得到了广泛的应用[4]。

为了修复损坏的数字图像，人们对图像修复算法进行了研究，如Jia等人[5]在修复图像的过程中，采用图像的置信度信息与结构信息相乘的方式，计算出优先权值，进而获取优先修复块，接着计算基于IHS空间的图像梯度，进而完成图像修复。该方法考虑了图像的梯度特征，具有一定的修复效果，但由于该方法主要依靠图像的置信度信息获取优先修复块，忽略了图像的能量信息，易造成优先权值计算结果的误差较大，选取的优先修复块准确度不高，使得修复图像中含有不连续现象。Wang等人[6]根据图像的空间变化情况更新置信度，以改进优先权值的计算，接着通过结构一致的计算方法，求取最优补丁块，以修复图像。该方法能够对破损图像进行修复，且考虑了图像中的结构因素，使得修复图像的结构一致性较好，但由于该方法中优先权值的计算是以置信度为主，没有考虑图像的能量信息，从而导致修复图像中含有伪吉布斯效应。Lu等人[7]采用梯度低秩逼近方法，在图像的水平和垂直梯度上进行低阶约束，计算梯度相似的最小化，再利用导数的自适应迭代奇异值阈值来修复图像。该算法采用了自适应的阈值确定方法来修复图像，使得修复的图像完整度较好，但由于该算法中梯度低秩逼近方法具有一定的逼近误差，在迭代修复图像的过程中，会由于误差的叠加，使得逼近误差不断加大，进而使得修复图像中含有块现象。Dong等人[8]提出了一种全广义变分的图像修复模型，引入多级紧帧分解系数的低阶和高阶导数，对图像进行约束，得到多尺度下多个不同方向的特征信息，采用分裂技术和原对偶算法相结合的优化算法，实现图像的修复。该算法利用对图像信息求导数的方法，将图像的特征信息融入到了图像的修复过程，使得修复图像的纹理等特征较为完善，但由于该算法中使用的广义变分模型，忽略了像素点间的关联性，使得修复图像中含有振铃效应。

对此，本文提出了能量信息耦合梯度调节机制的方法，用于图像修复。在置信度和数据项的基础上，加入图像的能量信息，构造优先权测量函数，以准确的获取优先修复块。利用图像的梯度模值，建立梯度调节机制，获取与图像纹理相适宜的样本块大小。引入SSD(sum of squared difference)函数，搜寻最优匹配块。利用像素点的差值，对置信度进行合理的更新。最后，测试了所提算法的修复性能，从SSIM(structural similarity index)和纹理连贯性两方面来客观评价。

1 本文图像修复算法

本文算法的修复过程见图1。可见，该算法由求取优先修复块、确定样本块大小、搜寻最优匹配块和更新置信度项四部分组成。

图1 本文算法流程设计图

1)求取优先修复块。借助区域能量函数，求取图像的能量信息，将图像的能量信息加入到待修复块的优先权值计算过程中，以克服待修复块的置信度项在趋于0时，引起优先权值计算出错的弊端，从而准确的获取优先修复块。

首先，设置样本块初始化大小为k×k后，通过式(7)计算此时样本块的梯度模值GMi。接着将样本块大小扩大至k=k+2，再次计算此时样本块的梯度模值GMi+1。然后，计算扩大后样本块的梯度模值变化率：

基于以上数据可知，各地区尾水导流工程实际尾水导流量均未达到工程设计规模，各地区导流工程效益未完全发挥。而尾水导流规模未达到设计规模的原因主要在于各地区管网建设等配套设施未健全，部分污水未完全收集。随着经济的发展，经济总量不断上升，单位面积经济增量显著增加导致的污染物持续增多，将对沿线生态环境产生较大的压力。如果不能合理收集、处理污水，输水干线水质将受影响。

传接球失误是中国男篮失误率最高的技术环节。一方面，当对手突然采用全场紧逼，包夹、围剿控球后卫时，控球队员未能在第一时间意识到对手的包夹，做出正确的处理决断；另一方面，与运球推进过程中，场上队员前后脱节，接应不及时，接应位置选择欠佳，快速移动中传接球能力较差有关。运球失误则主要是个人技术粗糙，心理压力增加造成的。

3)搜寻最优匹配块。采用SSD函数，测量图像块间匹配度，搜寻最优匹配块，对待修复块进行修复。

利用式(9)求取Yp与已知区域中所有匹配块的SSD值，当SSD值最小时，说明此时的匹配块与Yp的匹配度最高，将其作为最优匹配块。

1.1 求取优先修复块

对于待修复像素点p对应的待修复块Yp，置信度项C(p)和数据项D(p)分别表达了其已知信息以及结构信息，其表述分别为[9]：

(1)

(2)

图像的能量信息在一定程度上反映了图像内容的整体变化情况，图像的能量信息可借助区域能量函数来获取[12]：

通过C(p)和D(p)计算优先权P(p)的过程为：

采取标准选取的方式筛选病人，选用随机抽签法进行筛选。纳入我院于2016年3月—2018年3月期间收治的胃肠道穿孔疾病患者中的100例，纳入男性患者61例，女性患者39例，年龄为21.5至76岁，平均年龄为（43.2±8.2）岁，体重为（52.1±6.3）kg，病程时间为（7.9±1.8）h。

P(p)=C(p)D(p)

(3)

由于在迭代修复的过程中，C(p)值会骤降而趋于0，导致P(p)的计算出错和不稳定[10-11]。因此，本文引入图像的能量信息，将其联合C(p)和D(p)，构造优先权测量函数，以使得优先权值的计算不会随着C(p)值的骤降而出错，提高了修复顺序计算过程的稳定性以及准确性。

(4)

式中，M为Yp的大小。

通过C(p)和D(p)及EG(p)构造的优先权测量函数R(p)为：

R(p)=C(p)+D(p)+EG(p)

(5)

如式(5)所示，引入图像的能量信息，可为优先权的计算提供了更多的图像特征作为参考内容，有助于提高优先权值计算的正确性。同时将式(3)中采用置信度项和数据项相乘的方式，改成式(5)中相加的形式，可以避免由于C(p)值的骤降而引起优先权计算出错，可以有效促进图像修复秩序合理、稳定的进行。

图2展示了通过式(5)计算优先修复块的过程。在经过对不同待修复块优先权值的计算后，确定了图2(b)中箭头指向的待修复块Yp为求取的优先修复块。

图2 求取优先修复块的过程

1.2 确定样本块大小

固定尺寸样本块难以适应图像纹理的多样性。图像的纹理结构较为复杂时，可缩小其尺寸，以避免修复图像出现畸变和纹理不连续等弊端[13-14]。图像的纹理结构较为简单时，可扩大其尺寸，以避免修复图像出现块效应和拼接痕迹。图像的纹理信息可通过像素点的梯度信息来反应。本文将通过求取图像的梯度模值，来作为样本块大小的选取依据，确定样本块大小。

现如今，市场竞争激烈，为了提高建筑企业的市场竞争力就要求建筑企业在保证工程质量的同时也要做好工程施工的成本管理。房屋工程施工的成本管理是一项系统化的工作，并且渗透到了建筑施工的各个方面，主要是通过施工前要对施工中产生的费用进行预算，并根据实际情况进行调整，编制计划，最终进行核算等。这样做既能增强市场竞争力，还能够有效的控制成本，从而大大提高建筑企业的经济效益和社会效益。因此，做好房屋建筑工程施工的成本管理是建筑企业的重要手段，建筑企业不仅要充分认识到成本管理的重要性，而且还要学会合理的掌控，只有这样才能够使得企业立于不败之地，长远的发展下去。

像素点p(x，y)的梯度模值为[15]：

Gp=((p(x+1，y)-p(x-1，y))2+

(p(x，y+1)-p(x，y-1))2)1/2

(6)

式中，k为Zqi和Ypi的大小。

(7)

式中，Zq为已知区域中的匹配块，ax(x=R、G、B)与bx(x=R、G、B)分别为Yp和Zq中像素点对应的R、G、B值。

2)确定样本块大小。通过计算图像的梯度模值，建立梯度调节机制，考虑图像的纹理变化情况，根据图像中纹理的变化情况，动态的调节样本块的大小，进而得出适宜的样本块大小，克服了采用固定样本块大小，引起的纹理不适应性，避免了修复图像出现纹理不连续性的弊端，增强算法的适应能力。

(8)

最后，比较ΔGM与变化阈值η的大小。当ΔGM≥η时，说明扩大样本块大小后，样本块的梯度变化较大，纹理结构变得较为复杂，样本块大小扩大失败，应保持梯度模值GMi对应的样本块大小。当ΔGM<η时，说明扩大样本块大小后，样本块的梯度变化不大，纹理结构的复杂情况变化较小，样本块大小扩大成功，此时应将样本块大小继续扩大至k=k+2，并迭代该过程，直至ΔGM≥η为止。

梯度调节机制确定样本块大小的过程如图3所示。图3中样本块大小经过了两次调节，最后确定了实线框对应的大小为样本块大小。

经过考古数据的汇总，实物文本分析及比对，昂昂溪文化原始美术分布特点及整体的美术特征相关研究的结论如下：

喀什市色满乡缺少能够长效增收、脱贫致富的特色产业，产业增收效益尚不明显，带动致富的能力不强；在精准扶贫措施到户过程中，由于贫困户对产业发展需求不同，造成一些贫困户对扶持项目不感兴趣，浪费了扶贫资金、扶贫项目。

图3 确定样本块大小

1.3 搜寻最优匹配块

SSD函数是一种使用较多的最优匹配块搜索方法，其通过像素点的R、G、B值对待修复块与匹配块之间的匹配程度进行测量，该过程如下[16]：

SSD(Yp，Zq)=

(9)

当图像的梯度模值较大时，说明图像的纹理结构较为复杂，反之说明图像的纹理结构较为简单。因此，可利用GM建立梯度调节机制，以选择样本块尺寸，其步骤如下。

4)更新置信度项。利用像素点间的差异性，构造相似惩罚因子，更新置信度项，以提高被修复图像块边缘与未破损图像块边缘的衔接性，消除被修复图像块边缘的像素畸变性，通过迭代该过程，实现图像的修复。

常规研究比较倾向于院外各种形式，与患者紧密沟通，在患者出院后指导其正确护理、科学饮食，改善预后[8]。本文通过护理延伸服务，拓展院内、院外的护理范围和内容，借鉴专科护理、优质护理的优势，为患者提供全面、高效、高质量的护理。对于畏惧肿瘤且存在严重负性情绪的膀胱癌患者，再加上手术后并发症、腹壁造瘘以及尿道改造等，严重影响着患者的日常生活质量[9-10]。护理延伸服务特此针对该病群体，通过人性化、专业护理，加强患者院外健康指导、生活护理以及定期随访，明显提高了患者生存质量，并在一定程度上降低了疾病复发率[11-12]。

Zq=argminSSD(Yp，Zq)

(10)

采用SSD函数获取最优匹配块的结果如图4所示。通过SSD函数多次计算待修复块Yp与匹配块间的SSD后，确定了图中箭头所指实线框匹配块Zq为最优匹配块。

图4 最优匹配块的确定

1.4 更新置信度项

通过Zq对Yp进行修复时，由于Zq和Yp中同一坐标处的像素点具有差异性，因此对置信度更新时，不能直接将修复后Yp中像素点的置信度更新为1，以避免误差的繁衍，造成块现象的出现[17-18]。对此，本文利用Zq和Yp中像素点的差异性构造了相似惩罚因子，用以更新置信度项。

Zq和Yp中像素点i的差异性可通过其像素值Zqi和Ypi得到：

(11)

利用式(6)求取大小为M×M图像I(x，y)的梯度模值为：

利用DF构造的相似惩罚因子为：

(12)

图5为利用本文算法获取的修复图像。从图5可见，修复图像的纹理连续性较好，可视效果佳。

图5 修复结果

3 实验结果

在AMD3.6 GHz处理器、8 GB内存的DELL计算机上，采用Matlab#7.10建立实验环境，同时视文献[19]、[20]算法为比对组。对本文算法和比对组进行图像修复测试。测试过程中，本文算法变化阈值η取值为0.5。

图6为地毯划痕破损图像的修复结果。从图6各算法的修复情况看，各算法都能对划痕破损的图像进行修复，且修复图像的效果都较好。但对比各算法修复区可以发现，图6(d)中含有不连续和划痕残留现象。图6(f)中含有振铃现象和间断现象。图6(h)中的修复效果相对较好，没有划痕残留和间断现象，仅有一处轻微模糊现象。花瓶遮挡破损图像的修复结果如图7所示。通过仔细观察各算法的修复结果可知，图7(c)中具有不连续和伪吉布斯效应，图7(d)中具有块现象和修复残留现象，图7(e)中仅存一处细小的振铃现象。苹果文字破损图像的修复结果如图8所示。通过比较各算法修复的图像可见，图8(c)中具有块现象和间断现象。图8(d)中具有振铃和文字残留现象。图8(e)中不具间断和块现象，仅具有些许修复不彻底现象。由此可见，本文算法的修复能力较强，修复的图像纹理连接性较好，图像的质量较高。因为本文算法将图像的能量信息引入到优先权的计算过程，构造了优先权测量函数，有效避免了置信度项在趋于0时，对优先权值计算造成的错误影响，稳定、准确地获取了待修复块的优先权值。同时本文算法还通过SSD函数测量了图像块间的相似性，从已知区域中选取了与待修复块相似性较佳的匹配块以修复图像，从而提高了本文算法的修复能力，使得本文算法修复的图像具有更好的视觉效果和更高的质量。

图6 地毯划痕破损图像的修复结果

图7 花瓶遮挡破损图像修复结果

图8 苹果文字破损图像的修复结果

SSIM常用于作为修复图像的数值测试指标，其值较大则说明图像质量较好[21]。在此，以图9所示的完整图像为对象，对其实施不同程度的损坏，得到破损图像。再借助各算法对这些破损图像进行修复，并计算其对应的SSIM值，以测试各算法的修复能力。

各算法修复图像的SSIM值测试结果如图10所示。通过图10可知，本文算法修复图像的SSIM值较比对组较好。通过比较52%破损度图像的修复结果可知，本文算法修复结果的SSIM为0.878，文献[19]修复结果的SSIM为0.756，文献[20]修复结果的SSIM为0.808。可见，本文算法的修复能力强于比对组算法。因为本文算法通过图像的梯度模值信息，建立了梯度调节机制，对样本块大小与图像的纹理信息进行了良好的匹配，根据图像纹理的变化情况，选取了合适的样本块大小。另外，本文算法还通过像素点间的差异性，构造了相似惩罚因子，对置信度项进行了合理的更新，抵御了修复误差的繁衍，从而提高了本文算法的修复能力。文献[19]算法通过设定函数的方法，来抵御置信度值骤降引起的优先权计算错误，并利用Census变换和SSD函数结合以获取最优匹配块，完成图像修复。由于该方法中计算优先权值时没有考虑图像的能量信息，而且该方法采用的样本块为唯一大小，因此使得其修复能力不佳。文献[20]算法在利用正则化方法的基础上，对优先权值的计算过程进行修正，并将平方误差函数和绝对差函数进行结合，以求取最优匹配块。这种方法采用固定大小的样本块来获取最优匹配块，无法满足纹理变化的要求，而且这种方法直接采用置1的方法来更新置信度，使得修复误差繁衍较为严重，从而降低了其修复能力。

在针对导致城市污染的各种问题进行分析的时候，会发现导致城市出现污染的各个原因大不相同。其中通过对实际情况进行分析，发现最严重的问题之一就是汽车的尾气排放。在当前人们的日常生活质量和水平不断提升，私家车的数量也在不断增加，这样就会导致石油的整个消耗量越来越大。汽车在日常行驶过程中，难免会出现严重的尾气排放，尾气的增多，势必会直接导致生态环境遭受到严重的污染影响。

4 算法的应用与分析

仪表盘图像是设计师与客户间进行仪表盘选型的重要依据。由于设计师与客户的空间关系，为了节约经济与时间成本，设计师和客户需要通过网络传输仪表盘图像，以实现选型沟通。但是在网络传输过程中，会由于网络的质量、图像的压缩以及接收方存储介质的质量等问题，导致所获取仪表盘图像损坏，影响设计师与客户间的选型交流，给产品的生产带来质量不佳及效率低下的隐患。

因此，为了验证本文算法的实用性，采用工业相机，对汽车仪表盘进行图像采集，见图11(a)，并在未知的网络中，将其发送给用户，在其传输期间，遭遇了(图像数据丢失的)破坏，见图11(b)。随后，利用本文算法与其他两种对照组技术实施复原，结果见图11。观察各算法的修复结果可见，图11(c)中具有块现象及不连续现象。图11(d)中具有修复残留及振铃现象，而图11(e)中仅具有一处轻微的块现象。由此可见，本文算法对划痕破损的仪表盘图像具有较好的修复效果，修复的图像视觉效果较好，有助于提高产品的生产质量和效率。

事实上，在中国白酒国际化的进程中，茅台、五粮液等名优酒企从未停止过开拓海外市场的步伐，也为此付出了巨大的努力。但从整体来看，白酒不管从销量、宣传、认识度上都只占海外酒业市场上极其微小的一部分，以至于在海外酒业市场调查数据中有关中国白酒的数据和资料少之又少。这是因为即使有大企业去进军海外市场的行为，但由于海外市场推广的花费巨大，这些大企业充其量只是在海外宣传了自身的品牌，让海外酒业市场上多了自家产品的销售，但并没有真正将“中国白酒”这一品牌概念刻入海外消费者心中，没能实质性地提高白酒的竞争力。综上所述，大酒企并不能承担起“大猪”这一角色。

糖果留在了姥姥家，我开始给一些报刊写稿子，也参加一些女性论坛，参与一些公益活动。双休日，我会跟伟翔去周边的小镇转转，过个浪漫的假日。

图11 仪表盘划痕破损图像的修复结果

为了客观评估所提算法在修复仪表盘图像的优势，以图11(a)为样本，对其施加不同程度的破坏，从而形成10副损坏图像。再借助3种修复技术对其复原，并统计复原前后目标图像的SSIM值，结果见表1。由表1发现，随着损坏范围增大，虽然三者修复图像的SSIM值都处于逐步下降的情况，但是所提算法的稳定性最好，修复图像对应的SSIM值也优于文献[19]算法和文献[20]算法修复图像对应的SSIM值。即使对于大面积损坏(超过45%)的仪表盘图像，利用3种修复技术对其修复后，所提算法的SSIM值仍可维持在0.85以上，远高于另外两种技术。当像素丢失比例达到50%时，所提算法的SSIM值为0.853，而文献[20]的SSIM值为0.801，文献[19]最低，仅为0.726。分析其原因为，所提算法在求取待修复块的优先权值时，不仅将图像的能量信息引入到了优先权值的计算过程中，使得优先权值的计算综合了更多的图像特征作为参考内容，而且还对优先权值的计算方法进行了改进，避免了置信度项在趋于0时，引起优先权值计算出错的弊端，使得优先权值的计算更为准确，从而更为稳定和合理的获取了优先修复块。同时，为了适应图像纹理的多样性，所提算法还利用了能度量图像纹理信息的图像梯度特征，求取了图像的梯度模值，建立了梯度调节机制，根据图像梯度的变化情况，动态的调节样本块的大小，以确保获取到的样本块大小，能匹配当下图像纹理的特征，克服了修复过程中采用固定样本块大小，引起的纹理不适应性，避免了修复图像出现块效应和纹理间断的问题。从而使得所提算法修复的图像具有更好的视觉效果。另外，所提算法在采用了SSD函数，在图像中全局搜索与待修复块匹配度最高的图像块，用以作为最优匹配块，对待修复块进行修复，以避免修复图像出现拼接痕迹和图像内容不连续的现象。为克服被修复图像块边缘的像素畸变性，提高被修复图像块边缘与未破损图像块边缘的衔接性，所提算法还利用了像素点的像素值构造了相似惩罚因子，用以降低像素点间的差异性，避免修复误差的繁衍，增强了被修复块与其相邻块连接处的光滑度，使得被修复图像看起来更为自然，从而使得所提算法修复的图像具有更高的SSIM值和质量。文献[19]算法通过对置信度项添加权重因子的方法，来改进置信度项的计算过程，使得置信度项的计算值规避0值的出现，以此来抵御置信度值趋于0引起的优先权计算错误，并利用Census变换和SSD函数结合以获取最优匹配块，完成图像修复。虽然该方法中改进的置信度项计算方法能够规避置信度值趋于0引起的优先权计算错误，但由于该方法中计算优先权值时没有考虑图像的能量信息，使得优先权值的计算过程不能考虑图像的整体特征，导致优先权值的计算准确性下降，且该方法未根据图像的纹理特征调整样本块大小，使得该算法不能较好地适应图像纹理的变化，从而使得该算法修复图像存在块效应和不连续效应，导致该算法修复效果欠佳，修复图像的SSIM值不高。文献[20]算法引入正则化因子和自适应系数，提出了一种改进的优先权值的计算方法，并采用平方误差函数和绝对差函数求取待修复块的匹配块，最后利用优选权值计算过程中产生的自适应系数，来从所求取的匹配块中筛选出最优匹配块，用以对待修复块进行修复。虽然该方法引入了正则化因子和自适应系数对优先权值的计算方法进行改进，但该方法在计算优先权值时没有考虑图像的结构和整体特征，不能较为准确的获取优先修复块，同时，这种方法虽然结合了自适应系数来获取最优匹配块，但在搜索待修复块的匹配块时，没有根据图像的纹理变化情况来调整样本块大小，使得修复图像易出现畸变和纹理不连续等弊端。另外，该方法在更新置信度项时，没有考虑像素点之间的差异性，使得修复误差繁衍较为严重，易导致修复的图像中出现振铃效应和修复残留效应，从而降低了修复图像的SSIM值。

林露白也忘了郊区租好的那间小两居，直到何文山打电话给她，说要给她换个窗帘，想要什么花色，有兰花和梅花。

表1 3种算法修复仪表盘图像的SSIM值统计结果

5 结束语

本文从求取优先修复块、确定样本块大小、搜寻最优匹配块和更新置信度项四部分出发，设计了能量信息耦合梯度调节机制的图像修复算法。将能量信息与置信度和数据项组合，构造了优先权测量函数，抵御了由于置信度项趋于0而引起的优先权值计算错误，提高了优先权值计算的精准度，准确地获取了优先修复块。利用图像的梯度模值建立了梯度调节机制，根据图像的纹理变化情况，动态的调整样本块的大小，最终筛选出了与纹理结构相匹配的样本块大小。采用SSD函数搜寻了最优匹配块。在像素点间差异性的基础上，构造了相似惩罚因子，合理地更新了置信度项。通过实验测试得知，本文算法修复的图像不仅视觉效果较好，而且SSIM值较高，质量较好。