基于稀疏表示的车用带钢表面图像信息修复

周李洪 龚金科 李兵

摘   要：針对当前车用带钢表面图像信息修复所用时间较长，修复效果较差的问题，提出基于稀疏表示的车用带钢表面图像信息修复方法. 根据像元点之间在车用带钢表面图像中存在的空间相关信息，结合像元点的灰度分布信息，采用二维直方图建立离散测度矩阵，获得车用带钢表面图像中需要修复的目标区域和背景区域. 在稀疏表示原理的基础上构建稀疏修复模型，在车用带钢表面图像的目标区域和背景区域中对受损区域进行修复，能够有效获取车用带钢表面缺陷图像信息，实现车用带钢表面图像信息的修复. 实验结果表明，所提方法对车用带钢表面图像信息修复的峰值信噪比较高、均方根误差较小，表明该方法的信息修复效果较好，且修复耗时较短，修复效率高.

关键词：稀疏表示;图像分割;离散测度矩阵;稀疏修复模型;图像修复;信息融合;缺陷检测

中图分类号：TP391.41                             文献标志码：A

Image Information Restoration of Automotive

Strip Steel Surface Based on Sparse Representation

ZHOU Lihong1，2，GONG Jinke2，LI Bing3

（1. College of Mechanical and Transportation Engineering，Hunan University，Changsha 410082，China;

2. College of Automotive Engineering ，Hunan Mechanical & Electrical Polytechnic，Changsha 410151，China;

3. College of Electrical and Automation Engineering，Hefei University of Technology，Hefei 230009，China）

Abstract：Aiming at the problems of a long time and poor repair effect of the current surface image information restoration of automotive strip steel，a method for repairing automotive strip surface image information based on sparse representation is proposed. According to the spatial correlation information existing between the pixel points in the automotive strip surface image，combined with the gray distribution information of the pixel points，the two-dimensional histogram is used to establish the dispersion measure matrix，and the target area and background area needed to be repaired in the surface image of the automotive strip steel are obtained. The sparse repair model is constructed based on the sparse representation principle，and the damaged area is repaired in the target area and background area of the automotive strip surface image，which can effectively obtain the image information of the automotive strip surface defect and realize the automotive strip repair of surface image information. The experimental results show that the proposed method has a high peak signal-to-noise ratio and small root mean square error for the image information restoration of the automotive strip steel surface，indicating that the method has a better information restoration effect，the restoration time is shorter，and the restoration efficiency is higher.

Key words：sparse representation;image segmentation;discrete measure matrix;sparse repair model;image restoration;information fusion;defect detection

图像作为人们传递信息和获取信息的媒介，是学者们研究的热点对象[1]. 数据图像处理是通过计算机处理并分析图像的一种技术. 数字图像的性能随着数字计算机和信息时代的发展不断提高，被广泛地应用在各个领域中[2]. 但是在存储、压缩和传输过程中，外界的干扰会导致数字图像信息缺损. 为了提高图像信息的完整性，需要对受损图像进行修复和填补. 图像信息修复技术在此背景下被人们所重视. 图像信息修复技术可以使修复后图像的视觉效果或可视化效果更接近原始图像[3].

带钢作为汽车的重要原材料，对汽车的质量和性能产生直接影响，因此，对其进行表面检测具有重要意义. 但在带钢表面检测图像中，常因噪声干扰等问题出现缺陷，为此，需要通过图像修复技术对车用带钢表面图像信息进行修复，可以实现车用带钢受损区域的复原，因此需要对车用带钢表面图像信息修复方法进行分析和研究.

现有研究中，强振平等[4]提出基于图像结构分成计算的图像信息修复方法，利用局部拉普拉斯滤波器平滑处理图像细节信息，获得图像结构成分，确定修复优先级，在基于结构张量和等照度线的图像修复算法中引入结构成分引导方法，实现图像信息的修复，但该方法没有划分图像的目标区域和背景区域，导致修复后图像的峰值信噪较低，存在修复效果差的问题. 曹大命等[5]提出基于先验约束的图像信息修复方法，通过对图像做预处理，获得先验信息，在先验信息约束的基础上初始化偏移映射图，利用夹角法和均值法在像素块匹配过程中计算像素块的相似度，引入直方图统计方法，实现图像信息的修复，但该方法未对图像进行分割处理，导致修复过程中计算量较大，修复图像所用的时间较长，存在修复效率低的问题. 韩栋等[6]提出基于曲率约束因子与边缘加权法则的图像信息修复方法，通过像素的等照度线的方向构造曲率约束因子，并约束数据项以形成优先级测量函数. 利用像素均值之差，构造像素自相关模型调整样本块的大小及边缘加权模型，并通过结合SSD（Sum of Square Differences）（平方差和）模型建立边缘加权规则，进行最优匹配，在修复区域中填充最优匹配块，实现图像信息的修复. 但该方法无法对背景区域中的受损区域进行有效修复，导致修复后的图像均方根误差较大，存在图像修复效果差的问题.

为了解决上述方法中存在的问题，提出基于稀疏表示的车用带钢表面图像信息修复方法. 计算车用带钢表面图像的二维直方图，获取背景类和目标类之间存在的离散测度矩阵，并通过距离测度函数，改善车用带钢表面图像分割的精确性;基于稀疏表示理论，获取图像目标区域，去除图像块中存在的受损区域，构建基于稀疏表示的车用带钢表面图像信息修复模型，进一步减少了计算的冗余度.

1   车用带钢表面图像分割处理

通常对带钢表面进行检测的系统由以下四个模块组成：图像获取模块、图像处理模块、图像分析模块、数据管理及人机接口模块[7]. 本次研究的车用带钢表面图像分割处理算法是在图像处理模块进行. 由于受到现场环境、传输电路等影响，导致采集的原始图像具有一定的噪声，给图像的修复处理带来不便[8]. 对车用带钢表面图像信息修复，首先需对车用带钢表面图像进行分割处理，分离车用带钢表面图像的目标类与背景类信息，以提升车用带钢表面图像信息修复准确性. 通过求解车用带钢表面图像的邻域平均灰度，得到车用带钢表面图像的灰度变换范围;通过计算车用带钢表面图像的二维直方图，构建背景类和目标类之间存在的离散测度矩阵，实现车用带钢表面图像的分割. 车用带钢表面图像分割处理流程如图1所示.

设车用带钢表面圖像的灰度变换范围为0～L-1，图像的尺寸为M × M. 通过车用带钢表面图像中存在的L个灰度值构成集合Z = {z0|z0∈0～L-1}，（m，n）代表的是像元点在图像中对应的坐标;f（m，n）为像元点在坐标（m，n）处对应的灰度值，存在于集合 Z中，即f（m，n）∈Z，g（m，n）代表的是像元点在坐标（m，n）处对应的邻域平均灰度，其计算公式如下：

式中：N代表的是像元点灰度值正方形邻域窗口对应的宽度.

邻域平均灰度g（m，n）通常情况下为：

像元灰度值f（m，n）通常情况是大于或等于0的[9]，因此在上式基础上获得0≤g（m，n）

任意一幅车用带钢表面图像可以通过下述矩阵进行描述.

如果利用[ f（m，n），g（m，n）]描述一副M×M的车用带钢表面图像，需要计算车用带钢表面图像的二维直方图[10-11].

车用带钢表面图像的二维直方图存在于L×L的正方形区域中[12]，图像像元的灰度值和邻域平均度分别可以通过横坐标和纵坐标进行描述. 设pij代表的是直方图中存在的一点，描述的是向量a=（i，j）发生的频率，用来表示向量b=[ f（m，n），g（m，n）] ，且0≤i，j

pij = cij /M × N        （4）

式中：cij代表的是向量a发生的频数.

在二维直方图中存在两类区域C0、C1，分别对应的是车用带钢表面图像背景和目标，其对应的概率分布均不相同[13]. 如果利用二维直方图中存在的任意门限向量c=（s，t）分割车用带钢表面图像时，ω0代表的是图像背景区域发生的概率分布;ω1代表的是图像目标区域发生的概率分布，其计算公式分别为：

设μ0代表背景类对应的均值，μ1代表目标类对应的均值，通过下述公式对均值进行计算：

设tr σB代表离散测度矩阵σB的迹，在二维最大类间方差法中将其作为目标类与背景类之间存在的距离测度函数[14]，实现车用带钢表面图像的分割.

tr σB（s，t）=[（ω0（s，t） μZ i - μi（s，t））2 +（ω0（s，t） μZ j-

μj（s，t））2 ]/ω0（s，t）[1-ω0（s，t）]     （12）

通过二维直方图方法，对车用带钢表面图像的目标区域与背景区域进行精准分割，为图像修复处理奠定基础，进一步提高图像修复的精度.

2   基于稀疏表示的图像信息修复

在实现车用带钢表面图像分割处理后，用图像分析模块进行图像信息分析，基于稀疏表示理论的基础，对车用带钢表面图像信息进行修复. 通过线性组合和图像块约束图像的非零元素的稀疏信号[15]，构建稀疏表示模型，构建图像块中存在的待修复图像函数，通过MAP估计去除图像块中存在的受损区域，通过L1范数对重构误差进行测度，构建基于稀疏线性表达的车用带钢表面图像信息修复模型，实现车用带钢表面图像信息修复. 基于稀疏表示的图像信息修复流程如图2所示.

稀疏表示通常利用线性组合对自然信号进行描述[16]，设D = [d1，d2，…，dL]∈RN×L代表字典，由L个标准信号原子{dl}L   i=1构成，存在下式：

x = Dα，x精准地表示x = Dα，x在限制条件下表示      （13）

式中：α = [α1，…，αi，…，αL]T∈RL为存在K个非零元素的稀疏信号，称信号α为K的稀疏表示.

稀疏表示过程是通过图像块划分车用带钢表面图像，形成集合的模式[17]. 按照从左到右，从上到下的顺序对图像局部块进行排序，获得m维列向量，分别用基元组Di和向量xi描述线性组合和图像块.

通过上述约束系数α的稀疏性，构建稀疏表示模型.

式中：y代表的是车用带钢表面图像信号.

利用L1范数取代L0范数，将稀疏表示模型转变为下式：

基于稀疏表示的车用带钢表面图像信息修复方法利用最小化L1范数技术缩小了计算量，获得信号的稀疏变换.

图像修复是在指定区域中利用修复算法进行填补，使处理后的车用带钢表面图像在视觉上与原始图像一般[18].

Ω代表车用带钢表面图像中需要修复的目标区域. Φ代表除了目标区域以外车用带钢表面图像中的其他区域，即源区域. 设I代表像素在车用带钢表面图像中的下标集合;y代表给定的车用带钢表面图像;y＼ I代表排除目标区域后，所有车用带钢表面图像像素构成的集合;D＼ I为y＼ I对应的基，对稀疏表示模型进行改进，即：

在稀疏表示模型的基础上利用已知的基元组D描述图像块.

α* = arg min‖α‖1          （18）

用y描述图像块x中存在的待修复图像，对图像y进行MAP估计去除图像块中存在的受损区域，通过L1范数对重构误差进行测度，将问题转变为：

对式（19）进行优化，构建基于稀疏线性表达的车用带钢表面图像信息修复模型.

对上述局部块上的稀疏修复模型进行推广，使稀疏修复模型适用于整幅车用带钢表面图像[19].

按照从左到右的顺序在图像X中滑动大小为 的窗口，距离会对窗口的滑动产生影响[20-21]. 通过上述处理在车用带钢表面图像中获得一系列局部块{xl}.

對车用带钢表面图像进行MAP估计，推广局部块中的稀疏修复模型，将稀疏修复模型转变为：

利用上述稀疏修复模型分别在车用带钢表面图像的背景区域和目标区域中进行信息修复，实现车用带钢表面图像信息的修复.

3   实验结果与分析

为了验证基于稀疏表示的车用带钢表面图像信息修复方法的整体有效性，需要对基于稀疏表示的车用带钢表面图像信息修复方法进行测试. 本次测试在Intel Core i7 CPU，内存为8 GB的PC机上采用Matlab R2020b编程实现. 将峰值信噪比和均方根误差作为指标对图像信息的修复效果进行衡量.

在东北大学热轧带钢表面缺陷数据集（Vision-based SIS for steel）中选择实验对象共1 000张车用带钢表面缺陷图像，分别采用文献[5]和文献[6]方法作为实验对比，测试3种不同方法对图像信息的修复效果. 图3为其中一张车用带钢表面图像.

图3为微小型的带钢表面缺陷图像，其最大缺陷只有约90 μm × 90 μm大小.

3.1   图像修复效果对比

采用3种不同方法对图3车用带钢表面图像进行信息修复. 通过式（15）对图像进行稀疏表示处理，设车用带钢表面图像信号为200 Mb，非零元素的稀疏信号为100 Mb. 在此基础上得到的修复效果对比图如图4所示.

如图4所示，文献[5]方法能够识别缺陷较为密集的区域，而无法识别缺陷稀少的区域;文献[6]方法能够识别面积较大的缺陷，而对微小缺陷的识别准确率较低;本文方法能够有效识别车用带钢表面图像的缺陷信息并修复，图像信息修复效果较好. 由此可见，基于稀疏表示的车用带钢表面图像信息修复方法通过对图像进行分割处理，利用稀疏修复模型分别对车用带钢表面图像的背景区域和目标区域进行信息修复，图像信息修复效果更好.

3.2   信噪比和均方根误差对比

设PSNR（Peak Signal-to-Noise Ratio）表示峰值信噪比，峰值信噪比越大表明图像信息的修复效果越好，其计算公式如下：

PSNR = 10 lg（2552/MSE）       （22）

式中：MSE（Mean Squared Error）表示修复图像与原始图像之间的均方误差.

设RMSE（Root Mean Squared Error）代表均方根误差，均方根误差越小表明修复后的图像越接近原始图像，其计算公式如下：

3种不同方法在车用带钢表面图像信息修复过程中，其峰值信噪比及均方根误差对比结果分别如图5、图6所示.

由图5中的数据可知，本文方法在不同测试中获得的峰值信噪比均高于文献[5]方法和文献[6]方法获得的峰值信噪比，峰值信噪比越高表明方法的修复效果越好. 分析图6可知，本文方法的均方根误差均低于0.2，远小于其他两种方法，均方根误差越小，表明此方法的修复效果越好. 综上所述，本文方法对车用带钢表面图像的修复效果较好. 本文方法利用稀疏修复模型分别对车用带钢表面图像的目标区域和背景区域进行修复，在修复过程中提高了修复的针对性，进而提高了所提方法的修复效果.

3.3   图像修复耗时对比

分别采用本文方法、文献[5]方法和文献[6]方法对车用带钢表面图像信息进行修复，对比不同方法修复图像受损区域所需的时间，测试结果如图7所示.

分析图7中的数据可知，随着图像数量的增加，3种方法修复图像所用的时间都有所增加，文献[5]方法和文献[6]方法在图像数量超过200幅时，修复图像所用的时间迅速增加，是由于图像数量增加的同时，修复图像过程中的计算量不断增加，进而增加了修复所需的时间. 本文方法所用的时间虽然也随着图像数量的增加不断增长，但是增加的幅度较小，且在相同图像数量情况下所用的修复时间远远少于文献[5]和文献[6]方法所用的修复时间. 本文方法对图像进行分割处理，并利用修复模型在不同区域中对信息进行修复，利用最小化L1范数技术缩小了计算量，进而缩短了修复图像所需的时间，提高了本文方法的修复效率.

3.4   图像修复特征对比

分析3种不同方法下，图像修复的几何特征、灰度特征等，各特征的计算方式为：

面积表示识别的图像缺陷区域的像素数目大小，其计算公式如下：

式中：（x，y）表示像素点.

分散度表示单位面积下，图像缺陷区域周长越长，则缺陷区域形状较复杂，其计算公式如下：

式中：c表示图像缺陷区域的周长.

灰度最大值与灰度最小值表示图像修复中的变换能力，其计算公式如下：

max C = max{ f（m，n）}

min C = min{ f（m，n）}     （26）

式中： f（m，n）表示图像灰度值.

对比度表示图像修复后色差最大所相差的像素级，其计算公式如下：

式中：λ表示图像灰度的标准方差，δ表示图像灰度值的峰态.

对图像修复后的特征指标进行对比，结果如表1所示.

用3种方法对图像进行修复后，图像的各特征指标能够体现修复的效果. 分析表1可知，本文方法修复的图像各特征指标数值与实际值最接近，说明用本文方法修复图像最接近实际，修复效果最好. 而文献[5]方法和文献[6]方法修复图像的各特征指标值与实际值差距较大，表明修复效果难以达到理想值. 本文所提方法基于图像的邻域平均灰度，利用二维直方图对图像进行了精准分割，改善了图像缺陷处的提取效果，并利用稀疏修复模型对图像进行修复，使缺陷区域无限近似图像正常区域，进而提高了图像的修复效果.

4   结   论

图像修复的基本原理是利用图像中存在的有效信息对未知区域进行近似估计，使修复后的图像接近原始图像. 在数字图像处理领域中，图像修复技术是一种重要技术，在众多领域中具有较强的实用性，被广泛地应用在车用带钢表面受损修复中. 目前，车用带钢表面图像信息修复方法存在修复效果差和修复效率低的问题. 为此，提出基于稀疏表示的车用带钢表面图像信息修复方法，利用稀疏修复模型在分割后的不同图像区域中进行信息修复，实验证明，设计方法缩短了修复所用的时间，优化了修复效果. 在图像的修复中，还需要考虑纹理等修复特征，但本文研究未对修复图像的精细程度进行验证，在未来研究中，将会对图像高精度修复进一步完善.

参考文献

[1]    董卫东，彭宏京.基于紧框架的二阶总广义变分图像修复模型[J]. 计算机工程与应用，2018，54（11）：178—184.

DONG W D，PENG H J. Second-order total generalized variational based on tight frame image inpainting model[J]. Computer Engineering and Applications，2018，54（11）： 178—184. （In Chinese）

[2]    徐黎明，吴亚娟，张波. 基于八邻域的自适应高阶变分图像修复算法[J]. 图学学报，2017，38（4）：558—565.

XU L M，WU Y J，ZHANG B. Image inpainting algorithm based on adaptive high order variation in eight neighbors[J]. Journal of Graphics，2017，38（4）：558—565. （In Chinese）

[3]    王聰，杨晶，潘秀娟，等. 基于光参量放大相位共轭特性的图像修复与增强[J]. 物理学报，2017，66（10）：134—140.

WANG C，YANG J，PAN X J，et al. Image restoration and enhancement based on phase conjugation of optical parametric amplification[J]. Acta Physica Sinica，2017，66（10）：134—140. （In Chinese）

[4]    强振平，何丽波，陈旭，等. 利用图像结构成分的优先块匹配图像修复方法[J]. 计算机辅助设计与图形学学报，2019，31（5）：821—830.

QIANG Z P，HE L B，CHEN X，et al. Image inpainting using image structural component and patch matching[J]. Journal of Computer-Aided Design & Computer Graphics，2019，31（5）：821—830. （In Chinese）

[5]    曹大命，翟东海，孟红月，等. 基于先验约束和统计的图像修复算法[J]. 计算机应用，2018，38（2）：533—538.

CAO D M，ZHAI D H，MENG H Y，et al. Image inpainting algorithm based on priori constraints and statistics[J]. Journal of Computer Applications，2018，38（2）：533—538. （In Chinese）

[6]    韩栋，王春华. 基于曲率约束因子与边缘加权法则的图像修复算法[J]. 西南师范大学学报（自然科学版），2019，44（3）：95—100.

HAN D，WANG C H. On image inpainting algorithm based on curvature constraint factor and edge weighted rule[J]. Journal of Southwest China Normal University （Natural Science Edition），2019，44（3）：95—100. （In Chinese）

[7]    廖斌，苏涛. 基于窄带优化的自适应多匹配块随机查找图像修复[J]. 量子电子学报，2017，34（6）：656—661.

LIAO B，SU T. Adaptive multiple matched patches random search image completion based on narrowband optimization[J]. Chinese Journal of Quantum Electronics，2017，34（6）：656—661. （In Chinese）

[8]    黄颖，李凯，杨明. 基于样本块与曲率特征的图像修复改进算法[J]. 计算机应用研究，2018，35（4）：1274—1276.

HUANG Y，LI K，YANG M. Improved algorithm for image inpainting based on sample block and curvature features[J]. Application Research of Computers，2018，35（4）：1274—1276. （In Chinese）

[9]    喬远阳，翟术英，冯新龙. 基于Allen-Cahn方程图像修复的算子分裂方法[J]. 工程数学学报，2018，35（6）：722—732.

QIAO Y Y，ZHAI S Y，FENG X L. An operator splitting method for image inpainting based on the Allen-cahn equation[J]. Chinese Journal of Engineering Mathematics，2018，35（6）：722—732. （In Chinese）

[10]  PENG Y P，SHI H Y，WU H K，et al. An Optimum Shift-and-Weighted brightness mapping for low-illumination image restoration[J]. The Imaging Science Journal，2019，67（4）：187—201.

[11]  王春华，韩栋. 基于边界特征耦合惩罚因子的图像修复算法[J]. 电子测量与仪器学报，2018，32（1）：96—102.

WANG C H，HAN D. Image inpainting algorithm based on boundary characteristic coupling penalty factor[J]. Journal of Electronic Measurement and Instrumentation，2018，32（1）：96—102. （In Chinese） [12]  MIDDLETON C. Machine learning improves image restoration[J]. Physics Today，2019，72（2）：17—19.

[13]  谢斌，丁成军，刘壮. 基于图像分解的图像修复算法[J]. 激光与红外，2018，48（5）：651—658.

XIE B，DING C J，LIU Z. Image restoration algorithm based on image decomposition[J]. Laser & Infrared，2018，48（5）：651—658. （In Chinese）

[14]  张翔，张猛，肖小玲，等. 复杂地层情况下全井周电成像图像修复方法[J]. 石油物探，2018，57（1）：148—153.

ZHANG X，ZHANG M，XIAO X L，et al. Image inpainting for fullbore electrical imaging logging in complex formations[J]. Geophysical Prospecting for Petroleum，2018，57（1）：148—153. （In Chinese）

[15]  LVAREZ-BERMEJO J A，MORALES-SANTOS D P，CASTILLO-MORALES E，et al. Efficient image-based analysis of fruit surfaces using CCD cameras and smartphones[J]. The Journal of Supercomputing，2019，75（3）：1026—1037.

[16]  SANTOS T，SCHRUNNER S，GEIGER B C，et al. Feature extraction from analog wafermaps：a comparison of classical image processing and a deep generative model[J]. IEEE Transactions on Semiconductor Manufacturing，2019，32（2）：190—198.

[17]  杨勇，李露奕，黄淑英，等. 自适应字典学习的卷积稀疏表示遥感图像融合[J]. 信号处理，2020，36（1）：125—138.

YANG Y，LI L Y，HUANG S Y，et al. Remote sensing image fusion with convolutional sparse representation based on adaptive dictionary learning[J]. Journal of Signal Processing，2020，36（1）：125—138. （In Chinese）

[18]  卢佳，保文星. 基于独立空谱残差融合的联合稀疏表示高光谱图像分类[J]. 计算机工程，2019，45（1）：246—252.

LU J，BAO W X. Joint sparse representation hyperspectral image classification based on independent space-spectrum residual fusion[J]. Computer Engineering，2019，45（1）：246—252. （In Chinese）

[19]  单东日，童灿，乃学尚，等. 基于小波和灰度共生矩阵的带钢表面缺陷识别[J]. 制造技术与机床，2020（2）：120—123.

SHAN D R，TONG C，NAI X S，et al. Recognition of surface defects on strip based on wavelet and gray level co-occurrence matrix[J]. Manufacturing Technology & Machine Tool，2020（2）：120—123. （In Chinese）

[20]  张殷，姚宾，梁锦堂，等. 基于线阵相机图像识别技术的带钢焊缝检测系统[J]. 电气传动，2019，49（2）：79—81.

ZHANG Y，YAO B，LIANG J T，et al. Strip weld detection system based on linear array camera image recognition technology[J]. Electric Drive，2019，49（2）：79—81. （In Chinese）

[21]  王殿伟，陈鹏，李大湘，等. 融合纹理信息的深度图像修复[J]. 系统工程与电子技术，2019，41（8）：1720—1725.

WANG D W，CHEN P，LI D X，et al. Depth maps inpainting with fused texture information[J]. Systems Engineering and Electronics，2019，41（8）：1720—1725. （In Chinese）

收稿日期：2020-12-25

基金项目：国家自然科学基金资助项目（51777050），National Natural Science Foundation of China（51777050）;湖南省自然科学基金资助项目（2019JJ70064），Natural Science Foundation of Hunan Province（2019JJ70064）

作者简介：周李洪（1981—），男，湖南茶陵人，湖南大學副教授

通信联系人，E-mail：gongjinke@126.com