线纹计量图像超分辨率重构技术研究

2022-09-14李淼石羽南

电子制作 2022年17期

关键词：卷积分辨率重构

李淼，石羽南

（中国空空导弹研究院，河南洛阳，471003）

0 引言

影像式计量设备被广泛应用于力学、几何量、电子等专业的校准检定工作，通常由光照系统、伺服系统、采集系统、上位机判别系统等部分组成，图1为市场常见的商用全自动影像式计量设备。

图1 常见的商用全自动计量设备

虽然基于图像采集的影像式计量设备的光照条件、图像采集模块分辨率、伺服机构稳定性、使用条件及环境稳定性正逐步提升，且设备能够按照用户的需求设计及研发，理想状态下计量全过程无需人员参与，能够有效提升计量效率。但在实际操作过程中，由于光照、震动、待测仪器形变或磨损等各种原因，在结果判别时常需要人工介入进行中心线选取及确认等工作，大大降低了自动化工作的效率。

图2为待测线纹量具在视场内显示效果欠佳、采集及处理后的图像分辨率不足的视场图像示意图，可通过将所采集到的信息量较少的图像经过系列变换处理得到高信息量的图像。

图2 影像式计量系统采集结果示意图

本文将基于卷积神经网络的超分辨率重构技术引入到计量图像处理工作中。对影像式计量设备中所采集的自然单幅图像进行超分辨率复原，在提高超分辨率图像的质量的同时尽可能减少计算量，从而全面地提高算法性能。

1 国内外研究现状

图像超分辨率重构技术分为两种，一种是从多张低分辨率图像合成一张高分辨率图像，另外一种是从单张低分辨率图像获取高分辨率图像[2]，本文模拟影像式计量设备视窗内采集的单幅图像超分辨率重构。

图像超分辨率重构主要分为浅层学习（主要包含基于插值的超分辨方法、基于重构的超分辨率方法、基于学习的超分辨率方法）以及基于深度学习的方法[3]。

基于深度学习的方法是浅层学习方法的升级版，浅层学习中基于学习的多层次体系方法是以监督学习的方法自动化特征空间转换，当采用深度神经网络构建这种多层体系结构时，称为深度学习，采用卷积神经网络搭建对应的多层体系结构，不断训练和拟合由低分辨率到高分辨率图像之间的映射关系[3]。目前学界内普遍认可这一表述在实际的运用过程中被证实能够应用于大多数场景，这也是深度学习目前在多个领域均得到广泛应用和传播的原因之一。

由Dong等人首次提出SRCNN[5]。该方法使用了三个卷积层，其作用分别为图像块的提取和特征表示、特征非线性映射、最终的重构。方法中对低分辨率图像使用双三次插值将其放大到目标尺寸后，通过卷积神经网络完成非线性映射的工作，这样得到的处理结果便是高分辨率图像。Dong等人对SRCNN的工作进行了改进，提出了一种加速卷积神经网络的超分辨率方法FSRCNN[5]。相比SRCNN，FSRCNN在整个模型的末端使用了一个反卷积层进行尺寸的放大。因此，可以直接将未经放大的低分辨率图像输入到网络中，而不需要SRCNN中的插值预处理。Lai[5]等人提出了一种拉普拉斯金字塔超分辨率网络(LapSRN)，该网络可以在多个金字塔尺度下逐步恢复多尺度的高分辨率图像。由于以上方法均基于有监督的训练方法，需要大量的成对数据集来对网络进行预训练，限制了这些方法在很多实际场景中的适用性。DBPN[45]通过设计迭代上下采层提出了迭代误差反馈机制，使网络实现了自校正过程，但采用单一大小的卷积核提取图像特征并学习特征映射限制了网络恢复高频特征的能力。SRFBN利用具有约束的 RNN 中的隐藏状态来构造反馈模块，以驱动反馈流并生成强大的高级表示，但忽略了特征通道间的相互依赖性，约束了网络学习高层表示的能力。2018年，Zhang等人提出深度残差通道注意网络RCAN，由几个具有长跳跃连接的残差组构成的结构来构建深度网络，形成残差注意力机制，但网络训练相对较慢，且生成的高分辨率的图像则会存在边缘模糊等情况。

尽管上述模型能够取得卓越的性能，但需要巨大的计算和训练能力。为了能应用于更广泛的真实计量应用场景，需开发一种快速的、注重边沿细节优化的和轻量级的网络。

2 线纹计量图像超分重构方法

■ 2.1 图像特点分析

通过对计量图像的观察，发现其通常构成为简单、体量较小且多为单色值的图像，所以在构造超分网络时，计量图像很容易被解析为两个次层次组件—边缘有效值及内像素。其中边缘有效值对应高频信息部分，即在识别线纹或数字时，仅需对边缘处图像进行超分辨率，内像素对应图像低频部分，理想状态可丢弃或不做处理。

大多数超分辨率重构算法是针对单张或多张图片进行重构，即关注图像中的每一个像素。但是，如将超分辨率算法引入到计量影像重构中，背景区域的深度处理其实对于后续测量步骤没有价值。因此，本文在SR2CNN算法[7]的基础上进行了优化，提出超分计量影像分支重构思想。

■ 2.2 超分计量影像分支重构思想

由于计量影像的单一特性，除了轮廓等高频信息外，其他视野内信息大多为无效信息。本文特引入目标检测算法中常见的“前景目标”的概念，设计了两条并行路径取处理不同的图像信息。一条针对高频有效信息数据（即前景）进行重构，一条针对低频信息（即背景）。在并行处理的过程中，一方面强化有效信息，一方面选取轻量级基础模型去减少对背景区域的计算量，提高图像重构速度，更好的满足实际使用的实时性需求。示意图如图3所示。

图3 超分计量影像分支重构思想示意图

第一步：解析并分割图像，在此步骤中，不直接对LR图像进行上采样。过多的像素将带来过多的计算，根据图像特点，摒弃深度学习的图像分割方法，选取成熟且调节能力强的图像分割方法来完成此项工作；

第二步：通过SR2CNN对图像进行高频信息超分重构，使用转置卷积层来完成这部分工作。为了提高重构细节的质量，需要不断地调整转置卷积层的数量；

第三步:处理背景图片，选取轻量级算法进行图像处理；

第四步:完成前景及背景图像融合映射，输出高分辨率图片。

■ 2.3 实现步骤

2.3.1 基于阈值的图像分割

图像分割是指在一副图像中，根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同达到从背景中分离目标的目的。

本文采用了图像分割中的 OTSU方法（即“大津法”）。假定一张图片共有n个像素，其中灰度值小于阈值的像素为n1个，大于等于阈值的像素为n2个（n1+n2=n）。w1和w2表示这两种像素各自的比重。而所有灰度值小于阈值的像素的平均值和方差分别为μ1和σ1，所有灰度值大于等于阈值的像素的平均值和方差分别为μ2和σ2。于是，可以得到：

类内差异 = w1(σ1)2+ w2(σ2)2

类间差异 = w1w2(μ1-μ2)^2

合适的阈值时让类内差异最小或者类间差异最大，从计算角度出发，本文选择后者进行计算，即 BSS：

分割后图片如图4所示。

图4 图像分割效果

2.3.2 基于高频信息的密集深度卷积神经网络

本文采用了SR2CNN[7]卷积神经网络来提高SR图像高频部分的质量,如图5所示。该方法使用反卷积层来对图像进行放大，由于仅针对高频信息处理，采用多对多的连接机制，大大减少了参数的数量，有效地解决了梯度消失问题。

图5 SR2CNN网络结构

在特征提取时，网络之间采用多对多连接，可以增强特征的传播，避免梯度弥散问题，且可以大大减少参数的数量。在重构中，考虑使用反卷积层，从而进一步保证了重构的质量。为了提高模型的重构速度的同时不影响其重构质量，使用多个卷积核大小为1×1的并行卷积网络，来增强其非线性表达能力。

3 实验及验证

■ 3.1 数据集

由于线纹图像数据信息较少，数据的代表性不够、部分还包含太多的噪声或者是被一些无关特征污染，这样的模型对训练数据集的拟合程度不能指导泛化误差。本文对数据集进行了45°及90°的旋转，并在开始构建模型之前将数据集进行划分，防止数据窥探偏误，也就是说我们避免了解太多关于测试集中的样本特点，防止所挑选的图像都是有助于测试集数据的模型。

降质后，对数据集进行了标识及筛选，共1224张。根据训练集、开发集、测试集6：3：1的比例，最终完成了本地线纹计量影像数据集库，其中：

(1)训练集（Train set）:用于模型拟合的数据样本,本数据集中存在800图像；

(2)验证集（Validation set）:是模型训练过程中单独留出的样本集，它可以用于调整模型的超参数和用于对模型的能力进行初步评估。通常用来在模型迭代训练时，用以验证当前模型泛化能力（准确率，召回率等），以决定是否停止继续训练，本数据集中存在284张；

(3)测试集（Test set）:用来评估模最终模型的泛化能力。但不能作为调参、选择特征等算法相关的选择的依据，共140张。