基于残差网络的中子照相图像无参考质量评价方法研究

乔 双 李俊辉 赵辰一 张 天

（东北师范大学 物理学院 长春 130024）

在中子照相系统成像过程中，除了最普遍存在的电子学噪声，中子和物质相互作用时还会发生中子散射，并伴随着X射线、γ射线干扰。一些与待测物反应激活的γ光子和散射的γ光子仍然可以穿透屏蔽层，辐照CCD芯片并在其上积聚能量形成大小不一、形状随机、强度高的白斑。此外，中子注量率在时间和空间上还存在着统计涨落。所有这些因素导致了获取的中子照相图像普遍含有高斯噪声（Gaussian Noise，GN）、高斯模糊（Gaussian Blur，GB）、白斑噪声（White Spots，WS）和泊松噪声（Poisson Noise，PN）等混合失真以及对比度失真（Contrast Change，CC）等降质问题［1-2］。为改善中子照相图像质量，一系列的中子照相图像复原算法［3-4］和中子照相系统优化方法［5-7］被相继提出。然而，对获得中子照相图像质量的评判却仍然主要依赖于人类视觉系统（Human Visual System，HVS）。尽管HVS很适合被用来对图像质量进行综合评判，但是图像的有效质量分数往往需要通过平均多个观察者的主观打分而得到，这一过程耗时且容易受到周围环境和观察者情绪等诸多因素影响，从而难以将其应用于实时优化中子照相系统参数的任务中［8］。因此，开展中子照相图像客观质量评价方法研究，在中子照相图像筛选、辅助中子照相图像处理算法设计和成像系统优化等方面都具有重要的理论和现实意义。

根据对参考图像的依赖程度，图像质量评价方法被分为：全参考图像质量评价（Full-Reference Image Quality Assessment，FR-IQA）、半参考图像质量 评 价（Reduced-Reference Image Quality Assessment，RR-IQA）和无参考图像质量评价（No-Reference Image Quality Assessment，NR-IQA）。由于FR-IQA和RR-IQA方法分别需要参考图像的全部和部分信息作为评判依据，而中子照相系统不具有参考图像，因而经典的FR-IQA和RR-IQA方法都难以应用于中子照相图像的客观质量评价。

为此，本文基于文献［9］中报道的残差网络（Residual Network，ResNet）模型，开展了对中子照相图像的NR-IQA方法研究。由于WS引起的中子照相图像降质问题源于照相器件受到影响，为此，本研究致力于对含有GN、GB和PN以及CC类混合失真的中子照相图像进行质量评价。首先，依据中子照相图像的独特混合失真类型，借助已有公共图像数据库构建可以模拟真实中子照相图像失真类型的实验数据集，并结合一个质量评价性能优异的FRIQA方法对构建的数据集进行质量分数标注，最后通过数据驱动的训练方式获得评价模型参数，以实现对不同失真程度中子照相图像的客观质量评价。

1 评价模型和方法

参考中子照相图像的混合失真类型，对Waterloo Exploration Database［10］公共数据库中的部分图片进行灰度化，并添加10个失真等级的混合噪声来设计实验数据集。由于高斯噪声是与图像内容无关的白噪声，而泊松噪声是跟图像内容有关的统计噪声，且随着图像像素强度而变化，并且高斯模糊和对比度失真一直存在。因此，根据包含噪声类型的不同，将实验数据集划分为两部分：包含GN以及GB和CC的混合失真数据集A；包含GN和PN以及GB和CC的混合失真数据集B。文献［11］指出由于主观图像质量评价的局限性，对于数量较大的数据集，无法通过HVS获得其质量分数，而FR-IQA方法发展已经相当成熟，可以通过使用可靠且性能优异的FR-IQA方法代替HVS方法实现对未加签图像数据集的标定。受此启发，本研究采用文献［12］中的FR-IQA方法，即梯度幅度相似性偏差（Gradient Magnitude Similarity Deviation，GMSD），对所设计的混合失真图像数据集添加分数标签，以用于本研究的网络模型端到端的训练。

1.1 评价模型

文献［9］指出ResNet很好地解决了深度神经网络的退化问题，并在ImageNet和CIFAR-10等图像分类任务上取得了较好的结果，同等层数网络的前提下残差网络也收敛得更快。因此，本研究基于ResNet-50而提出的网络模型结构如图1所示，由特征提取和分数回归两部分组成。需要注意，Layer1～Layer4对应的网络结构如图2所示。

图1 用于中子照相图像质量评价的ResNet网络结构Fig.1 Network architecture of ResNet used for quality assessment of neutron radiographic images

图2 图1中的Layer的网络结构Fig.2 Network architecture of Layer in Fig.1

特征提取部分用于提取输入图像的抽象特征。为了使模型适用于灰度图像，本研究将ResNet-50的输入通道设置为1。此外，为减小模型复杂度，本研究将ResNet-50的4个残差层重复个数从3、4、6和3均更改为1。为保证每个层的输出特征映射图大小和下一层网络结构相适应，本研究的内核、步长S以及最大池化层参数设置均与ResNet-50一致。至此，特征提取部分由一个内核大小为7×7，步长S等于2，输出特征映射图数目为64的Conv7-64的卷积层，一个内核大小为3×3，步长S为2的最大池化层，4个残差层（Layer1～Layer4）以及一个1×1的自适应平均池化层（Adaptive Average Pooling，AAP）等组成。其中，Conv7-64卷积层用来对输入图片按步长进行特征采样，最大池化层用来降低特征维数，残差层用来更好地提取图像的抽象特征，AAP层用来进一步降低特征维数，减少模型参数。4个残差层的主分支及从分支的网络结构组成见表1。需要注意，卷积操作默认的步长S为1。另外，为了阐述的简洁性，本研究在模块组成中省略了对批归一化（Batch Normalization，BN）和激活函数（Rectified Linear Units，ReLU）的阐述。

表1 图1中的4个Layer的主从分支组成Table 1 The composition of master and slave branches of the four Layer in Fig.1

分数回归部分用于将提取的特征映射为图像质量分数。为了使模型适用于图像质量预测任务以及增加模型的非线性拟合能力，本研究使用两个全连接层代替ResNet-50中适用于多分类任务的单全连接层。至此，分数回归部分由全连接层FC-512、比率为0.5的丢弃层（Dropout）和全连接层FC-1组成。其中，本研究添加Dropout层是为了增加模型的泛化能力。

1.2 数据集

为减少由于训练样本过大而消耗过多训练时间，本研究选择Waterloo Exploration Database数据库中928张图片作为参考图片。中子照相图像噪声来源于两个方面：信号相关噪声与信号不相关噪声。文献［2］指出，信号相关噪声主要是散粒噪声，噪声随信号的增大而变大，可以使用泊松分布来模拟；信号不相关噪声主要包含GN、GB以及CC等。因而，中子照相图像噪声可以使用GN、GB、PN以及CC进行模拟。为了模拟真实失真的中子照相图像，本研究对获得的参考图像添加GN、GB、PN［13］以及CC混合失真。

GN的概率密度函数为：

式中：z表示灰度值；μ表示z的平均值；σ表示z的标准差。参考中子失真范围，本研究中GN的均值为0，方差为σ。σ为首项为0、末项为5.9×10-3、公差为5×10-4的等差数列，也即σ共有10个数值。需要注意，数据集的建立所使用的具体参数值为实验经验值。

GB的计算原理为：假设有一个单通道图像矩阵f，高斯模板矩阵h，则卷积公式如下：

式中：m和n分别表示在一个大小为(2M+1)·(2N+1)的高斯模板矩阵h中的横纵坐标；i和j分别表示图像矩阵f中的横纵坐标。则g(i，j)表示以(i，j)为中心的(2M+1)·(2N+1)领域内的数据与对应高斯模板矩阵h的权重因子的乘积加和的结果。高斯模板矩阵的权重计算公式如下：

式中：x和y分别表示高斯模板矩阵中的横纵坐标，模板矩阵的中心位置为原点。ζ是控制高斯曲面的变化程度的高斯核函数中的一个参数。本研究实验使用的高斯模板的半径为N=M，N为首项为1、末项为19、公差为3的等差数列，也即N共有10个数值。参数ζ的数值为ζ=N/6。

CC的计算公式为：

式中：q(i，j)表示调整图像矩阵f后的输出值；l为亮度调节系数。l为首项为0.2、末项为1、公差为8.5×10-2的等差数列，也即l共有10个数值。

1.2.1 数据集A

给每幅参考图片添加10个等级的GB失真，为了增加产生样本中不同失真等级的GB与GN随机组合的多样性，随后随机打乱GN对应的10个σ数值，并继续将对应的GN添加到图像中。由于实际噪声产生中，GB和GN是随机产生的，为了模拟这种随机性，需再次调整GB与GN的添加顺序，即先给每幅参考图片添加10个被打乱了失真等级的GN，随后继续添加10个等级的GB。考虑到中子照相图像失真也包含对比度失真，本研究进一步随机打乱CC对应的10个l，并将l对应的CC添加到图像中。由于中子照相图像普遍为灰度图，故需对降质的图像进一步进行灰度化处理，并通过GMSD方法对降质后的图像进行图像质量分数标注，以建立数据集A。至此，数据集A共包含18 560张，为方便度量图像质量，本研究将GMSD标注的分数归一化为0～1，该分数数值越大表示图像失真越严重。数据集A的部分样本如图3所示。其中，（a～d）和（e～f）分别为GB-GN-CC和GN-GB-CC类混合失真，对应的数值为GMSD标注分数。

图3 数据集A中的部分图片Fig.3 Partial images of dataset A

1.2.2 数据集B

除了与信号不相关的GN噪声，数据集B进一步引入了与信号相关的PN噪声及失真。其中，GN对应的10个σ数值被随机打乱。随后，本研究继续给降质图片添加l随机排序后对应的CC，并将处理后的图片进行灰度化处理，使用GMSD方法对图像标注分数。至此，数据集B共包含55 680张失真图片，部分图片如图4所示，其中，（a～d）、（e～h）、（i～l）、（m～p）、（q～t）和（u～x）分别为向GB-GN-PN类混合失真、GB-PN-GN类混合失真、GN-GB-PN类混合失真、GN-PN-GB类混合失真、PN-GB-GN类混合失真和PN-GN-GB类混合失真，每类失真均添加了CC失真的混合失真图像。

图4 数据集B中的部分图片Fig.4 Partial images of dataset B

2 实验与结果

2.1 实验描述

将所建立的混合数据集A和B作为本研究的实验数据集，实验数据集按照80%和20%的比例被随机划分为训练集及测试集。训练集被用来训练模型，而测试集被用来评估模型的性能。该划分重复10次，最终的斯皮尔曼等级相关系数（Spearman Rank Order Correlation Coefficient，SROCC）和皮尔逊线性相关系数（Pearson Linear Correlation Coefficient，PLCC）值是在10次随机划分的测试集上测试结果的中值。SROCC和PLCC分别表示模型预测值与真实值的单调性和线性度，被用于本研究停止训练模型的依据。

训练阶段，在训练的每次迭代中，训练数据集中的每张图片被随机裁剪出一个224×224的子块，并使用自适应矩估计算法（Adaptive Moment Estimation，ADAM）来优化模型，模型的目标函数使用加了L2正则项约束的均方差损失函数，其为：

式中：K表示每次送入模型子块的数目；f(yk)表示第k张输入图片yk对应的模型预测输出分数；gk表示输入图片的实际分数；ω表示网络中所有卷积层和全连接层的权重数值；λ是一个用来惩罚较大权重的调节系数。本研究端到端训练的目标为使损失值L尽可能达到最小值。

测试阶段，本研究按照步长224对一副图像进行裁剪，假设该幅图像被裁剪成Kp个子块，则该图像的质量分数Q可表示为10个模型下的均值：

式中：t表示使用第t次随机划分后训练得到的模型进行图像质量评估。

2.2 测试集图像的质量预测

为测试模型在测试集上的准确性，本研究选用了测试集中含有不同失真类型的图片进行质量评估，测试结果如图5所示。对比图5（a～h）可以看出，本研究的模型可以较好地感知图像质量变化。比如图5（b）和5（c）对比度相近，但图5（c）纹理细节较图5（b）模糊，故模型对图5（c）的质量评价分数高于图5（b）。而图5（e）和（f）模糊度相近，但图5（f）比图5（e）更暗，故模型对图5（f）的质量评价分数高于图5（e）。此外，模型在测试集上的测试分数和GMSD标注的分数值较接近。综上可得，模型在测试集上具有较好的预测性能。

图5 模型对测试集中不同失真类型的部分图片的质量评估，括号外的数值为模型预测值Fig.5 Quality assessment of parts of images with different types of distortion in the testing set by using the model,and the value outside bracket denotes the predicted value of the model

2.3 中子照相图像的质量预测

为进一步验证模型在评估真实中子照相图像质量时的有效性，对两组不同实验环境下得到的真实中子照相图像进行质量预测。图6和图7为在德国慕尼黑技术大学的FRM-II研究堆上拍摄的中子照相图像，FRM-II反应堆采用了紧凑堆芯概念，其作为中子源具有功率高（20 MW）和热中子注量率较高（约8×1014n·cm-2·s-1）的特点。其中，图6为样品与探测器距离相同，而准直比L/D不同下所获得的小电机中子照相图像。图7为准直比L/D相同，而拍摄距离不同下获得的软盘驱动器中子照相图像。为验证FR-IQA方法在这两组中子照相图像上的预测精度，假设以上两组图片中每组中最清晰的图片为对应的参考图片，使用全参考方法结构相似性（Structural SIMilarity，SSIM）［14］算法，峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）以及本研究提出的方法对这两组中子图片进行质量评价。其中，SSIM评估数值越接近于1表明图像质量越好，而PSNR值越大，表明图像质量越好。

本研究首先假设图6（d）为图6（a～c）的参考图像，假设图7（c）为图7（a、b）的参考图像，使用以上三个方法的评价结果见表2。通过人眼视觉对图6和图7的质量评价，可得图6（a～c）和图7（a、b）的质量均依次升高。

从表2可以看出，PSNR对图6（a）、（b）的质量预测值差别较小，而实际图像间的清晰度差别较大，预测值应该有较大的差异（比如±3dB）。此外，PSNR对图6（b）和（c）的质量预测值均为15.01 dB，即图6（b）、（c）的质量相同，这与图6（b）、（c）的客观质量并不存在一致性关系。表中PSNR对图7（a）的预测值小于对图7（b）的预测值，尽管预测结果和图像客观质量相一致，但通过综合PSNR的表现可以得出，PSNR在此类情况下对中子照相图像质量评价并不稳健。

图6 在L/D为71(a)、115(b)、320(c)和大于500(d)情况下获得的小电机中子照相图像Fig.6 Neutron radiographic images of small motor obtained at L/D=71(a),L/D=115(b),L/D=320(c),and L/D>500(d)

图7 拍摄距离为20 cm(a)、10 cm(b)和0 cm(c)情况下获得的中子照相图像Fig.7 Neutron radiographic images of floppy drive obtained at distances of 20 cm(a),10 cm(b)and 0 cm(c)

表2 不同方法对图6和图7的中子照相图像的质量评估Table 2 Quality assessment of neutron radiographic images in Fig.6 and Fig.7 with different methods

由表2，SSIM对图6（a）、（b）和（c）的评价数值依次降低，即它们的质量依次降低，这与图6（a）、（b）和（c）的图像质量依次变好这一客观事实相反。表2中SSIM对图7（a）的预测值小于对图7（b）的预测值，尽管预测结果和图像客观质量相一致，但通过综合SSIM的表现可以得出，SSIM在此类情况下对中子照相图像质量评价依然不稳健。造成PSNR和SSIM评估结果鲁棒性较差的主要原因在于其对理想参考图像的依赖性，而本研究假设的参考图像本身含有较多的噪声。但在实际中子照相乃至其他核成像实验中，都难以获得理想的参考图像。

因此，经典的PSNR和SSIM等FR-IQA方法都无法直接应用于真实中子照相的图像质量评估。而本研究方法对图6（a）、（b）和（c）的预测值逐渐减小，即图像质量逐渐增高，这与图6（a）、（b）和（c）的客观图像质量变化相吻合。同时，本研究方法的预测值也非常好地符合图7（a）和（b）的客观图像质量变化。

3 结语

本研究针对真实中子照相不具有参考图像而难以对其进行客观质量评价的问题，参考中子照相图像的失真类型，构建了可以模拟失真中子照相图像的混合失真实验数据集，并采用数据驱动的训练方式获得了中子照相图像质量预测模型。实验结果表明：本研究提出的方法无论在测试集还是真实中子照相图像上，都具有与图像的客观质量相一致的预测结果，因而证明了其在中子照相中的应用潜力。此外，本方法还可以为中子照相图像处理算法的优化设计提供参考。