基于视觉传达的大型船舶航行图像融合研究

蒋顺生

(韩国东亚大学，韩国 釜山 49315)

0 引 言

大型船舶识别是海上监测的主要内容之一，对于海域管理与船舶管理具有重要意义[1]。而图像融合是图像识别的重要环节，高质量的图像融合能够显著提升船舶识别的准确性[2]，因此研究船舶图像对于海域管理与船舶管理具有重要意义。贺欣等[3]采用基于ResNet 的方法进行图像融合处理，但大型船舶航行过程中外界环境的复杂性导致该方法的实际融合效果较差。蒋一纯等[4]基于图像退化模型实现图像融合目的，但该方法应用过程较为复杂，实时性能较差。罗迪等[5]利用生成对抗网络融合图像，但该方法融合后的图像存在显著细节信息丢失问题。因此研究基于视觉传达的大型船舶航行图像融合方法，为海域管理等研究提供新的方向。

1 大型船舶航行图像融合方法

1.1 基于视觉传达的大型船舶航行图像去模糊处理

式（1）中第一个“+”前部分为保真项，第一个“+”与第二个“+”后部分分别为关于x和关于k的正则项，前者的主要目的是在大型船舶航行图像重建过程中提升尺度不变的稀疏性，后者的主要目的是降低k的噪声。

式（1）可由初始x与k开始，通过交替更新两者对其进行优化。在k被估计出来后，通过非盲去卷积算法可从模糊的大型船舶航行图像中复原出清晰图像f。最简单的非盲去卷积算法为强化学习算法[6]，但该算法在实际应用过程中对模糊核具有较高敏感度，当模糊核估计产生偏差时，通过强化学习算法去模糊处理后的图像将存在显著的振铃效应。针对这一问题，可通过总变分正则化方法对大型船舶航行图像实施非盲去卷积处理，式（2）为大型船舶航行图像去模糊处理过程中的总变分正则化模型为：

利用快速总变分图像复原算法对式（2）进行求解，该算法在求解过程中具有运算效率高以及对模糊核较差误差具备较强鲁棒性的优势[7]，由此能够获取较高质量的去模糊大型船舶航行图像。

1.2 基于视觉传达的大型船舶航行图像亮度调整

对大型船舶航行图像进行去模糊处理后，通常会使航行图像的亮度发生变化，为了校正去模糊后航行图像的亮度，采用伽马校正算法对其进行校正。该算法经由调整参数 γ实现航行图像像素值的非线性变换，由此调整因去模糊处理导致的航行图像亮度变化问题，公式为：

式中：T(l)和l分别表示亮度调整后输出的航行图像强度和输入的去模糊处理后航行图像强度，lmax和 γ分别表示输入的去模糊处理后航行图像灰度值上限和伽马校正系数。

在 γ>1 的条件下，航行图像的灰度值提升，图像整体亮度与对比度均有所提升；在 γ<1 的条件下，航行图像的灰度值与整体亮度下降，但其对比度却有所提升。

1.3 基于视觉传达的图像融合

针对2 幅去模糊与亮度调整后的航行图像，可通过以下过程进行图像融合处理：

步骤1 确定2 幅航行图像的熵值，对比2 幅图像熵值结果，以A 图像和B 图像分别描述熵值较大的图像和熵值较小的图像。通过基于二维局部均值分解算法获取A 图像的残余分量，令其同B 图像具有显著相关性。

步骤2 通过基于方向滤波的二维局部均值分解法分解A 图像残余分量与B 图像的频率，得到高频方向子带与低频子带。

步骤3 分别对高频子带与低频子带进行融合，由此获取高频系数与低频系数。

步骤4 基于所获取的高频系数与低频系数，通过基于方向滤波的二维局部均值分解法的逆运算实施变化，将逆变换所获取的结果与步骤1 中A 图像提取残余分量后剩余的部分结合，即可获取融合后的大型船舶航行图像。

1.3.1 高频系数计算

大型船舶航行图像的高频部分包含图像的主要特征与细节信息，为保障这些特征与信息不丢失，可选取基于多判据的高频系数融合标准，经由比较区域能量与区域清晰度的不同获取航行图像融合过程中的高频系数。

1）基于区域能量不同的融合标准

R1表示区域能量的对比差异，利用式(4)确定R1：

式中：EA(x,y)和EB(x,y)均表示高频系数的区域能量，EA和EB分别表示对应窗口A 图像与B 图像的能量和。

若R1(x,y)>1，则说明A 图像的区域能量对插差异值高于B 图像，因此可选择A 图像高频系数；相反选择B 图像的高频系数。

2）基于区域清晰度差异的融合标准

R2表示区域清晰度对比差异，利用下式确定：

式中：CA(x,y)和CB(x,y)均表示高频系数的区域清晰度，CA和CB分别表示对应窗口A 图像与B 图像的清晰度和。

若R2(x,y)>1，则说明A 图像的区域清晰度对比差异值高于B 图像，则选取A 图像的高频系数；相反选取B 图像的高频系数。

基于以上计算结果，依照R(x,y)获取最终的高频系数为：

即最终的高频系数R(x,y)为R1(x,y)与R2(x,y)中的较大值。

1.3.2 低频系数计算

大型船舶航行图像的低频部分中包含其主要能量，可通过自适应加权平均法对图像低频系数进行融合，公式为：

式中：CF(i,j)表示低频系数融合结果， ηξ和 ηψ分别表示背景图像与目标图像的隶属度，CA(i,j)和CB(i,j)分别表示A 图像与B 图像点(i,j)的低频系数。

式（7）中的里隶属度可通过高斯隶属度函数确定，公式为：

式中： µ和k分别为图像B 低频系数的平均值与阈值范围为1～3 的可修改参数， σ表示图像B 低频系数的标准偏差。

2 仿真实验分析

本文研究基于视觉传达的大型船舶航行图像融合方法，为验证本文方法的实际应用性能，以某数据库中的船舶航行图像数据集为研究对象，研究对象中包含不同大型船舶在不同海洋环境与空气环境下以及不同成像区域、成像距离、成像时间成像角度下所采集的航行图像。采用本文方法对研究对象中的航行图像进行融合测试。

2.1 图像视觉传达处理效果分析

2.1.1 直观效果分析

在研究对象中随机选取一艘大型船舶航行图像（见图1），采用本文方法对其进行去模糊处理与亮度调整，结果如图2 和图3 所示。可知，采用本文方法对所选图像进行去模糊处理后，与初始图像相比，图像的内容更为全面，细节更为清晰。采用本文方法进行亮度调整后，图像的亮度也显著提升，进一步提升了目标细节度。由此说明采用本文方法对能够有效提升大型船舶航行图像的细节清晰度，令图像的视觉传达效果增强。

图2 去模糊处理后图像Fig.2 Image after deblurring processing

图3 亮度调整后图像Fig.3 Image after brightness adjustment

2.1.2 客观效果分析

为客观分析本文方法对大型船舶航行图像的视觉增强效果，在图1 的基础上，另外选择2 幅图像进行去模糊与亮度调整处理。选取标准偏差（用于分析图像对比度，其值越大图像对比度越大）、峰值信噪比（用于分析图像的保真性，其值越大图像失真越小）和信息熵（用于分析图像信息量，其值越大图像中细节信息量越大）3 个评价指标对本文方法的视觉传达处理效果实施客观评价，结果如表1 所示。可知，采用本文方法对研究对象实施视觉增强处理后，航行图像的标准差提升2 4.5% 以上，峰值信噪比提升18.3%以上，信息熵提升5.4%以上。由此说明本文方法能够显著提升大型船舶航行图像的视觉传达效果。

表1 图像视觉传达增强效果分析Tab.1 Analysis of image visual communication enhancement effect

2.2 图像融合效果客观分析

图像融合是图像识别的关键环节，高质量的图像融合能够显著提升图像识别精度。采用本文方法对大型船舶航行图像实施融合处理，为验证本文方法的图像融合性能，对比基于采用本文方法融合图像前后的船舶图像识别性能，结果如图4 所示。可知，采用本文方法对图像融合处理后，能够显著提升图像识别的准确度，由此说明本文方法具有较高的图像融合效果。

图4 船舶图像识别性能Fig.4 Performance of ship image recognition

3 结 语

本文研究基于视觉传达的大型船舶航行图像融合方法，通过去模糊处理与亮度调整提升大型船舶航行图像的视觉传达效果。在此基础上，通过基于方向滤波的二维局部均值分解法实现图像融合。实验结果显示，本文方法能够较好地增强视觉效果，基于本文方法融合后的图像进行图像识别，准确率显著提升。