基于改进神经网络的图像融合技术*

2021-08-27黄珍，潘颖，苑毅

机电工程技术 2021年7期

黄珍，潘颖，苑毅

（1.兰州文理学院数字媒体学院，兰州 730010；2.兰州文理学院传媒工程学院，兰州 730010）

0 引言

针对图像融合技术的研究一直属于我国图形图像处理单位的研究重点，实施图像融合处理操作不仅是为了将相同传感器中具有相同目标源的信息进行集成处理，对于制定图像信息的融合，也为了提取图像中的关键信息用于描绘一幅新的图像。而经过融合、处理、再生成后的图像不仅保留原图像中的所有特征值，更是为了增加对原图像的价值描述[1]。输出融合后的图像，其画质不仅具备更加清晰的优势，其视觉效果也更加符合人眼的需求，目前针对此方面的研究仍属于在计算机操作下实施的。基于我国高新研究领域与该方面关注度的提升，图像融合技术在我国市场中的应用逐步广泛，目前该技术已实现在遥感监测、红外线光源可见度、医学单位实施诊疗行为等领域应用。近年来，随着我国对该方面研究的不断深入，相关研究的侧重点被转移到对图像的尺度转换融合方面[2]。而在这一背景下，被应用到图像融合处理中的相关支撑性技术，包括小波转换、遥感定位等。尽管提出的相关技术在应用中可实现对图像的动态融合处理，但却在不同层面上存在输出图像边缘模糊、信息细节描述不准确等问题，这些问题也反映了我国对于高新技术的研究仍存在漏洞。而为了解决这一问题，提高融合后图像边缘的清晰度，本文引入改进神经网络，对图像融合技术展开进一步的研究。

1 改进神经网络

改进神经网络是对传统神经网络的优化与改进，属于信息通信的一种。在应用中，通过对动物神经元进行提取，并采用模仿其行为或特征的方式，对相关数据信息进行分布式计算处理[3]。此种网络通过定位目标源的方式，结合通信网络的复杂程度，进行网络中节点信息连接方式的调整，以此达到最终对信息针对性处理的目的。

针对此方面的研究来源于对生物学的研究范畴，使用计算机技术，在硬件设备的支撑下，建立物理数据模型，并借助使用神经算法，进行前端信息的获取与后端信息的反馈[4－5]。区别于传统神经网络算法，本文提出的改进神经网络在应用中的优势较为显著。不仅可实现对网络中大规模信息的并行处理，同时也可实现对自适应信号的高效率定位与获取[6－7]。此外，改进神经网络还具备较强的包容性与信息适应性，对于网络提供给其的信息数据具备较强的自我组织能力，可实现对数据信号的计划性模拟处理。总之，其工作的核心与原理在于对生物学人脑的描述，目前此项技术在市场中已实现了普及化应用。

2 基于改进神经网络的图像融合技术

2.1 构建脉冲融合数学模型

为了满足对多种特征图像的融合需求，引进改进神经网络，建立由多个神经元数据构成的信息反馈模型。按照PCNN模型的构成模式，对脉冲融合数学模型的构建展开研究。在此过程中认为每个数学计算机区域均是由改进分支树、网络调节耦合器与脉冲发生器构成[8－9]。在模型的前端，多个相邻的神经元进行同步信息输入，当导入的多特征图像进入链接区域，调制耦合器对其进行分支树的反馈处理。最终由脉冲发生器根据硬限幅函数，进行图像中特征参数及变化阈值函数的输出，输出的神经元将与邻近的神经网络进行对照处理，以此检测图像在融合中产生的多种数字差异[10]。基于上述分析，对本文设计的脉冲融合数学模型进行函数描述，如下所示。

式中：Fij为图像信息反馈输入次数；n 为网络神经元的构成；β为耦合连接区域；W为图像内部元素活动行为；i为第i个神经元；j为神经元衰减系数（通常为常数）；k 为图像像素矩阵；α为像素灰度；l为图像边缘检测行为。

式（1）所示为脉冲融合数学模型基础表达函数式；式（2）所示为分支树的函数表达式；式（3）所示为网络调节耦合器在常规运行状态下的函数表达式；式（4）所示为变化阈值的取值范围；式（5）所示为脉冲发生器在常规运行状态下的函数表达式。

在满足上述提出约束条件的基础上，即可认为完成对脉冲融合数学模型的构建。

2.2 制定图像融合行为实施规则

在完成上述相关工作的基础上，将具备多个特征参数的图像导入所建立的数学模型中，对其进行多尺度行为转换与维度分解。在PCNN网络的影响下，输出图像中每个像素点的强度值，将数据值导入神经元网络中，并在此神经元周围建立与其他像素信息的直接连接（按照3.0×3.0或5.0×5.0网络结构规划）。在上述提出相关研究的基础上，认为每个神经元的周围存在2种状态，分别为点火状态与非点火状态。考虑到本文设计的脉冲融合数学模型，在实际应用中，具备对信息的捕捉性能，因此针对点火状态的像素神经元，可直接选择对其附近区域内的神经元信息进行捕获即可，而这一过程也可被近似地认为是对网络中信息的有机传递或信息交互过程。

综合上述分析，对PNCC网络中的单个信息进行传递。此时，先对网络中j1神经元进行点火处理，将j1中存在的图像信息，传递给距离其最近的神经元j2。此过程应注意j2需要提前进行点火准备，即在完成对j1的处理后，直接将j2进行点火。但在此过程中，倘若j2外部的神经结构会对j1造成直接刺激，此时需要从整体层面分析，定义整体结构的特征值为k，获取k中与j1相近的数据值，在k的引导下，j1的图像信息才允许被j2接收。而随着数据迭代次数的不断提升，需要不断对j2、j3甚至jn进行结构特征处理，直至完成改进神经元网络中所有信息节点的融合，以此完成对图像融合规则的制定与规划。

2.3 基于高斯噪声处理融合高/低频子带

在完成改进神经元网络中多节点信息的有效融合后，需要持续对输出的图像进行高斯除噪处理。产生此种噪声的原因主要是由于在拍摄图像过程中，拍摄光线不足或信息传感器受到温度及相关因素的影响所导致的，因此在进行图像融合噪声处理过程中，也可将高斯噪声近似看为随机噪声，根据随机分布概率公式，对图像中噪声的分布进行定义。计算如下：

式中：p(z)为随机噪声在图像融合中的分布；σ为噪声z 的标准差；μ为图像像素的灰度值。

在定位图像噪声的基础上，进行边缘去除处理。此过程可如下所示：

式中：a为融合图像噪声的瑞利分布趋势。

在上述公式计算的基础上，对任意一组图像进行高频子带与低频子带的融合，此过程按照图像的显性表达方式处理即可（此行为需图像满足上述噪声分布特征）。具体表达方式如下。

式中：d为图像噪声的系数表达方式。

按照上述计算公式，对其中i进行无限次迭代处理，直至完成网络中所有相关节点图像的融合与去噪处理，以此完成对图像融合技术的设计。

3 对比实验

为进一步验证本文提出的基于改进神经网络的图像融合技术的实际应用效果，本文分别采用3种图像作为实验对象，分别为多聚焦图像、红外与可见光图像和医学CT 图像，3 种图像的分辨率均为1 280×640。为确保实验结果的客观性，实验在利用本文技术和传统技术分别对图像进行融合时，设置相同的实验条件。设置两种技术均在Intel i8，3.2 GHz双核处理器，1.25 T硬盘，16 GB内存当中完成操作。对融合结果分别记录，并以互信息量为客观评价指标。互信息量是指融合后的图像中细节信息的保留量，互信息量数值越大，则说明该技术的融合效果越好；反之互信息量数值越小，则说明该技术的融合效果越差。利用Matlab程序完成对2种技术的互信息量计算，并将实验结果进行记录。根据实验结果中的内容，绘制实验结果对比图，如图1 所示。图中A～E 5种图像融合分组分别为：A为第1组多聚焦图像与红外与可见光图像融合；B为第2组多聚焦图像与红外与可见光图像融合；C为第1组多聚焦图像与医学CT图像融合；D为第2组多聚焦图像与医学CT图像融合；E 为红外与可见光图像与医学CT图像融合。

图1 两种图像融合技术实验结果对比

由图中的2 个曲线可以看出，本文融合技术的互信息量明显高于出台的融合技术，由上述可知，互信息量数值越高表示该技术的融合效果更好。同时，在实验过程中从图像融合后的结果可以看出，在融合的过程中引入了改进神经网络技术，使得本文融合技术在对多组图像融合组进行融合后，清晰程度明显高于传统融合技术，图像并未出现失真的现象；而传统融合技术在实验过程中对红外与可见光图像与医学CT图像融合时出现了严重的失真问题，造成融合质量进一步受到影响。因此，通过对比实验进一步证明，本文提出的基于改进神经网络的图像融合技术在实际应用中具有更加理想的融合效果，能够在融合后的图像当中看出清晰保留的细节信息。