基于简化脉冲耦合神经网络的图像融合实验

史敏红 李树文

DOI：10.16644/j.cnki.cn33-1094/tp.2021.11.016

摘  要： 将基于NSST域的简化脉冲耦合神经网络（Simplified Pulse Coupled Neural Network，SPCNN）模型应用到图像融合中。文章选取一组医学图像（CT和MRI）和一组遥感图像（可见光和红外），分别采用SPCNN算法和传统算法进行图像融合对比实验。实验结果表明，SPCNN算法在主观视觉方面得到较好的效果，还提高了算法运行速率，保留了更多的图像细节信息。

关键词： NSST变换; 脉冲耦合神经网络; 图像融合; 人工智能

中图分类号：TP391.4          文献标识码：A     文章编号：1006-8228（2021）11-63-03

Experiment of image fusion with simplified pulse coupled neural network

Shi Minhong， Li Shuwen

（Shanxi Engineering Vocational College， Taiyuan， Shanxi 030032， China）

Abstract： The Simplified Pulse Coupled Neural Network （SPCNN） model based on the NSST domain is applied to image fusion. In this paper， a pair of medical images （from CT and MRI） and a pair of remote sensing images （visible and infrared） are selected， and the image fusion contrast experiments are carried out on them by using SPCNN algorithm and traditional algorithm respectively. The experimental results show that SPCNN algorithm not only achieves good results in subjective vision， but also improves the running speed of the algorithm and retains more image details.

Key words： NSST transform; pulse coupled neural network; image fusion; artificial intelligence

0 引言

近年來，图像融合研究成为当下研究的热点。例如可见光和红外图像融合，红外图能够表征地物热辐射的分布情况，热目标突出，而可见光图像成像原理是依据反射成像，场景信息丰富，利用两者信息互补性，将红外与可见光图像进行融合，可以得到一幅既包含红外图像显著目标信息，又包含可见光图像丰富背景信息的融合图像，在军事、遥感、计算机视觉等领域有着广泛的应用。医学影像如CT（Computed Tomography，计算机断层扫描成像）和MRI（Magnetic Resonance Imaging，核磁成像）为医生的诊断提供方便。CT对骨骼成像比较清晰，MRI对软组织成像较好，将它们融合在一幅图像中，形成信息互补，帮助医生更加准确快速的识别病变[1]。

多尺度变换是图像融合研究的热点，D.Lee等[2]提出了Shearlet变换（Shearlet Transform，ST），非下采样 Shearlet变换（Non-subsampled Shearlet Transform，NSST）具有平移不变形，数学结构简单。

脉冲耦合神经网络（PCNN）是由Eckhorn等[3]在90年代提出的。目前PCNN被广泛的应用于图像融合领域，传统的PCNN模型只有一个输入激励，而单通道PCNN无法处理整个融合过程，图像融合需要多通道PCNN。谢秋莹等[4]提出一种基于SML和PCNN的NSCT域多聚焦图像融合方法，算法将改进拉普拉斯能量作为PCNN的输入激励，解决了融合过程中伪影问题，但是算法采用非下采样Contourlet变换，使得算法复杂度较高。Wang等[5]提出了一种m-PCNN（Multi-channel Pulse Coupled Neural Net-work，m-PCNN）模型将其运用于医学图像融合，m-PCNN模型的特点是外部通道的数量可以根据实际需求改变，此模型适用于多幅图像的融合，缺点是模型结构复杂，参数靠人工经验设置固定值。本文采用简化脉冲耦合神经网络模型进行图像融合实验，模型涉及参数少，且结构简单，实验表明在图像融合中本文算法效果较好，能更好的保留图像细节信息。

1 SPCNN模型

SPCNN也是由接受部分、调制部分和脉冲产生部分组成。SPCNN的模型中参数较少，模型结构简单。采用简化PCNN模型，其数学模型为：

其中，[SKi，j（K=1，2）]表示外部刺激，[fk]是相邻神经元对当前神经元的影响因子，[HKi，j]为链接输入，[VT]为链接输入放大系数，[αT]为时间常数，W权系数矩阵，[βk]为链接强度，[Li，j]为链接输入，[Ti，j]为阈值函数，[Yi，j（n）]为神将元输出，其值为0或1，[Ui，j]为神经元内部行为，当[Ui，j（n）>Ti，j（n）]时，神经元被点火，输出信号[Yi，j=1]。当[Ui，j

2 本文融合方法及步骤

⑴ 对图像进行NSST变换，分别得到两幅源图像的低频子带系数分别为[{CAL， CBL}]，高频子带的系数分别为[{Cl，kA（i，j）， Cl，kB（i，j）}]，其中[CXL（i，j）]為低频系数，[Cl，kX（i，j）]表示为[l]尺度、k方向的高频系数，X代表A，B两幅图像;

⑵ 对于图像低频子带采用边缘能量和梯度能量和的融合规则，增加边缘特征的提取能力;对高频部分采用SPCNN模型进行融合，链接强度采用可见度值，减少误差;

⑶ 进行逆变换得到融合图像。

3 仿真实验

3.1 两组实验

实验环境 MATLAB R2013a，[VT=4000]，[fk=0.5]，[N=200]，[W=0.10910.14090.10910.140900.14090.10910.14090.1091]。

本文选取了一组人脑脑中风图像（CT和MRI）和一组可见光和红外图像进行实验。对每一组图像，本文将该算法与以下对比算法进行对比：

算法1：传统像素值取大的算法;

算法2：本文简化脉冲耦合神经网络融合算法。

图1（a）和图2（b）分别为已经配准好的脑中风图像，大小均为[256×256]。图1（c）和图1（d）为各算法融合结果。

从视觉效果上看，算法1得到的图像边缘出现伪影，图像纹理细节信息不清晰，图像整体模糊，算法2得到的图像具有较好的亮度，融合图像清晰，视觉效果较好。

图2（a）和图2（b）分别为已经配准好的可见光和红红外图像，大小均为[256×256]。图1（c）和图1（d）为各算法融合结果。

从视觉效果上看，图像纹理细节信息不够清晰，图像整体模糊，整体图像较暗，算法2得到的图像具有较好的亮度，融合图像清晰，视觉效果较好。

4 结论

通过本文的实验，对可见光和红外图像、脑部CT和MRI图像进行融合，验证了脉冲耦合神经网络的算法的有效性。将遥感图像和多模态医学图像融合，具有现实意义。

参考文献（References）：

[1] Guo K， Labate D. Characterization and analysis of edges using the continuous shearlet transform[J]. Siam Journal on Imaging Sciences，2012.2（3）：959-986

[2] Eckhorn R， Reitboeck H， Arndt M， et al. Feature Linking via Synchronization among Distributed Assemblies： Simulations of Results from Cat Visual Cortex[J]. Neural Computation，2014.2（3）：293-307

[3] 谢秋莹，易本顺，柯祖福等.基于SML和PCNN的NSCT域多聚焦图像融合[J].计算机科学，2017.44（6）：266-269

[4] Wang Z， Ma Y. Medical image fusion using m-PCNN[J].Information Fusion，2008.9（2）：176-185

[5] Wang Z ， Ma Y ， Gu J . Multi-focus image fusion using PCNN[M]. Elsevier Science Inc，2010.

[6] 史敏红.基于非负矩阵分解的多模态医学图像融合研究[D].中北大学，2018.