一种水上目标可见光图像生成红外图像的方法

徐亦欣，胡清平，熊 张，张晓晖

一种水上目标可见光图像生成红外图像的方法

徐亦欣，胡清平，熊 张，张晓晖

（海军工程大学 兵器工程学院，湖北 武汉 430034）

红外警戒系统、红外成像制导导弹等军事装备在进行性能评估和模拟训练过程中都需要大量红外仿真图像，但目前红外仿真软件普遍存在生成红外仿真图像逼真度差、软件普适性不好等问题，且国外技术封锁造成我国红外仿真软件发展缓慢。因此，针对国内可见光图像仿真技术日趋成熟的现状，为提高红外仿真图像质量，本文提出了一种采用循环生成对抗网络、由可见光图像生成红外仿真图像的方法，并通过实验验证该算法是有效可行的。该算法首先通过区域生长算法从采集的可见光图像中提取水上目标，建立了水上目标可见光图像生成红外图像的训练数据集；然后利用训练好的网络生成红外仿真图像。测试实验表明，采用这种方法所生成的水上目标红外仿真图像视觉效果接近真实红外图像，可实际应用于海军红外军事装备模拟试验和训练系统。

红外图像仿真；图像风格迁移；循环生成对抗网络；区域生长算法

0 引言

当前，以红外成像技术为基础的红外警戒系统、红外制导导弹等军事装备已经在现代战争中逐渐占据重要地位[1]。这些装备在性能测试阶段，通常需要通过外场试验来对其目标跟踪能力、抗干扰能力和虚警率等性能指标进行测试与评估[2]，但红外成像系统受试验环境和气象条件等因素的影响较大，依据单次外场试验的结果难以对装备在不同作战环境和气象条件下的性能指标作出客观精确的测试和评估，需要采用红外图像仿真技术来模拟战场环境和军事目标进行多次可重复的测试试验[3]；而为了保证红外装备能在战时发挥最大的作战效能，也需要生成大量军事目标在不同作战环境和气象条件下的红外仿真图像来对作战人员进行模拟训练[4]。因此，早在20世纪70年代，国外就通过外场试验结合理论建模对红外图像仿真技术展开了研究，先后研发出Vega Prime、SE Workbench等较为完善的红外视景仿真软件[5]，但存在逼真度差、普适性不好的问题。而且由于存在技术封锁，国内红外视景仿真软件发展缓慢，主要以自建模型和依托仿真软件包建模渲染为主[6]。

近年来，深度学习技术异军突起，涌现出许多基于神经网络的仿真图像生成技术，特别是Goodfellow等人率先提出的生成对抗网络（Generative Adversarial Networks，GAN）[7]可以实现图像风格的迁移。考虑到国内可见光图像仿真技术比较成熟，而且军事目标在不同作战环境和气象条件下的可见光图像远比红外图像丰富，本文将建立在GAN网络基础上、但无需使用配准图像进行训练的循环一致生成对抗网络（Cycle Generative Adversarial Networks，CycleGAN）[8]引入到红外图像仿真领域，提出了一种水上目标可见光图像生成红外仿真图像的方法。

1 基于循环生成对抗网络的红外仿真图像生成方法

要生成效果出色的红外仿真图像，仿真结果不仅需要满足红外图像的风格分布，还需要保持与可见光图像对应的内容特征。CycleGAN是一种基于GAN发展而来的无监督机器学习。克服了GAN结果不可控的缺点，继承了Pix2Pix[9]定向生成特定分布图像优势的同时突破了数据集配准的限制。

本文以水上目标的可见光与红外图像为数据集，对CycleGAN网络模型不断训练优化得到训练模型，可通过输入新的水上目标可见光图像生成相应效果出色的红外仿真图像。如图1所示，CycleGAN在传统GAN的基础上额外增加一个生成器和判别器构成对称的环形网络。两个GAN共享两个生成器、，并各带一个判别器D、D。在本文中，训练集为水上目标的可见光数据集，训练集为水上目标的红外数据集。∈表示可见光数据集中图像样本，∈表示红外数据集中图像样本。将训练集和中图像数据、作为输入，为提高训练效率，对每张图像按照像素大小256×256、步长3像素进行裁剪。以前向循环→图像处理流程为例：可见光图像通过生成器生成具有红外风格的生成图像()，加入红外训练集。生成器首先对进行3层卷积，第一层卷积提取可见光图像中船舶目标特征，卷积核大小为7×7、步长设置为1，边界补充设为SAME。得到的结果依次进行批规范化处理加速收敛并激活，得到尺度为1×256×256×64的结果0。第二层卷积对0进行特征提取，卷积核大小为3×3、步长为2、边界补充设为SAME，将特征图下采样到一半得到结果1，尺度为1×128×128×128；第三层卷积对第二层输出特征图进行高级特征提取，参数设置与第二测定相同，再次将特征图下采样到原尺寸一半，增大卷积核对输入特征图的感受域，卷积结果2尺度为1×64×64×256。网络中还包含非线性激活层，激活函数Relu()＝max(0,)。

图1 循环生成对抗网络原理

判别器D用以判定训练集中出现的图像样本真假。因为只需要构建高频信息，不需要将整张图片作为输入，判别器继承pix2pix的PatchGAN网络，先对图像进行若干次patches块大小70×70的随机剪裁，将剪裁后图像输入判别器得到30×30的特征图，特征图的每一个点对应原图片上一个patch，将特征图降维取均值来衡量生成图像的每一个patch与真图像的差异。

同时()通过生成器生成风格图像(())加入训练集，判别器D判定(())标签并计算与中真实图像的损失。

后向循环→图像处理流程与此类似。通过两组生成器与判别器相互博弈，最终生成使判别器无法判别真假的图像()、()时，模型达到训练效果。

2 建立数据集

由于缺乏公开的船舶红外图像数据集，本文自建了江面船舶可见光与红外数据集。原始图像数据为在武汉市鹦鹉洲长江大桥实地晴好天气下，采集了江面行驶的集装箱船、干散货船、轮渡船、巡逻艇等多种船舶图像。在深度学习中，训练数据集规模和质量直接影响模型性能。训练集越丰富，质量越高，模型训练性能越好[10]。因采集地点为桥梁附近，数据集中原始图像场景中存在大量桥墩以及两岸楼房、堤岸等复杂物体，若图像中同时存在船舶目标与干扰物体，该图像作为训练集会降低模型准确率。

本文采用区域生长算法对原始图像进行目标识别和分割提取，去除了复杂背景的干扰。

2.1 区域生长算法

区域生长算法（region seeds growing, RSG）是一种图像分割技术，能将具有相同特征的联通区域分割出来，并提供良好的边界信息和分割结果。在无先验知识可利用时可以取得最佳性能，常用于分割较为复杂的图像[11]。

其基本思想是将有相似性质的像素点合并起来构成联通区域。首先对需要分割的区域选取一个种子像素作为生长起点，然后根据事先确定的生长准则将种子像素周围领域中与种子有相同或相似性质的像素合并到种子像素所在区域中。新像素作为种子继续向四周生长，直到没有满足条件的像素为止。

2.2 数据处理

本文采用区域生长算法进行目标识别与分割，筛选出完整船舶的图像轮廓，最终获得可见光船舶图片6285张，红外船舶图片8246张。对可见光和红外图像预处理结果示例如图2所示。

3 模型训练

模型训练阶段，按照训练集、验证集2:1的比例划分数据，经预处理和筛选后最终划分可见光图像训练集图像样本3346张，验证集图像样本1672张；红外图像训练集图像样本3744张，验证集图像样本1871张。参数设置如表1所示，模型训练时将所有图像缩放成256×256像素，优化器选择基于低阶矩的自适应估计Adam（adaptive moment estimation）算法优化梯度。前100轮迭代（N_epochs）保持初始学习率，第100轮迭代后学习率开始线性衰减，每隔50轮迭代衰减一次（decay iters），第200代时衰减到0（N_epochs decay）。

图2 可见光、红外图像预处理

表1 模型参数值

模型训练过程中有两个损失函数，对抗损失和循环一致损失。前者尽可能让生成器生成的数据分布接近于真实的数据分布，后者用于保证两生成器可以实现互逆，即互相迭代回自身。

设、为可见光数据集和红外数据集，表示可见光数据集中图像样本，表示红外数据集中图像样本，对生成器:→和它的判别器D，对抗损失函数为：

循环一致损失函数是CycleGAN的核心，也是实现无配对图像相互转换的核心，为了尽可能保证循环一致性。cyc设定为两个相似的结构：

式中：||×||1表示1范数。综上所述，CycleGAN网络的总损失函数为：

CycleGAN＝GAN(,D,,)＋GAN(,D,,)

＋cyc(,) (4)

式中：为平衡对抗损失和循环一致损失的权重，一般取10。

如图3所示，当网络模型进行20轮迭代时，已经能够实现从可见光图像生成初具红外特征的仿真图像，但是存在的问题是仿真图像中船舶边缘模糊，内部纹理与真实红外风格存在偏差，水面波纹呈现的灰度变化更接近可见光图像风格；当进行到40轮迭代时，船舶目标边缘逐渐清晰，目标内部呈现较为符合红外特征风格的灰度分布，水面纹理表征更为自然；进行到120轮迭代时，可以生成视觉上较为逼真的红外仿真图像；但进行到140轮迭代后，生成图像会出现伪影现象。经过对比，本文选择第120轮作为截止代际。

4 实验验证

4.1 验证方案

利用训练好的网络对测试集进行测试，在耗时95h后得到训练模型。统计表明转换单张可见光图像平均时间约为0.2s，可在短时间大量生成红外仿真图像。图4展示了江面部分型号的集装箱船、干散货船的可见光图像及生成的红外图像。

图3 原始可见光图像经过不同迭代次数生成的红外仿真图像

图4 红外图像仿真测试结果

为验证算法有效性，本文从图像真实度、质量、相似度3个方面评价实验结果。

验证方案示意图如图5所示，首先将水上目标的原始可见光（Visible image）和红外图像（Infrared image）送入训练好的CycleGAN模型获取红外仿真图像（Infrared simulation）。从3个方面对红外仿真图像进行评价：

图5 验证方案示意

1）真实度：采用主观视觉效果评价生成的红外图像真实度；

2）相似度：采用结构相似性指数（structural similarity index measure, SSIM）评估红外仿真图像与原可见光图像的图像相似度，SSIM的取值范围是[－1,1]，越接近1，表明生成的红外图像与原可见光图像的相似度越高；

3）质量：采用信息熵（entropy）、平均梯度（average gradient）、边缘强度（edge intensity）、标准差（standard deviation）和空间频率（spatial frequency）5个指标评价生成的红外图像的质量，并与红外数据库中图像进行质量比较。

4.2 实验结果分析

从主观视觉效果上看，本文中生成的红外图像真实度较高。红外仿真图像中船舶目标的几何形状和空间关系与可见光图像基本一致，目标与背景温差明显，边界清晰。红外仿真图像内部细节丰富，区别于其他区域，船只内部温度较高的部件，如船舱动力系统、排气系统等，在仿真图像中表现为灰度值较大。红外仿真图像水面波纹与船舶尾流效果较好，与可见光图像相符。

评价红外仿真图像与原始可见光图像相似度时，本文在模型训练结束后计算测试集生成的红外仿真图像与相匹配的可见光图像的SSIM。红外仿真图像与相匹配的可见光图像SSIM均值为0.5194。参考从公共数据集中获取的21张已配准的红外与可见光图像，SSIM均值为0.3749，其结果表明与真实红外图像相比，本文生成的红外图像与可见光图像结构相似度较高，图像相似性高。

本文将生成红外仿真图像与原始数据集中所有真实红外图像样本进行对比，从信息熵、平均梯度、边缘强度、标准差、空间频率5个维度对生成图像质量进行评价，评价结果如图6所示。生成的红外图像信息熵均值为5.46，数据库内红外图像信息熵均值为6.03，结果表明仿真图像与红外图像平均信息量上较为接近；平均梯度反映图像中的微小细节反差和纹理变化特征，生成的红外图像平均梯度均值为4.81，数据库内红外图像平均梯度均值为8.92，这是由于仿真图像是基于可见光图像生成的，转化过程中纹理信息有部分损失，仍需进一步提高；仿真图像边缘强度均值为8.52，数据库内红外图像边缘强度均值8.58，两者边缘强度相近，反映仿真图像边缘清晰程度达到红外图像水平；标准差反映了图像清晰程度，生成的红外图像标准差均值为28.53，数据库内红外图像标准差均值36.68，清晰度差别不大。图像空间频率反应图像灰度在空间中的变化情况，生成的红外图像空间频率均值为9.41，数据库内红外图像空间频率均值为15.23，生成的红外图像变化较慢，灰度值分布平坦，但仍能基本满足需求。

图6 图像评价指标参数比较：(a) 结构相似性指数；(b)信息熵；(c) 平均梯度；(d) 边缘强度；(e) 标准差；(f) 空间频率

综上所述，本文中生成的红外图像真实度较高，与可见光图像结构相似度高，保持了目标对应内容特征，图像质量接近真实红外图像，细节丰富程度较高，基本符合红外图像的风格分布特征。

5 结论

本文围绕快速生成水上目标红外图像问题，通过区域生长算法识别提取目标，结合循环生成对抗网络将可见光图像转换为红外图像，在无监督的情况下，可短时间内将大量可见光图像转换为红外仿真图像。红外仿真图像在图像质量、图像真实性和图像相似性上均有不错表现，可以用作装备性能测试时的红外信号源头，具有一定实用价值。该方法可弥补当前与水上目标可见光图像同轴红外图像数据库不足的问题，也可以推广应用于其他目标，解决红外图像采集困难的问题。

[1] 罗海波, 史泽林. 红外成像制导技术发展现状与展望[J].红外与激光工程, 2009, 38(4):565-573

LUO H B, SHI Z L. Status and prospect of infrared imaging guidance technology[J]., 2009, 38(4): 565-573.

[2] 董敏周. 用于红外成像系统抗干扰性能评估的红外图像仿真[D]. 西安: 西北工业大学, 2004.DONG M J. Infrared Image Simulation for Anti-Jamming Performance Evaluation of Infrared Imaging System[D]. Xi'an: Northwest University of Technology, 2004.

[3] 张静元, 赵非玉, 吴刚刚, 等. 国内外红外对抗仿真及模型研究[J].光电技术应用, 2021, 36(2): 5-9. ZHANG J Y, ZHAO F Y, WU G G. Research on Simulation and model of infrared countermeasure at home and abroad[J]., 2021, 36(2): 5-9.

[4] ZHAO C, YANG H. A survey on development trends and key technologies of infrared guidance systems [J]., 2008(5): 48-53.

[5] 于伟杰, 刘华, 彭群生. 计算机红外成像仿真[J]. 计算机应用与软件, 2004(7): 1-2.YU W J, LIU H, PENG Q S. Computer simulation of infrared image[J]., 2004(7): 1-2.

[6] 周方方, 司斌, 王晖. 红外图像仿真的发展综述[J].航空兵器, 2013(2): 29-37.ZHOU F F, SI B, WANG H. Review for simulation system of infrared image[J]., 2013(2): 29-37.

[7] Goodfellow I, Pouget Abadie J, Mirza M, et al. Generative adversarial nets[J]., 2020(11): 139-144.

[8] ZHU J Y, Park T, Isola P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]//, 2017: 2223-2232.

[9] Isola P, Zhu J Y, Zhou T, et al. Image-to-image translation with conditional adversarial networks[C]//, 2017: 1125-1134.

[10] Mnih V, Kavukcuoglu K, Silver D, et al. Human-level control through deep reinforcement learning[J]., 2015, 518(7540): 529-533.

[11] FAN J, ZENG G, Body M, et al. Seeded region growing: an extensive and comparative study[J]., 2005, 26(8): 1139-1156.

Method for Generating Infrared Image from Visible Image of Water Surface Targets

XU Yixin，HU Qingping，XIONG Zhang，ZHANG Xiaohui

(College of Weaponry Engineering, Naval University of Engineering, Wuhan 430033, China)

Military equipment, such as infrared warning systems and infrared image-guided missiles, requires a number of infrared simulation images during performance evaluation and simulation training. However, the infrared simulation image generated by infrared simulation software has some problems, such as poor fidelity and poor universality. The domestic infrared simulation technology is hampered by foreign technology blockade. Currently, the development situation is difficult in meeting the requirement of the application. To solve this problem, this experiment proposed a visible-infrared image transform method. First, the region seeds growing (RSG) algorithm was used to extract the water target from the collected image. Subsequently, the visible and infrared image water target datasets were established. Finally, the trained cycle generative adversarial network (CycleGAN) was used to generate the infrared simulation image from the visible image. The test results show that the visual effect of the infrared simulation image generated by this method is close to that of the real infrared image and can be applied to the naval infrared military equipment simulation test and training system.

infrared image simulation, image style migration, CycleGAN, RSG

TP391

A

1001-8891(2022)09-0929-07

2021-11-12；

2022-04-01.

徐亦欣（1995-），女，硕士研究生，主要研究方向为军用目标探测与信息感知技术。E-mail：724902343@qq.com。

张晓晖（1965-），女，教授，主要研究方向为军用光电工程。E-mail：xiaoyan6481@sina.com。