红外与CCD图像的融合及FPGA设计分析

吴文君

（广州飒特红外股份有限公司，广东广州 510000）

红外和CCD（电荷耦合元件）图像的融合过程中，CCD 图像分辨率较高，信息量很大，红外图像能够将温度信息显示出来。将两种图像相互融合，有助于提升信息显示的多元化和准确性。而FPGA（现场可编程门阵列）则是实现红外和CCD 图像融合的重要算法，科学合理进行FPGA 的设计至关重要，因此，在红外和CCD 图像融合的过程中，需要注重FPGA设计，促使图像融合效果的提升。

1 红外与CCD图像融合

红外与CCD 图像的融合是指将红外图像和CCD图像进行融合，以提高图像的质量和信息内容。此类研究在多个领域具有广泛的应用，如军事、安防、医学等。通常情况下，红外与CCD 图像融合的原理如下。

（1）图像采集。红外图像和CCD 图像是通过不同的传感器采集的，红外图像主要捕捉目标的热辐射信息，而CCD 图像则捕捉目标的可见光信息。因此，首先需要对两种图像进行分别采集。

（2）图像预处理。红外图像和CCD 图像在图像质量和特征方面存在差异，因此需要对两种图像进行预处理，以消除噪声、增强图像对比度等。常见的预处理方法包括滤波、增强及几何校正等。

（3）图像配准。由于红外图像和CCD 图像是通过不同的传感器采集的，之间存在一定的几何畸变和位置偏差。图像配准是将两种图像对齐，使其在空间上一一对应，以便后续的融合处理。

（4）图像融合。图像融合是将红外图像和CCD图像的信息相结合，生成一幅融合图像。常见的融合方法包括基于像素的融合、基于特征的融合及基于深度学习的融合等。可以根据应用需求，选择合适的融合策略。

（5）图像评价。对融合图像进行评价，以验证融合结果的质量和效果。常用的评价指标包括结构相似性指标（SSIM）、峰值信噪比（PSNR）等。红外与CCD 图像的融合旨在综合利用红外图像和CCD 图像的优势，提高图像的识别和分析能力。通过融合，可以获得更全面、更准确的图像信息，为相关领域的应用提供更好的支持。

2 红外与CCD图像融合的FPGA设计

2.1 总体架构设计

红外与CCD 图像融合过程中采用FPGA 算法，整体架构如图1所示。

图1 红外与CCD图像融合的FPGA设计整体架构

其中，红外传感器主要用来进行灰度信息的读取，科学合理进行信息的处理。而CCD 传感器的功能在于进行彩色图像信息的接收，直接进行图像融合操作。对于红外图像而言，需要经过插值放大模块进行放大，使其能够和CCD 的图像规格一致，然后经过彩虹编码模块将其转变成为彩色图像，传输到图像融合模块，以FPGA 算法为基础，进行图像的融合处理，最终FPGA 将完成融合的图像输送到显示屏，使相关图像快速显示出来。

2.2 FPGA算法的应用

2.2.1 插值放大算法

通常情况下，在红外与CCD 图像融合中FPGA插值放大算法是常用的图像处理算法，用于增强图像的细节和对比度，具体应用措施为：①图像插值计算。先将红外图像和CCD 图像进行配准，确保两幅图像对齐。再使用FPGA 实现插值计算，将红外图像与CCD 图像相减，得到插值图像，该步骤可以通过像素级的减法运算实现。②插值放大。在插值图像上应用插值放大算法，以增强图像的细节和对比度。插值放大算法可以通过增加插值图像中的像素值来实现，从而增强图像的细节信息。FPGA 可以通过并行处理的方式快速实现插值放大算法，以提高处理速度和效率。③图像融合。将经过插值放大的插值图像与红外图像进行融合，生成最终的融合图像。融合可以采用像素级融合或其他融合算法，根据应用需求选择合适的方法。④实时性考虑。在设计FPGA 插值放大算法时，需要考虑算法的实时性。插值放大算法可能会引入一定的计算复杂度，因此需要对FPGA 资源进行合理分配和优化，以保证系统的实时性能。⑤性能评估。对使用FPGA 插值放大算法进行红外与CCD 图像融合的系统进行性能评估。可以使用常见的评估指标，如结构相似性指标（SSIM）、峰值信噪比（PSNR）等，来评估融合图像的质量和效果。总之，FPGA 插值放大算法在红外与CCD 图像融合中的应用措施包括图像插值计算、插值放大、图像融合、实时性考虑及性能评估。这些措施可以提高融合图像的质量和细节，并满足实时性处理的需求。

从总体层面而言，红外传感器可划分成为阵列和焦平面两种类型。其中焦平面类型的设备分辨率很高，但是成本较大。而阵列类型设备的分辨率和成本都较低。综合进行成本的研究，采用阵列类型的红外传感器，设备数量为3台，红外图像为16×12 B，进行图像放大，放大倍数为20，将其和CCD 图像相互匹配，考虑当前红外传感器存在一定的限制，因此，在实际操作的过程中，结果是单个红外传感器的计算结果。目前经常采用的图像插值放大算法，主要是双线性类型和最近邻域类型两种。最近邻域插值算法的应用便利，计算量很小，但是对图像放大之后可能会发生锯齿的现象。而双线性插值算法的应用效果较高，计算量合适。因此，可按照具体的情况选择相应的算法。例如，为避免图像放大出现锯齿的现象，预防发生算法应用问题，可将双线性与最近领域两种插值算法有机整合，达到图像精准放大的目的。在此过程中，各个圆红外像素点放大之后，处于中间的位置，算法应用期间，主要采用原像素点，左侧和上方插入的像素点，实现图像的放大处理。而图像边缘像素点，主要使用最近邻域插值算法进行新增加插值点的计算，插值点数据值选取原像素点的数据值。而图像内部的像素点，则使用双线性插值法进行插值计算。

在红外和CCD 图像融合中FPGA 插值放大具体的计算公式为：插值放大：新图像=原始CCD 图像+放大倍数×（原始红外图像-原始CCD 图像）。

其中原始CCD 图像和原始红外图像是输入的原始图像。放大倍数是一个调节参数，用于控制插值放大的程度。通过调节放大倍数的大小，可以增强红外图像与CCD 图像之间的差异，从而提高图像的质量和可视化效果。需要注意的是，插值放大的计算公式只是一种常见的方法，具体的实现方式可能会有所不同，取决于具体的图像融合算法和FPGA 设计。在实际应用中，可以根据需求和实验结果，调整放大倍数，以获得最佳的图像融合效果。

2.2.2 彩虹编码算法

在红外与CCD 图像融合中FPGA 彩虹编码算法也属于常用的图像处理算法，能够使红外图像和CCD 图像进行融合和增强，具体操作方式为：①图像输入和采集。将红外图像和CCD 图像输入到FPGA，可通过适当的接口，如串行通信、并行接口或者帧缓冲器等方式实现。确保图像数据在FPGA 中的正确接收和处理。②图像配准。对红外图像和CCD 图像进行配准，确保两幅图像对齐。这可以通过使用图像配准算法，如特征点匹配、相位相关等方法实现。配准后的图像可以减小红外和CCD 图像之间的几何畸变和位置偏差。③彩虹编码。使用FPGA 实现彩虹编码算法，对红外图像和CCD 图像进行编码。彩虹编码是一种将不同光谱信息编码到一幅图像中的技术，可以将红外和CCD 图像的信息融合起来。FPGA 可以通过并行处理的方式，快速实现彩虹编码算法。④图像解码和融合。将彩虹编码后的图像解码，并将红外图像和CCD 图像进行融合。解码可以通过使用彩虹解码算法，将编码后的图像还原为原始的红外和CCD 图像。融合可以采用像素级融合或其他融合算法，根据应用需求选择合适的方法。⑤图像输出和显示。将融合后的图像输出到显示设备或存储设备上。这可以通过视频接口、HDMI 接口、存储器等方式实现。确保融合后的图像能够被正确显示和使用。在进行彩虹编码的FPGA 设计时，需要考虑算法的实时性和计算复杂度。合理分配和优化FPGA 资源，以保证系统的实时性能和效率。

对于彩虹编码算法而言，能够完成灰度图像的伪彩色变换处理，使颜色单一的图像被映射成为彩色类型的图像，经常应用的颜色空间则是RGB 颜色空间，常规类型的伪彩色变换方式，就是将灰色图像变换成为RGB 图像，但是由于计算的流程较为繁琐复杂，对FPGA 硬件的实现会造成不利影响，且在完成图像映射后，温度最高的位置是白色，和图像融合的要求不符，所以需要进行算法的修改处理。例如，对彩虹编码进行改进，使其变换曲线的灰度范围为k0～k4，R、G、B 设定为彩色空间的不同通道，原本红外图像的灰度区，可划分成为4部分，分别与伪彩色变换之后的彩色图像相互对应，即k0～k1是低温物体，颜色为蓝色；k1～k2是中低温物体，颜色是绿色；k2～k3为中温物体，颜色是黄色；k3～k4是高温物体，颜色为红色。

2.2.3 图像融合算法

基于FPGA 的红外与CCD 图像融合算法，主要的措施如下。

（1）图像配准。对红外图像和CCD 图像进行配准，确保两幅图像对齐，可以使用特征点匹配、相位相关等配准算法来实现。

（2）图像融合。将配准后的红外图像和CCD 图像进行融合。常用的融合方法包括加权平均、小波变换、局部对比度增强等。根据应用需求选择合适的融合算法。例如，在采用小波变换法进行基于FPGA 的红外与CCD 图像融合的过程如下：①对配准后的红外图像和CCD 图像进行小波变换。小波变换可以将图像分解为不同尺度和频率的子带，提取不同的图像特征。在FPGA 中实现小波变换可以使用快速小波变换算法。同时，需要选择合适的小波基函数和分解层数。②子带融合。对小波变换后的子带进行融合。可以采用不同的融合方法，如加权平均、最大值选择、局部对比度增强等。根据应用需求选择合适的融合方法。③逆小波变换。将融合后的子带进行逆小波变换，将其重建为融合后的图像。在FPGA 中实现逆小波变换可以使用快速逆小波变换算法。

（3）图像增强。对融合图像进行增强，以提高图像的细节和对比度。常用的增强方法包括直方图均衡化、对比度拉伸、锐化等。在FPGA 中实现这些方法可以提高处理速度和效率。

（4）性能优化。对FPGA 算法进行性能优化，包括资源分配、数据流设计、算法并行化等。通过合理的优化可以提高算法的效率和性能。

（5）结果输出。将融合和增强后的图像输出到显示设备或存储设备上。可以使用视频接口、HDMI 接口、存储器等方式实现图像的输出。

3 结束语

综上所述，红外与CCD 图像融合，不仅能够提升图像处理的效果，还能改善图像处理的精准度，具有重要意义。但是在红外与CCD 图像融合的过程中如果缺少精准的算法，将会导致图像融合的效果降低。因此，建议在红外与CCD 图像融合期间，科学合理采用FPGA 算法，合理设计总体架构，应用FPGA 插值放大算法、彩虹编码算法及图像融合算法，为提升红外与CCD 图像融合效果作出贡献。