超分辨率方法在复杂棉花叶片图像的比较研究

赵露苗陈立平

(1.塔里木大学信息工程学院，新疆 阿拉尔 843300；2.塔里木大学现代农业工程重点实验室，新疆 阿拉尔 843300)

引言

在机器识别方面，农业中的田间数字图像处理，由于受到风沙、雨水、光照及不同生长期对生物识别特征的影响，往往没有办法采集到边缘和纹理信息清晰、与真实自然图像接近的高分辨率图像。低分辨率图像会导致计算机在处理图像时，难以从图像中获得相应的有用信息，可能会造成计算机视觉处理算法失去作用或者做出错误的判断，且低分辨率图像不能充分发挥高分辨率显示设备的性能，没有办法满足人们对高清晰度和高分辨率图像的视觉感受需求[1]。超分辨率重建旨在从低分辨率图像中恢复出高分辨率图像，从而提高图像的清晰度和细节表现力。在农业领域，尤其是棉花产业，对作物叶片图像的超分辨率重建有着重要的应用价值。清晰、细腻的叶片图像有助于更好地分析作物生长状况，预测产量，为农业生产提供有力支持。

传统的方法主要包括基于插值的方法和基于重建的方法，这些方法在处理复杂纹理和边缘时，往往存在一定的局限性[2]。近年来，随着深度学习技术的飞速发展，特别是深度卷积神经网络(CNN)和生成对抗网络(GAN)的出现，超分辨率重建取得了显著的进展，不仅提高了重建效果，还提高了计算效率，使得实时应用成为可能。因此，研究农业超分辨率重建技术，放大、提高棉花图像质量，为棉田目标检测提供支撑技术，对于图像识别和后期的处理具有重要的价值与意义。

1 超分辨率重建技术与方法

1.1 超分辨率重建概述

超分辨率重建是一项关键的图像处理技术，旨在提高图像的分辨率，使其在细节和清晰度上更接近于原始高分辨率图像。这项技术在多个领域中具有广泛的应用，包括医学影像、视频处理和数字摄影等[3]。其核心目标是通过使用低分辨率图像的信息来生成高分辨率版本，以便更好地满足各种应用的需求。

在传统的数字图像中，图像的分辨率由像素数目和采样密度决定。低分辨率图像通常是由受限制的采样或传感器分辨率所导致的，因此可能会丧失图像中的微小细节和清晰度。超分辨率重建的目标是通过复杂的算法和技术，从低分辨率图像中提取更多的细节信息，以生成高分辨率版本[4]。

1.2 非深度学习的超分辨率重建技术

在非深度学习的超分辨率重建技术中，存在多种方法，这些方法主要基于传统的图像处理和计算机视觉技术。

1.2.1 基于插值的超分辨率重建

基于插值的超分辨率重建方法是最简单的一类方法。这些方法通过对低分辨率图像的像素进行插值或补充来增加图像的分辨率[5]。常见的插值方法包括双线性插值、三次样条插值和立方插值。尽管这些方法可以提高图像的分辨率，但其通常不能捕捉到丢失的高频细节，因此在处理复杂图像时效果有限。

1.2.2 基于重构的超分辨率重建

基于重构的方法旨在重建丢失的高频信息。这些方法通常使用低分辨率图像的一些特定特征(如边缘和纹理)来重建高分辨率版本。一种常见的方法是使用非局部均值(NLM)滤波，其中图像的各个部分被用来估计缺失的高频信息[6]。

1.2.3 基于传统学习的超分辨率重建

传统学习方法包括统计模型和回归方法，其旨在建立从低分辨率图像到高分辨率图像的映射[7]。这些方法使用训练数据来学习图像之间的关系，以便在新的低分辨率图像上进行预测。常见的方法包括支持向量回归(SVR)、K近邻回归等。这些方法通常需要精心设计的特征提取和模型选择，以获得良好的性能[8]。常见的基于学习的方法包括流形学习、稀疏编码方法。

1.3 基于深度神经网络的SR方法

实验选取了SRCNN[9]，ESPCN[10]，MSRN[11]，SRGAN[12]，SRFBN[13]5种基于深度学习的网络模型用来处理本次的实验样本。通过实验比较，PSNR/SSIM值都得到明显提高，使得棉花叶片的图像超分辨率重建变得更加高效。

1.3.1 SRCNN(Super-Resolution Convolutional Networks)

SRCNN是超分辨率重建领域的先驱之一，使用深度卷积神经网络来学习图像的高频细节信息。通过训练，SRCNN能够将低分辨率图像映射到高分辨率图像，实现超分辨率重建。SRCNN以经双三次插值后得到的目标尺寸大小的低分辨率图像作为输入，通过3层卷积网络来提取非线性特征，最后输出高分辨率图像。

1.3.2 ESPCN(Enhanced Super-Resolution Generative Adversarial Network)

ESPCN是一种轻量级的超分辨率方法，通过逐像素的亚像素卷积来增加图像的分辨率。采用深度卷积神经网络，不仅提高了超分辨率性能，还加速了图像重建的速度，适合实时应用。一旦训练完成，模型可以将低分辨率图像作为输入，生成高分辨率图像作为输出[6]。

1.3.3 MSRN(Multi-scale Residual Network)

MSRN采用了多尺度残差网络来处理超分辨率问题。该方法通过利用多尺度的信息来重建图像，从而更好地捕捉不同尺度上的细节。MSRN能够处理复杂的图像，提供高质量的超分辨率结果。

1.3.4 SRGAN(Super-Resolution Generative Adversarial Network)

SRGAN引入了生成对抗网络(GAN)的思想，将超分辨率任务转化为对抗性生成问题。生成器网络试图生成高分辨率图像，而判别器网络则尝试区分生成图像和真实高分辨率图像。这种对抗训练方式使得SRGAN能够生成更逼真的高分辨率图像，具有出色的视觉质量[7]。

1.3.5 SRFBN(Super-Resolution Feedback Network)

SRFBN是一种基于反馈的超分辨率网络，其引入了反馈机制，多次迭代生成高分辨率图像。通过多次反馈，SRFBN能够逐渐提高图像质量，产生更精确的超分辨率结果，特别适用于复杂图像场景，能够在保持图像质量的同时，有效提高低分辨率图像的质量[13]。

2 实现设计与分析

2.1 实验方案设计

将一张低分辨率棉花叶片图像恢复到高分辨率图像的过程，使之能清晰展现图像纹理、边缘等信息，方便后续图像的处理，如图像分割、目标检测和目标识别。当前主流方法可分为3类：基于插值的图像重建方法、基于重构的图像重建方法以及基于学习的重建方法。对实验结果进行详细分析，比较不同算法的性能，探讨其优点和局限性。基于客观评价指标的结果，结合主观观察和实际应用需求，得出对超分辨率算法性能的综合评估。评估不同超分辨率算法在复杂棉花叶片图像上的性能，为研究结论提供可靠的数据支持。

2.2 实验数据的采集

实验使用手机竖屏摄像共采集新疆阿拉尔市6月棉田蕾期图片500张，构造了一个棉田图像试验集，实验数据集被随机划分为训练数据集、验证集与测试数据集，比例为6∶2∶2。分别在5种网络模型上进行实验。为消除图像间差异对实验结果的影响，对每种方法得到的低分辨率图像进行预处理，使其具有相同的尺度和亮度。

2.3 质量评价指标的选取

常用的图像超分辨率评价指标有峰值信噪比(PSNR)和结构相似性(SSIM)。PSNR是一种经典的客观评价指标，可以理解为信号最大可能功率与影响图像质量的噪声功率的比值。PSNR值越高，表示图像质量越好，即超分辨率方法的性能越出色。SSIM模拟了人类的视觉系统对图像质量的评价。考虑图像之间的亮度、结构和对比度，从而综合评估图像质量。高SSIM值对应更好的图像质量。这2种评价指标是SR重建效果评价的基础指标，不仅能测量被压缩后的图像，也是重构图像质量的重要指标。PSNR和SSIM的值越大，重建图像的质量越好。

2.4 实验结果与分析

从每个重建的图像中截取相同的位置的子图像，经过5种方法的比较，实验结果表明，SRFBN模型的PSNR值与SSIM值均优于其他模型，输出图像的质量也高于其他图像超分辨率方法，能够更好地恢复原始图像的高频信息，减少噪声和失真，所以SRFBN最适合于棉田的重构。

图1 不同网络重建效果

图2 不同网络重建效果

表1 图像超分辨率重建指标对比

3 结论与展望

本文针对复杂棉花叶片图像的超分辨率重建问题，对当前主流的超分辨率方法进行了比较研究。通过实验分析和评价指标比较5种超分辨重建技术，基于深度学习的方法在复杂棉花叶片图像的超分辨率重建中具有明显的优势，能够有效提高图像的分辨率并保留更多的细节信息。而基于插值的方法和基于重建的方法在处理复杂棉花叶片图像时，存在一定程度的失真和模糊现象。深度学习技术在提高图像分辨率和质量方面非常有前景，可为农业领域提供更多高质量的工具和资源。

经过对比，SRFBN模型的重建技术最适合于棉田数字图像的超分辨率重建，得到更优质的图像。鉴于SRFBN方法在棉花叶片的应用中表现优异，表明该方法具有潜在的应用价值，并可在其他农业图像识别领域中得到推广和应用。基于深度学习的图像超分辨率重建技术在农业数字图像处理领域具有广泛的应用前景，但仍需要持续的研究和创新，以更好地满足农业领域的需求，并提供更多有力的工具和资源。