基于深度学习的图像超分辨率重建技术在公安实战中的应用

封顺

(吉林警察学院 吉林省长春市 130117）

当今，视频侦查技术已经被广泛应用到个公安工作中，图像资料也常常被当做证据使用，高质量图像是获取关键信息的前提和保障。然而在公安实战案件中获取的关键图像信息受成像设备硬件、传输、记录或一些退化因素（如运动模糊、过滤、噪声等）等诸多因素影响发生降质，造成分辨率低、细节模糊、图像视觉效果较差等特点，无法从当前图像中获取证据线索和侦查方向，难以利用图像进一步开展工作，直接影响案件的分析和研判，给公安工作带来巨大的困扰。当前公安一线工作针对低质量图像处理方法不多，常通过简单图像处理软件进行插值处理、调整色阶、亮度等操作，处理结果也不尽人意，能够从中获取的信息少之又少。

作为一个经典的计算机视觉问题，单图像超分辨率(Single Image Super-Resolution, SISR)在学术研究领域和工业级产业界中受到了广泛的关注，其目的是从观测到的低分辨率图像重建出相应的高分辨率图像。从Dong等人提出SRCNN开创性的将深度学习技术引入到解决SISR问题以来，基于深度学习的图像超分辨率重建得到了蓬勃的发展，各种网络架构设计和训练策略持续地改善超分辨率(SR)性能，得到了良好的视觉效果，在监控设备、卫星图像、医学影像、老照片修复等领域都有重要的应用价值。其中，网络结构主要采用基于卷积神经网络和基于生成对抗网络两种，基于卷积神经网络的图像超分辨率重建是建立低分辨率图像到高分辨率图像的端到端映射，补充丢失的高频细节信息；基于生成对抗网络的超分辨率重建利用“零和博弈”的思想，不断优化网络模型来缩减原始图像与重建图像像素之间的差距，生成对应的高质量图像。基于深度学习图像超分辨率重建算法主要是借助网络结构深层次实现对原始图像特征的提取，利用上采样进行高质量图像的重建，网络结构基本流程图如图1所示。

图1：基于深度学习的图像超分辨率重建网络结构基本流程图

基于深度学习的图像超分辨率重建技术可为公安实战应该用提供强大的技术支撑，不仅为案件侦办中低质量图像进行重建，大幅度提升图像的分辨率，很好的改善图像视觉质量，从中获取关键线索和侦查方向，而且在人像、指纹、足迹、工具痕迹、车牌增强处理方面发挥巨大作用，很好的构建出高频边缘细节，提升人脸识别和公安图像数据检索的准确率，还可在法庭科学司法鉴定中提供参考作用。这些处理方法都可在公安实战应用中发挥关键性作用，是传统的简单处理方法做不到的。

我们对基于深度学习的图像超分辨率重建在公安实战应用中进行研究和探讨，希望能给公安实战中处理低质量图像提供一定的参考，为法庭科学司法鉴定提供借鉴。本文首先介绍了图像超分辨率重建技术的早期方法和基于深度学习的超分辨率重建相关方法；然后，从公安实际应用角度出发，充分挖掘和深度探讨基于深度学习的图像超分辨率重建在公安实战中具体应用领域，分析在实际应用过程中遇到的问题及其原因，提出了相应的解决方法；最后，展望了未来在公安领域的发展方向。

1 相关技术

近年来，深度学习表现出爆炸性的应用，已成功应用于计算机视觉、自然语言处理、医学处理等多个领域，受到工业界和学术界广泛应用和研究。其中，单图像超分辨率是从其低分辨率(LR)对应物估计高分辨率(HR)图像的极具挑战性的任务，受到计算机视觉研究界的极大关注，在公安实战中具有广泛的应用前景。

基于预测的方法是解决超分辨率(SR)的首批方法之一。虽然这些过滤方法(线性、双三次、Lanczos滤波)可以非常快，但它们过分简化了超分辨率问题，预测细节真实的纹理时都存在局限性，产生过于平滑纹理。

相对优化的方法旨在建立低分辨率和高分辨率图像信息之间的复杂映射，但过于依赖于训练数据。大多采用基于实例的方法要么利用相同图像的内部相似性，要么学习从低分辨率和高分辨率样本对的映射函数。基于稀疏编码的方法就是具有代表性的基于外部示例解决SR的方法，这种方法特别注重学习和优化词典或构建有效的映射函数，要进行补丁的提取和聚合等单独的预处理/后处理，专注于灰度或单通道图像超分辨率，很难直接扩展到高维数据。

最近，基于深度卷积神经网络(CNN)的方法相对于传统的超分辨率方法有了显著的改进。SRCNN是最早将深度学习应用于超分辨率重建, 模型的网络结构非常简单，仅仅用了三个卷积层，采用端到端的学习方法，直接学习低分辨率图像与高分辨率的图像之间映射关系。Kim等人将VDSR和DRCN的网络深度增加到20层，采用残差学习来缓解训练难度，在准确率上有了显著提高。在许多视觉识别任务中，网络深度被证明是最重要的，Ledig等人引用了ResNet来构建更深层次的网络SRResNet用于SR问题，取得了不错的效果。这种有效的残差学习策略随后被引入到许多其他基于CNN的图像SR方法中，Lim等人利用简化的残差块构建了一个非常大的EDSR网络和去除了BN层，并采用用L1损失函数来优化网络模型，性能得到了很大的提高。

另一方面，SRGAN将深度学习中的生成对抗网络(GAN) 用在了解决SR问题上。生成网络用一个卷积层提取浅层特征，在使用多个残差层提取深层特征，经过上采样层重建出高分辨率图像。判别网络部分采用八个卷积层提取特征，通过两个全连接层和sigmoid激活函数得到预测为自然图像的概率。使用感知损失包括对抗性损失和内容损失来提升恢复图像的真实感和高频细节。ESRGAN是对SRGAN的网络架构、对抗损失和感知损失三个关键组成部分都进行了改进以取得增强，在清晰度和细节方面优于前者，去除噪声的同时产生更清晰更自然的纹理信息，结果更接近实际的高分辨率自然图像。蒋明峰等人提出的SA-SR-GAN 算法将自注意力机制融合到生成对抗网络中解决磁共振图像超分辨率重建，保证网络训练的稳定性同时提高重建图像精度。姜玉宁等人通过使用VGG19网络来搭建判别器网络的基本框架，使生成HR图像细节纹理信息更加丰富，提高了重建图像的色彩亮度和清晰度。

2 图像超分辨率重建在公安实战中应用探究

2.1 图像超分辨率重建在公安应用领域

在公安实战中，有很多的工作会涉及到图像资料的分析、比对和研判，尤其是线索类图像证据。当案发后收集到的图像受到复杂的退化因素、成像设备因素、环境因素影响，往往视觉效果不理想，缺失高频纹理信息，给案件的侦破带来极大困扰，无法直接从图像中获取有价值的线索信息。在实际工作中为了节约成本，往往会通过图像处理技术改善图像质量，图像超分辨率重建技术就是其中之一，重建后的图像具有高频纹理信息和高质量视觉，在很多公安领域具有很高的实战应用价值。

2.1.1 视频侦查

当今，随着视频监控系统的普及、群众防范意识及法律意识增强和视听资料的信息量丰富等特点，视频侦查以成为当前刑事侦查的主要技术手段。但是由于硬件设备条件限制、目标与探头距离或相对运动、环境及退化因素影响，导致视频图像出现模糊或分辨率低下，无法辨别目标特征和获取有价值线索。通过图像超分辨率重建可以增强图像高频纹理细节，提高图像特征辨识度，这样可以显著提高图像特征的利用率，从中挖掘有效信息，提升了案件侦破效率，在视频追踪、视频搜索、数据碰撞、案件分析与研判等公安应用方面起到了关键性的作用。

2.1.2 人脸识别

人脸识别技术在刑事侦查、公安安防、罪犯追逃、失踪和被拐卖儿童寻找等公安领域中有着广泛的应用。通过使用图像重建技术提升低分辨率人脸图像或年代久远照片的画质清晰度，增加人脸细节纹理特征，将重建后的人像与具体应用人脸库中进行匹配，从而提高识别准确率，在案件的分析研判中能够发挥重要作用，图像超分辨率重建在实战中人脸识别具有很高的应用意义。

2.1.3 公安图像数据库检索

图像超分辨率重建除了可以对人像进行高分辨率重建，还可以应用于指纹、足迹、工具痕迹、车牌识别等以图像为基础的公安数据重建。通过使用特定数据库（如指纹库）训练图像超分辨率模型，来处理待检索图像，增加图像中的边缘细节信息，从而提高检索匹配的效率和准确率，增强了图像超分辨率重建对公安图像数据检索领域中的运用效能，更好地服务于实战。

2.1.4 司法鉴定中应用

图像超分辨率重建在法庭科学司法鉴定中有着非常重要的应用。司法鉴定利用人身固定特征的长时稳定性和不同个体差异性，可进行人像比对、指纹比对、足迹比对等生物特征比对鉴定，经常作为案件同一认定的关键性技术，为开展疑难案件研判分析和作为诉讼证据提供了定性的依据。图像超分辨率重建利用输入的低质量样本图像特征信息去补充未知的像素点信息，大幅提升图像视觉质量，较好恢复图像细节，而且没有人为因素影响，客观稳定，为司法鉴定的结果提供了参考，在法庭科学司法鉴定领域发挥一定的作用。

2.1.5 医学影像和无人机侦查

由于医学、交通、航空等领域对图像质量有着十分高的要求，图像超分辨率重建以广泛应用到这些领域。当前，警用无人机已被广泛的应用到侦查和治安管理中，由于距离较远、目标较小或存在相对运动等原因，致使拍摄的关键帧出现模糊现象；在医学影像领域由于设备等客观因素影响，导致影像分辨率不高；图像超分率重建能够清晰表达其空间结构，提升这些领域图像清晰度。

2.2 实战中存在的问题

图像超分辨率重现在公安应用多个领域有着很好的应用前景，但从实际工作出发，仍存在一些问题。

2.2.1 超低质量图像重建较难

目前，图像超分辨率重建技术基本上都采用基于卷积神经网络(CNN)和基于生成对抗网络(GANs)，借助于网络结构深层次实现对原有图像特征提取，运用上采样技术完成高质量图像的重建，获得多尺度、多细节的图像信息。当输入图像为超低质量图像时，提取特征不明显，质量不高，会导致图像重建的视觉效果不好，缺少必要的细节信息，结果改善不明显，缺乏实战应用意义。

2.2.2 光照的影响较大

光照条件是影响观察图像视觉效果的重要因素，尤其是特定光照条件下对人像、车牌等特征的识别度和准确率有着重要的影响。视频现场勘查往往为案后勘查，当遇到黑夜、强光照射、光线较弱等情况下，即使视频探头本身固有的图像分辨率设置较高，但生成图像辨识度比较低，无法从中获取有价值的线索。在实际应用中，针对此类图像，图像超分辨率重建的结果提升效果不好，不具有普适性。

2.2.3 警用软件系统的技术滞后

当前，公安实战部门的图像处理软件主要依靠购置的专用软件。这些专用软件在技术上存在一定滞后性，且功能实现较为简单，教新的图像超分辨率重建理论不能被及时应用，或不具备此功能，同时功能模块的维护和升级只能依赖于软件公司，增加了相关保密工作的困难。

2.2.4 专业人才的短缺

现阶段公安部门还缺乏模型算法研究的相关部门和人才，运用专业工具将算法复现和部署，将先进的算法落地实现，完成理论验证和新技术的转化，服务于公安实战应用是技术应用和发展的关键。以图像超分辨率重建技术为例，需要掌握Python程序设计语言和理论算法的研究，及时掌握和应用基于深度学习的先进理论技术，才能实现算法建模复现。

2.2.5 新型技术普及度不高

在科技高速发展的今天，涌现出很多新兴、高效、具有实战应用意义的技术方法。这些新技术和新方法对于公安实战部门属于新鲜事物，接触渠道较少，尤其是一线单位，应用到实战中还需要通过实际运用去检验其有效性和可靠性，技术更新时间较长，新型技术普及度不高。

2.3 解决方法

图像超分辨率重建在公安实战中存在一定的阻力，但是我们可以通过多种技术融合处理和加强人才培养等手段加以解决。

2.3.1 多技术融合处理

公安实战中遇到视觉较差图像往往是多种因素综合造成，其中受光照因素影响较多，多数犯罪嫌疑人选择夜间作案，视频探头生成的影像缺少必要的颜色特征，辨识度较低，直接采用图像超分辨率重建效果提升有限。我们可以采用多技术融合方法，先将图像进行着色处理，如采用自注意力机制的生成对抗网络的DeOldify着色模型和基于时空卷积神经网络和自注意力机制的DeepRemaster着色模型，为缺少颜色信息图像添加高质量的着色效果，然后使用超分辨率重建增加图像细节信息。这种多技术融合可提高图像整体的视觉效果，为案件进一步分析与研判发挥重要作用，具有实战应用意义。

2.3.2 加强人才培养和技术培训

在当前大数据时代,公安机关作为海量数据的产生者、管理者、使用者和守护者,如何高效运用警用数据，与学术界和工业界中新兴技术无缝连接，服务于公安实战应用，实现“智慧警务”，这对公安人才需求提出了挑战。有关公安部门和公安院校应注重技术人才的培养，深化校局合作，开设相关课程和开展一线民警有关技术培训，提升新型技术的普及度，并紧跟技术发展，研发具有自主知识产权的应用系统，及时更新警用技术手段，将先进的技术算法转化为实际战斗力，更好地为公安实战服务。

3 图像超分辨率重建在公安实战中未来发展方向

提高图像质量主要有两种方式，第一种是对采集图像的硬件设备性能进行升级，第二种是针对图像分辨率进行软件处理。为了节约硬件成本，图像超分辨率重建技术必将被广泛的应用于公安实战中，未来将围绕准确性、实用性、实时性、鲁棒性进行改进和探索，使其向着更准确、更快速、更稳定、更适用方向发展。

公安实战中遇到造成图像质量较差的原因多种多样，这就要求服务于公安应用的技术要有很高鲁棒性和实用性，图像超分辨率重建技术未来要适用于多种场景，在对光照条件、超低分辨率、人像多角度有一定的普适性方向发展；公安实际工作用对案件侦破的时效性和线索的准确性有着较高的标准，这就要求服务于公安应用的技术要快速、有效、准确，图像超分辨率重建算法未来要均衡速度与精度的关系，不能以牺牲网络运算速度的代价来提高图像重建的精度，也不能出现增加网络深度以提升图像高频细节来降低网络运行效率；公安应用要对实战中遇到的具体问题有很好的实用性，这就要求图像超分辨率重建针对固定场景要有很好的适用性，未来要通过理论分析得到降质原因，致力于不同降质因素的精准建模，以提高超分辨率重建的实际应用价值。

4 总结

图像超分辨率重建技术旨在从给定的低分辨率图像生成具有清晰细节特征的高分辨率图像，是计算机视觉领域中的一项重点研究任务。近年来，深度学习方法受到学术界和工业界的广泛研究，基于深度学习的图像超分辨率重建技术取得了很好的应用效果。我们将此技术引入到公安实战中，探讨其可行性，希望能给公安应用中处理低质量图像提供一定的参考，为法庭科学司法鉴定提供借鉴。本文首先对超分辨率重建技术的早期方法和基于深度学习的图像超分辨率重建方法进行了梳理；然后，从公安实际应用的角度出发，重点探讨了图像超分辨率从重建在视频侦查、人脸识别、公安图像数据库检索和司法鉴定等公安领域应用的可行性；其次，分析超低质量图像重建较难、光照的影响较大、警用软件系统的技术滞后、专业人才的短缺、新型技术普及度不高等实际应用遇到的问题，并提出了多种技术融合处理和加强人才培养的解决方法；最后，从三个方面对图像超分辨率重建技术的未来的研究方向进行了展望。