图像超分辨率复原技术的公安应用现状与展望

沈郑燕

（河南警察学院刑事科学技术系 河南 郑州 450046）

图像超分辨率复原技术的公安应用现状与展望

沈郑燕

（河南警察学院刑事科学技术系 河南 郑州 450046）

在视频侦查等公安应用中，高品质成像是获取关键信息的前提和保障，然而各种因素的影响会使图像质量退化，出现模糊，为节省硬件成本，图像超分辨率复原技术提供了一条解决该问题的新途径，在公安应用中发挥了重要作用。按照处理对象和处理方法的不同，对当前图像超分辨率复原技术进行了深入探讨，梳理现阶段的公安应用情况，分析了存在的问题，并对今后的应用前景进行了展望。

影像处理 超分辨率 图像复原 视频侦查

1 图像超分辨率复原技术的分类

图像的超分辨率复原指从低分辨率图像获取高分辨率图像，提高原有图像质量的技术，由于在提高图像分辨率的同时，能够恢复系统截止频率外丢失的部分高频细节信息，也被称为第二代图像复原技术。

1.1 按处理对象分类

根据处理对象不同，超分辨率复原技术可分为基于图像的超分辨率复原和基于视频的超分辨率复原，如图1所示。

图 1 基于不同处理对象的图像超分辨率复原

基于图像的超分辨率复原仅限于图像空间分辨率的提高，单帧复原根据一幅图像的信息恢复出高分辨率图像；多帧复原时，源图像既可以是同一场景下拍摄的照片，也可以是视频中的一个片段，但复原处理后得到的都是空间域内的一幅高分辨率图像。此外，多帧复原往往要考虑图像配准问题，以便实现多帧图像间的亚像素运动估计，综合利用互补信息。

而针对视频进行处理时，除在空间域提高视频的分辨率之外，还可以在时间域上弥补成像设备采样率低的缺陷，进一步提高视频质量。具体实现时，超分辨率复原过程不能简单等同于静态图像超分辨率复原算法的升维扩展，一般要考虑视频的压缩编码、视频的稳定化、视频各帧图像间的相关性和运动估计等，特别是多视频的超分辨率复原，还要考虑对不同设备拍摄的视频进行画面时间校准、多角度的空间位置映射、统一设备成像倍率等，从而在时空上对齐多个视频，保证超分辨率复原效果。值得注意的是，公安工作中常见的监控视频包括I、P、B帧[1]，各帧之间由于压缩方式不同导致超分辨率复原的源图像在质量上有差异，但也为相关研究提供了思路，通过在低分辨率视频中插入关键帧（高分辨率静态图像）实现视频的超分辨率复原[2]。

1.2 按处理方法分类

根据处理方法的不同，超分辨率复原技术又包括基于插值的超分辨率复原、基于重建的超分辨率复原和基于学习的超分辨率复原，如图2所示。

图2 图像超分辨率复原方法

插值方法思路简单，在超分辨率复原技术中最先被研究和应用。从开始的最邻近插值、双线性插值、3次多项式插值，到后来的中值插值、基于边缘的插值、自适应插值等，插值方法经历了从线性到非线性的转变。

线性插值没有引入新的高频信息，图像中的边缘细节易出现锯齿或平滑模糊，非线性插值对此有所改善，但部分算法对放大倍数敏感。由于插值方法运行速度快，适合做并行处理，满足一般应用需要，因此一些算法被商用，如双3次插值法，且在某些基于重建和学习的超分辨率复原算法中，也利用插值进行辅助处理。

重建方法往往分析图像的降质原因，对降质过程进行建模，得到高分辨率图像与低分辨率图像之间的关系，从而推导出重建高分辨率图像的数学方程式，通过引入先验知识限定方程式解的范围，迭代求得高分辨率图像的最终表达。重建方法可在频率域或空间域实现，虽然频域法简单易行，但对于监控视频来讲，频域重建方法不能利用各帧画面之间的相关性，因此空域法优势更明显，常用的空间域重建方法包括正则化法、最大后验概率法、最大似然估计法、凸集投影法等。

尽管基于重建的超分辨率复原算法相对成熟并取得了良好效果，但有研究表明，处理后图像的有效放大倍数仅为1.6倍[3]，且随着放大倍数的增加，超分辨率复原算法的性能急剧下降，这促使基于学习的方法逐渐成为研究热点。学习的方法可分为自学习与外部学习，自学习基于低分辨率图像自身，通过寻找匹配的相似区域块构建高分辨率图像；而外部学习引入图像样本库，通过学习样本实例或寻找高质与低质图像样本库之间的联系实现分辨率的提高。目前，稀疏表示和压缩感知等基于学习的方法已成为主流且极具发展潜力。

2 图像超分辨复原技术的公安应用现状

公安实战中，许多工作会涉及影像资料的分析、比对和研判，这些影像资料有时图像质量退化，视觉效果并不理想，此时可以通过提升成像设备性能的方式获取高质量图像，但实际工作中为了节省成本，往往通过图像复原等软件处理方式改善图像质量。

2.1 应用领域

目前在公安领域，超分辨率复原技术主要应用于以下几方面：

（1）视频侦查、无人机侦察[4-5]。在天网系统和现代化无人机侦察系统中，由于硬件设备条件限制、距离远或存在相对运动等原因，导致视频图像出现模糊，无法辨别目标特征，通过超分辨率复原技术可以显著提高图像特征的利用率。

（2）公安数据库检索。在以图像为基础的公安数据库中（如指纹数据库），通过使用超分辨率复原技术处理待检索图像，能够提高检索匹配的效率和准确率。

（3）人脸识别。人脸识别在侦查和安防中都有突出应用，借助超分辨率技术进行人脸识别能够提高识别准确率，相关研究包括素描人脸识别、动态视频人脸识别以及人脸老化模拟等[6-8]。

（4）违禁物品检测。在重要的出入口如机场、火车站，一线城市使用的安检设备越来越先进。其中，在欧美国家应用广泛的被动毫米波成像检测设备已引起重视，该设备无电磁辐射且具穿透性，使用超分辨率技术来提高隐匿违禁物品图像的清晰度[9-10]。

2.2 应用中存在的问题

从公安工作实际出发，目前在图像超分辨率复原技术的应用中要注意以下问题：

（1）图像超分辨率复原的评价。相关图像质量的评价可分为主观评价和客观评价。主观评价依赖于观察者的感官和经验，客观评价基于客观评价指标，二者的评价主体和目的都不同。当图像超分辨率复原的结果作为输入用于系统自动识别等时，应以客观评价体系为主，而当复原结果供技术人员进行分析研判时，应以主观评价为主。以视频侦查为例，低质量图像的超分辨率复原效果由技术人员判断优劣，复原过程中，根据经验判断调整各项参数达到个人认为的最优效果，因此不同的人得到的处理效果会有所不同。

（2）警用软件系统的技术滞后。目前，公安部门的刑事图像处理主要依靠购置的专用软件完成。这些软件在技术上有一定滞后性，新的图像处理理论不能被及时应用，同时其维护和升级只能依赖软件公司，增加了相关保密工作的困难。以视频侦查的模糊图像处理系统为例，多数警用软件提供多帧图像超分辨率复原技术，即从视频中的几帧图像复原出一幅高分辨率图像，直接的视频超分辨率复原还不多见，而学术界的相关研究及成果早已出现，且国外已有成熟产品推向市场，如图3所示[11]。

图3 Ikena刑侦视频增强软件处理效果对比

（3）专业人才的培养。现阶段公安部门还缺乏理论算法研究的相关人才，算法仿真是理论技术应用和发展的关键，利用专业软件如MATLAB等进行算法的程序设计，能够快速有效的完成理论验证和新技术的转化。以分辨率较低的实际车辆图像为例，在MATLAB中，分别构建算法，实现了基于3次多项式插值的超分辨率复原、基于L1范数的超分辨率重建和基于多元回归联合学习的超分辨率复原[12]，结果如图4所示。同样在MATLAB中统计3种方法得到结果的标准差和平均梯度，如右表。标准差越大，图像对比度越高，平均梯度越大，图像清晰度越高，对比表中数据可知，引入学习方法的超分辨率复原结果最好。

图4 MATLAB图像超分辨率复原

表 MATLAB中三种方法所得高分辨率图像的评价

由此可见，刑事技术人员除使用识慧、警视通、IV007等专用软件外，还有必要多做理论算法的研究，加强专业软件如MATLAB的学习和使用，从而及时掌握和应用先进的理论技术。

3 展望

未来图像超分辨率复原技术的研究必将围绕准确性、实时性、鲁棒性三方面对现有方法进行改进或探索新方法，使其向着更好、更快、更稳定的方向发展。近年内有望在以下方面进一步取得研究成果：

（1）单帧超分辨率复原的去模糊。单帧复原可利用的信息较少，恢复系统截止频率外的高频细节相对困难，图像虽然能被放大但模糊仍然存在，而由于实际情况中单帧复原可操作性很强，因此部分研究仍将集中于对这一问题的改善上。

（2）多帧超分辨率复原的运动估计。多帧复原可利用的信息量增加，然而各帧之间的亚像素级运动补偿存在误差，影响复原效果，如何更准确的进行运动估计成为性能提升的关键，会在今后有所突破。

（3）视频超分辨率复原的时空相关性。视频复原涉及时间和空间分辨率的提高，然而二者之间存在相关性，时间分辨率的提高一定程度上以空间分辨率的降低为代价，应根据需要进行折中。相关研究会着重探讨分析时空分辨率的联合提高。

（4）插值方法的图像边缘保持。基于插值方法的超分辨率复原在图像边缘处易出现失真，用于复杂的自然图像如纹理图像时，效果不甚理想。通过算法改进可以扩大插值方法的适用范围。

（5）重建方法中图像降质过程的建模。通过理论分析得到的降质模型与实际降质效果有较大差距，从而导致部分重建方法推广应用的困难，作为图像超分辨率复原较成熟的一种方法，超分辨率重建将致力于精确建模，以提高超分辨率复原的实际应用价值。

（6）学习方法的处理速度。基于学习的方法要搜索学习样本实例或训练样本库，算法复杂度高，处理速度较慢，对算法进行优化，提高处理效率成为亟待解决的问题，算法性能必将随着研究的深入得到提升。

同时，图像超分辨率复原的应用领域也会有进一步拓展。而在公安领域内，除现有处理方法的性能提升外，视频的超分辨率复原甚至是多视频的超分辨率复原会逐渐得到应用。此外，为了紧跟技术发展并研发具有自主知识产权的产品，公安院校和有关公安部门也应注重技术人才的培养，开设相关课程或开展培训，更好地为公安实战服务。

[1]杨洪臣,李苑.视频侦查技术[M].北京:中国人民公安大学出版社,2015:173.

[2]张阳.基于样例学习和关键帧的视频超分辨重建[D] . 西安:西安电子科技大学,2014:43-45.

[3]LIN Z,Shum H Y.Fundamental Limits of Reconstruction-Based Super-Resolution Algorithms under Local Translation[J].IEEE Trans.Pattern Analysis and Machine Intelligence,2004(1):83-97.

[4]郝洪建,张红星,杨大祥.超分辨率图像重建在法庭科学中的应用[J]. 影像技术,2012(1):35-36.

[5]张岩,李建增,李德良,等.无人机侦察视频超分辨率重建方法[J]. 中国图象图形学报,2016(7):967-976.

[6]赵京晶,方琪,梁植程,等. 超分辨率重建的素描人脸识别[J].中国图象图形学报,2016(2):218-224.

[7]茹志鹃.基于动态视频的人脸识别技术研究[J].电子测试,2016(19):61-62.

[8]徐莹.基于分层结构和稀疏表示的人脸老化模拟研究[D].长沙:中南大学,2012:27-31.

[9]朱书进,李跃华.基于改进自适应流形的毫米波图像超分辨复原[J]. 微波学报,2015,10:258-261.

[10]李志豪,温亚珍.主动毫米波成像技术在公共安全领域中的应用分析[J]. 红外,2014(7):29-32.

[11]MOTIONDSP. Forensic Video Enhancement Software for Law Enforcement[EB-OL]. [2017-04-07].http://www.motiondsp. com/wp-content/uploads/Ikena_Forensic_2016.pdf.

[12]ZHANG K,WANG B Q,Zuo W M,etc. Joint Learning of Multiple Regressors for Single Image Super-Resolution [J]. IEEE Signal Processing Letters,2016(1):102-106.

（责任编辑：于 萍）

TN911.73；TP391.41

A

2095-7939（2017）04-0125-04

10.14060/j.issn.2095-7939.2017.04.026

2017-04-07

河南警察学院青年项目（编号：HNJY-2016-QN-03）。

沈郑燕 （1982-），女，河南郑州人，河南警察学院刑事科学技术系讲师，博士，主要从事刑事影像处理与分析研究。