一种抗运动模糊的微扫超分算法

2021-07-25范玉影

制造业自动化 2021年7期

杨凯，范玉影

（中国航空工业集团公司洛阳电光设备研究所，洛阳 471099）

0 引言

受限于材料和工艺水平，高分辨红外探测器制造难度大、成本极高。基于低分辨率红外探测器，采用先进的微扫光机设计和图像处理算法实现超分，是获得高分辨率红外图像的有效方法。基于微扫的红外探测系统可广泛应用于对空告警、环境感知、目标探测等应用领域。

美国戴顿大学和Wright实验室在美国空军支持下，利用20幅低分辨率红外图像，取得了提高近5倍的实验结果[1]。英国BAE SYSTEMS公司研发的2×2微扫描系统，使成像像素扩大了4倍。德国AEG和STANTRLAS共同研发的电机驱动微扫描成像系统，像素由384×288提高到了768×576[2]。浙江大学计算机软件研究所的首山雄、陈进勇将微扫描用于CMOS图像传感器[3]。北京理工大学金伟其等利用电机驱动平板玻璃旋转方式实现微扫描成像[4]。吴新社等利用伺服电机驱动平板透镜方式实现微扫描成像，完成了微扫描成像演示实验，得到分辨率明显提高的序列图像[5]。

传统的超分辨率重构算法研究成果很多，然而针对视频序列中存在局部运动的目标，传统超分辨率重构过程中会出现伪影效应的问题，在运动区域周边的图像由于运动而导致分辨率严重下降[6～8]。为解决该问题，本文开展了微扫超分算法的研究，并在搭建的原理样机上进行了相关实验。

1 微扫超分原理

红外成像仪在图像采集过程中，由于相机本身分辨率的限制以及噪声的存在，使得捕获得到的图像分辨率较低，且噪声较大，图像不清晰，因此需要一种方法来提高图像分辨率。利用微扫装置带动光学系统中某片透镜组在X、Y方向进行微位移平移，从而使得最终在焦平面上的光学图像产生1/N（N为整数）像素的平移，得到N×N帧图像，利用图像处理平台将多帧图像融合重构，最终获得一帧高分辨率的图像。

2 抗运动模糊的微扫超分算法

2.1 算法概述

红外机芯输出的是经过非均匀校正的640×512、14bit制冷型中波红外图像数据，经过超分重构处理后输出1280×1024、10bit图像，整个处理流程如图2所示。

图2 抗运动模糊的红外图像超分辨率重构算法流程

1）红外图像预处理：红外光机通过微扫器微扫输出非均匀校正后的640×512、14bit位宽中波红外图像，经滤波去噪和灰阶压缩后获得10bit图像数据；

2）超分重构处理：经过预处理后连续4帧平移0.5像素的中波红外图像，经空域迭代超分重构后获得1280×1024、10bit位宽图像；

3）红外图像的单帧放大与运动区域提取：对第3帧红外图像进行单帧放大处理，获得1280×1024、10bit位宽图像；采用帧差法（第4帧与第0帧）提取图像上的运动区域；

4）将2）与3）中获得的图像进行融合，运动区域外的部分为全局超分图像，运动区域为单帧放大图像，两部分的边界进行渐变处理；若3）未检测出运动区域，则直接输出超分辨率图像作为最终结果；

5）将4）中获得的图像进行滤波和增强处理，最终获得1280×1024、8bit抗运动模糊超分红外图像。

由于上述流程中其余算法均为常规方法，本文只针对特有的空域迭代超分辨算法和运动区域处理部分展开论述。

2.2 运动区域处理

采用帧差法进行运动区域提取，两帧图像逐点相减，背景部分由于没有相对运动相减后灰度近似为0，而运动区域相减会获得较大的灰度数据；将帧差图像采用OTSU进行阈值分割将目标区域与背景区域进行分割，对分割后的二值图像通过腐蚀处理去除图像上的噪点等小区域，再进行膨胀处理扩充目标区域边界；最后进行连通域分析获取图像上目标区域的特征，以此特征进行目标区域的筛选合并，最终获得图像上的运动区域。

1）帧差

由于微扫器的影响，连续的第1、2、3、4帧之间存在0.5像素的偏移，不利于帧差检出运动区域，故采用第4帧和第0帧（上一组4帧图像的第4帧）进行帧差。

2）累计直方图

累计直方图是为后续最大类间方差估计做准备，分为两步。第一步是统计整幅图像中各个灰阶出现的次数，即直方图统计h（i），i=0，…2N-1，其中N为数据位宽。第二步计算小于等于某个灰阶像素总数H（i），其中：

3）OSTU

对帧差图像中目标和背景区域的分割采用最大类间方差法（OSTU），对图像I（x，y），前景和背景的分割阈值记作T，前景像素占整幅图像的比例记为ω0，其平均灰度μ0；背景像素占整幅图像的比例为ω1，其平均灰度μ1。

从L个灰度级遍历，即当灰度值取T，前景和背景的方差σ最大，其表达式如下所示，则T为最佳阈值。

遍历所有的灰阶，即I=0，…，1023，获得这一组σ，其中当σ取最大值即Max（σ）时灰度值为I=T，即T为所求的阈值。

4）二值化处理

采用OTSU获得的阈值T，遍历全图每个像素，采用式(3)进行处理。

其中i=0，…319，j=0，…255。

5）腐蚀膨胀处理

在膨胀腐蚀运算均采用方形的结构元素，假定结构元素的大小为；为了加快膨胀腐蚀的运算可将大小的结构元素分解成水平()与竖直()两个一维的结构元素，首先用水平结构元素进行形态学处理，将水平结构元素的处理结果作为输入再用竖直结构元素进行处理，最终得到形态学处理结果。

图3 结构元素分解

二值图像上为1的区域可以视为线段，图像上像素为1的点可以分类为：线段起点、线段组成点和线段终点，从线段起点开始到线段终点为止为一个处理单元，已知线段起点的坐标为，线段终点坐标为。

图4 像素点类型示意图

以水平结构元素为例：

对于膨胀操作而言，当确定线段的起点与终点只需要将i1-r≤i≤i1，i2≤i≤i2+r（i1-r≥0，i2+r≤n，n为图像的列数）范围内的像素置为1，即完成了图像的膨胀。

竖直结构元素的腐蚀膨胀与水平一致。通过该方式，只需要对图像元素进行一次遍历即可获得水平/竖直的腐蚀膨胀结果，加快了计算速度。

6）连通域处理

原始红外图像在进行二值化、腐蚀等处理的过程中由于噪声干扰，原本为一体的运动目标可能会被分割为多个小的运动单元，该算法通过计算两个区域的形心距离，选择合适的距离阈值，若形心距离大于距离阈值，则认为是两个独立的运动目标，若形心距离小于距离阈值，则认为是同一个运动目标，将进行两个区域的合并。对有效区域合理的合并，可提高运动目标检测的准确性，降低后续数据处理的难度。

此外噪声干扰也会导致出现一些小区域的误检出，因此除了区域合并以外，本部分也会通过对连通区域长、宽和面积的分析，剔除部分不满足条件的区域，降低误检率。

将连通域分析后获得的区域特征数组M[N]，判断每个连通域是否满足如下判据中的任意一项，若满足则认为该区域为无效区域，将其剔除。

剔除后获得新的区域特征数组M'[N']，以数组中的第i个元素M'[i]（i=0，…，N'-2）为基准，依次与M'[j]（j=i+1，…，N'-1）进行比较，求取两个连通域之间的形心。

2.3 静态区域的超分重构

静态区域的超分重构采用空域迭代超分辨率重构方法，采用2×2微扫描工作模式时，如图1所示。假设重构后图像为p（i，j）（1≤i≤2h，1≤j≤2w），根据微扫描技术所得到的四幅低分辨率图像分别为：f（i，j），g（i，j），h（i，j），k（i，j）（1≤i≤h，1≤j≤w）。

图1 基于微扫的图像超分辨率成像原理

初始边界值估计以及条件约束如式(6)所示。

为了消除初始边界值估计时引入误差的累积与传递导致的图像颗粒噪声，计算时会引入一定的低分辨率图像。改进后重构图像的灰度表达式如式(7)所示，其中α=0.3。

2.4 运动区域图像与静态超分图像融合

采用4bit宽度数据描述静态超分图像和运动单帧放大图像的融合权值以运动区域边框为界线，随着向运动区域内部延伸，增大运动区域权值，同时减小静态区域权值；而向静态区域延伸时，增大静态区域权值而同时减小运动区域权值，从而使得运动区域和静态区域平滑过渡。

通过对运动区域和静态区域两部分的图像加权融合即可获得最终抗运动模糊的高分辨率图像。

3 实验装置及结果

为验证算法的抗运动模糊和分辨率提升的有效性，本文搭建了基于制冷性中波红外探测器的微扫超分系统，探测器分辨率640×512，像元尺寸15um。在压电陶瓷微扫器的驱动下，探测器靶面上的图像以2×2的方式进行扫描，相邻两帧图像间的偏移量为7.5um。采用基于FPGA+DSP的嵌入式实时处理平台进行抗运动模糊的超分图像融合。实验装置如图5所示，实际成像效果如图6所示。