基于Otsu和FMM方法的风洞试验图像修复

2020-03-25江涛李强陈苏宇常雨张扣立

航空学报 2020年2期

江涛，李强，陈苏宇，常雨，张扣立

中国空气动力研究与发展中心超高速空气动力研究所，绵阳 621000

随着空气动力学试验研究的深入和光学测试技术的进步，越来越多的光学测试技术应用到风洞试验中[1-4]，图像的数据量大、信息直观。但受光学系统器件或试验条件的影响，如相机噪声、物理损伤、流场杂质等，图像中常会存在一些破损或无关信息等缺陷，会影响试验图像的处理和分析。

以纹影技术为例，纹影仪是风洞试验常用的流动显示设备，纹影图像是风洞试验的重要数据之一，分析纹影图像是数据分析的重要工作内容，可获得许多流场结构方面的信息[1-3,5]。纹影光路中的各光学元件都会直接影响纹影图像的质量，因此有很高的材料和加工要求[1-2]。但光学元件脆弱，通常难以长期保持完好。较典型的是风洞试验段观测窗上的光学玻璃，在高速气流和异物的作用下，表面会出现许多局部破损。玻璃的损伤会在纹影图像中体现为大小和形状各异的黑斑，这些多余而有害的信息，影响对图像的后期处理和分析。对光学元件进行加工修复或更换，可从根本上解决上述问题，但时效性和经济性差，而且修复加工可能会减薄光学元件的厚度，缩短其使用年限。又如，一些使用多幅图像(包括单台相机多次采集和多台相机单次或多次采集)的测试方法，例如温敏漆(Temperature Sensitive Paint, TSP)、压敏漆(Pressure Sensitive Paint, PSP)技术[6-8]等，需要布置图像标记点以开展图像的校正和配准，或者安装传感器作为光学测试方法的对比和参考，这些图像标记点和传感器测点也引起了图像信息缺失。同时，TSP和PSP技术还会遇到因局部发光涂层脱落、污染等原因产生的信息缺失或失真等问题[8]。可见，图像缺陷是光学测试技术在风洞试验应用中面临的实际问题。

数字图像修复技术在2000年由Bertalmio等明确提出[9]，之后发展迅速[10-12]。图像修复是图像处理领域的一个重要部分，是利用图像中的已知信息，按照一定规则对某些区域进行修正，可以修补图像的损坏部分，恢复图像的完整性，或者去除图像中不需要的元素，使图像更加合理和真实。数字图像修复技术可大致分为基于纹理结构的图像修复和基于非纹理结构的图像修复两类，前者主要用于填充图像中大块丢失的信息，后者主要用于修复小尺度的图像破损[11-12]。

经过多年研究发展，数字图像修复技术已应用于气象云图、医学影像、物联网、文物保护等领域[10,13-14]。受此启发，数字图像修复技术应当也可以应用到风洞试验中。对数字图像修复的算法研究较多，但使用中还需要操作者人为指定待修复区域[11]，存在随机性大和耗时长的不足，不利于实际应用。本文以纹影图像为例，根据此类图像缺陷的特点，提出完整的图像修复流程，选择合适的算法，以期实现纹影图像缺陷的自动识别和修复，获得一种使纹影图像信息完整的技术手段，并作为其他风洞光学测试技术图像修复的参考。

1 图像缺陷的特征及修复流程

图1为有缺陷的纹影图像。显然，此缺陷属于小尺度的图像破损，分析可知缺陷的主要特征为：① 离散分布于纹影视场内，大小及形状各异；② 核心区域的灰度值低，与模型的灰度值相近；③ 边缘处的灰度梯度变化较大，与附近图像对比明显。

根据上述特征，缺陷可被视为离散存在于明亮视场内的局部极小值区域，可设计图像修复的流程为：① 确定待处理区域；② 缺陷识别；③ 缺陷修复。其中，缺陷识别这一步骤将实现图像待修复区域自动识别的功能。据此，可分别使用合适的算法开展图像的修复。

图1 纹影图像

2 算法

2.1 图像分割算法

图像修复的前两个流程均需要进行图像分割。一是确定待处理区域时，将模型与纹影视场以外的区域排除，避免修复处理时破坏模型外形，并减少计算量，加快修复速度；二是缺陷识别时，取一定尺寸的图像块进行图像分割以识别和确定缺陷的位置、尺寸和形状。

图像分割是将图像划分成若干个互不相交的小区域的过程，常用的图像分割方法很多，如：基于阈值的图像分割方法、模糊方法、边缘检测方法、特征空间聚类方法等[15-17]。基于阈值的方法计算简单、分割效果好[18]。其中，Otsu算法[19]是一种性能、稳定性和成功率均较高的方法，在一定条件下不受图像对比度与亮度变化的影响，应用广泛[20-23]。

记图像各点的灰度i={1, 2, …,L}，灰度值为i的像素的数量为ni，总像素数量N=n1+n2+ … +nL，各灰度值的比例pi为：pi=ni/N。假设以灰度值k为阈值将图像分割为目标C0和背景C1两类，C0中i={1, 2, …,k}，C1中i={k+1,k+2, …,L}，则有

目标部分像素占比ω0为

(1)

目标部分灰度均值μ0为

(2)

背景部分像素占比ω1为

(3)

背景部分灰度均值μ1为

(4)

图像总灰度均值μT为

(5)

ω0ω1(μ1-μ0)2

(6)

2.2 图像修复算法

小尺度图像破损的修复一般采用基于非纹理结构的图像修复方法。该类方法是将待修复区域附近的已知信息按一定方式从区域边界向内扩散来实现图像的修复。信息的扩散过程通常是通过求解高阶偏微分方程予以控制，需要大量的迭代运算，因此图像修复的速度很慢，实用性不够理想[11,24-25]。本文使用快速行进方法(Fast Marching Method, FMM)[26]来进行图像的修复。基于FMM的图像修复方法最初由Telea提出[27]。该方法将图像待修复区域视为水平集，先利用快速行进方法确定修复路径，使用方向、距离和水平集等权值对邻域像素进行加权平均，然后沿着等照度线进行平滑估计，从待修复区域的边缘向内逐步推进，直到所有像素被修复[24-26]。FMM的修复速度较快，对纹影图像缺陷这类离散区域修复的适用性较好[24-25]。

修复原理如图2所示，Ω为图像待修复区域，∂Ω为该区域的边界。假定p为∂Ω上的一点，围绕p取一个小邻域Bε(p)，q为Bε(p)内的一点，p点的修复即由邻域像素Bε(p)来决定，对Bε(p)中的点进行加权平均来估算p点的灰度值I(p)，即

(7)

图2 修复原理

加权函数w(p,q)采用切线方向N(p)来评价已知邻域像素点与缺失像素点的相关程度，即保证距离p点法线方向越接近的像素点对p点的贡献越大。权函数定义为

w(p,q)=dir(p,q)·dst(p,q)·lev(p,q)

(8)

式中：

其中：dir(p,q)为方向因子，保证距法线方向越近的像素对p点修复的贡献越大；dst(p,q)为几何距离因子，保证距p点越近的已知像素对修复的贡献越大；lev(p,q)为水平集距离因子，保证距待修复区域边界越近的已知像素对修复的贡献越大；d0和T0分别为距离参数和水平集参数，一般取值为1；T为Ω中的点到边缘∂Ω的距离。

由图2可见，像素可分为3类：

1) Boundary。待修复区域边界∂Ω上的点，T= 0，其T值将被更新。

2) Known。∂Ω外已知区域的像素，其T值和灰度值I已知。

3) Inside。∂Ω内部的像素，其T值和灰度值I未知。

FMM就是对待修复区域内的点解Eikonal方程：

(9)

令D±x、D±y分别为x方向和y方向的差分，方程的稳定解为

max(D-xT,-D+xT，0)2+

max(D-yT,-D+yT,0)2=1

(10)

式中：

由式(9)和式(10)求出Ω内部所有点到∂Ω的距离T，然后按照T由小到大的路径进行修复。

3 图像修复试验

以图1为例进行修复，检验本文流程和算法的可行性和有效性。

3.1 图像分割试验

待处理区域确定和缺陷识别的结果分别如图3和图4所示。为取得较理想的修复结果，可对图像进行多次修复，图3和图4仅为第1次进行分割的结果。

图3 待处理区域确定

图4 图像缺陷识别(部分结果)

3.2 图像修复试验

图5为图1经多次修复后的结果，可见缺陷明显减少，而模型和流场结构未受影响。图5中剩余的缺陷还可继续予以修复。

图5 图像修复结果

4 评估与验证

4.1 修复前后对比

图6为图1和图5之间的差异，由两图直接相减得到，代表图1中被修复的缺陷。图6中没有连续或大片的像素，表明图像修复仅处理了离散的信息，没有影响纹影图像中的模型和波系结构。

图6 图像修复前后对比

4.2 应用验证

选取图7对本文的图像修复方法进行应用验证。相对图1，其缺陷尺寸更小、更密集。缺陷识别、修复结果及修复前后对比如图8～图10所示，可见图7的缺陷得到了有效修复，且图中的模型和波系结构没有受到影响。

图7 有缺陷的纹影图像

图8 图7缺陷识别结果

图9 图7修复结果

图10 图7中存在的缺陷

4.3 定量评估

为定量评估图像修复的影响，选取没有缺陷的图像人为添加了13个缺陷(见图11)进行图像修复和对比分析。图像的分辨率为607 pixel×468 pixel，缺陷共1 040个像素。

图11 添加缺陷的图像

图像修复前后的像素变化见表1，可见修复后的灰度值与原始灰度值十分接近，如表2所示，约90%的灰度差异不大于3、约99%的灰度差异不大于6。虽然修复像素的数量多于添加缺陷的像素数量，但绝大部分像素的灰度差异很小，且数量对于整幅图像而言是极少的，故并未对图像整体造成明显影响。图像原有的部分噪声在修复中被处理也是像素数量增多的原因之一。因此，可以认为图像修复技术能将缺陷图像修复至与原始图像相当的水平。