MTF补偿法图像复原及其对立体定位精度的提升

胡海彦， 杨韫澜， 方　勇， 江振治， 李赢博

1.信息工程大学地理空间信息学院,河南 郑州，450052;2.西安测绘研究所,陕西 西安，710054;3.地理信息工程国家重点实验室,陕西 西安，710054;4.测绘信息技术总站，陕西 西安，710054;5. 北京空间机电研究所，北京，100076



MTF补偿法图像复原及其对立体定位精度的提升

胡海彦1，2，3， 杨韫澜4， 方勇2，3， 江振治2，3， 李赢博5

1.信息工程大学地理空间信息学院,河南 郑州，450052;2.西安测绘研究所,陕西 西安，710054;3.地理信息工程国家重点实验室,陕西 西安，710054;4.测绘信息技术总站，陕西 西安，710054;5. 北京空间机电研究所，北京，100076

任何光学成像系统的成像过程都会不同程度地造成物象退化，该退化会影响图像的辐射和几何性能。基于调制传递函数理论并采用MTFC补偿方法，本文设计了一种修正反转滤波器，并给出了该滤波器下的高分辨立体图像复原数据处理流程；同时，结合一款北京空间机电研究所研制的空间遥感物理缩比样机进行了验证试验，分析研究了复原后的图像质量及其对目标立体定位精度的提升潜力，效果明显。

光学相机系统；MTF；立体定位；几何量测性能；图像质量

1　引　言

在光学摄影测量成像过程中，太阳光经由大气传输到地面，与地表发生作用后再通过大气被相机接收，传感器将接收到的电磁波能量转换成可见的光学影像。在这一复杂的电磁波传导过程中，由于大气对电磁波的散射和吸收、太阳高度角变化、地形起伏、传感器探测系统性能差异等各种因素的影响，导致传感器最终接收到的电磁波辐射产生失真，造成影像模糊，引起影像质量下降。

摄影测量立体测图过程中，立体图像定位精度主要取决于摄站位置及目标点立体视角的大小与精度，而同名像点的匹配量测精度是决定立体视角精度的一个主要因素。对于既得高分辨率遥感影像，其几何构型(立体视角)是确定的，此时若想进一步尝试提高目标立体定位精度，则要从同名像点的量测精度进行挖掘，这需要展开高质量图像清晰度复原挖潜研究。基于调制传递函数(Modulation Transfer Function, MTF)理论，尝试进行图像清晰度提升与图像复原的相关研究较多，代表性研究可参考相关文献[1,2,3,4,5,6]，但这些成果仅从图像复原后信息量的增加方面进行了考察研究，并未就其对图像立体定位性能的提升进行定量化分析。本文正是针对调制传递函数补偿(MTFC，Modulation Transfer Function Compensation)，对图像立体定位能力提升的可能贡献展开研究，提出了具体的MTFC算法和数据处理流程。试验表明该成果可以很好地对光学系统退化进行有效补偿，从而复原图像，提高成像质量；尤其是修正改进了一种反转滤波器，这对像点匹配量测精度提高及物点定位能力提升贡献很大。

2　MTFC算法与处理流程

构建准确的退化模型是提高影像复原效果的基础，调制传递函数(MTF)既能表征影像的分辨率，又能表征影像的清晰度，它是物理光学中评价光学系统成像性能的一个综合性指标。所以，如果能够精确计算或得到影像的MTF曲线，那么，据此建立的图像退化模型便能很好地刻画影像退化状态，理论上便可很好地恢复和复原真实物像。

调制传递函数(MTF)这一概念建立于傅里叶变换理论上，从数学分析来看意即任何物体的亮度空间分布都可表示为一组空间频率谱的组合。在实际摄影成像过程中，任何光学系统都会在一定程度上造成频率谱的衰减，MTF是对这一衰减的很好表述，调制度及调制传递函数的具体定义可参考相关文献[7,8]。

2.1MTFC模型构建

假设f(i,j)是未退化的原始物像，g(i,j)是实摄的退化图像，退化的数学模型可表示为g(i,j)=f(i,j)⊗h(i,j)。其中，h(i,j)为点扩展函数，⊗为卷积操作。对该式两边进行傅里叶变换得：

G(μ,v)=F(μ,v)·H(μ,v)

(1)

其中，H(μ,v)为复数形式，可具体写为H(μ,v)=|H(μ,v)|eiφ，对幅值作归一化处理，即使得零频率处的幅值H(0,0)=1，也很容易印证归一化后的幅值就是MTF[9]，数学表示即为：

其中，k=|H(0,0)|。则由式(1)得MTF表示下的图像退化模型为：

G(μ,v)=F(μ,v)·MTF·k·eiφ

(2)

假定MTF对光学系统的影响是圆对称的，则可以忽略相位的影响，上式可简化为：

G(μ,v)=F(μ,v)·MTF·k

(3)

式(3)还可进一步考虑噪声的影响，假定噪声在频域下为N(μ,v)，则模型进一步精化成G(μ,v)=F(μ,v)·MTF·k+N(μ,v)，在频域下影像复原模型为：

最后，作傅里叶逆变换即得到复原图像。

2.2MTFC处理流程

完整的MTFC数据处理流程包含三个步骤：步骤一：计算获取MTF曲线；步骤二：构建二维MTF矩阵；步骤三：利用MTF矩阵进行图像复原。

2.2.1MTF曲线获取

获取MTF曲线的主要方法为刃边法：首先，计算高反差边缘的亮度分布函数，即边缘扩展函数(Edge Spread Function，ESF)，然后对其求导得到线扩展函数(Line Spread Function，LSF)，最后作傅里叶变换得到MTF曲线。

实际中需要从图像中人工选取含有刃边的目标子图。所选边缘应满足：地物为线状，具有平直、清晰的边沿，且边沿两侧区域的灰度分布比较均匀，这样的刃边有利于提取到准确的边缘扩展函数；从已有经验来看，边缘的倾斜度为8°时最佳，最大不超过20°，边缘的宽度和高度分别在20～40个像素最佳。因为刀刃边缘的扩散程度可以反映整幅影像的退化程度，所以从子图中计算出的MTF曲线可以代表整幅图像的MTF。具体计算步骤如下：

(1)边缘检测

对刀刃目标子图中的边缘进行检测，要求边缘方向必须沿轨或跨轨方向(夹角不能超过一定的阈值，且有长度要求)，最好选择亮度反差大、信噪比高的边缘子图。

(2)边缘拟合

要求刀刃边缘尽量平直。由于传感器成像过程中各种误差的影响，实际求出的每一行边缘点的位置多少会有些偏差，这些点并非严格位于同一直线上，任何一点相对于直线的偏离都会影响到MTF的计算结果，因此，需要对边缘检测结果进行线性拟合，求得最佳近似边缘直线。

(3)边缘扩展函数提取

边缘扩展函数是对刀刃边缘的系统响应，影像上每一行像素点的灰度分布即为该行的边缘扩展函数(ESF)。由于光学系统成像是对连续信号的离散采样，仅通过影像数据的某一行来模拟ESF曲线是远远不够的，传感器的欠采样导致的信号混淆现象、相位效应和边缘的倾斜角都会影响ESF的计算结果，因此，为了得到比较准确的边缘扩展函数，最直接的方法是通过插值法增加采样点——比如高斯插值法、Hermite插值法等。

(4)线扩展函数获取

线扩展函数是边缘扩展函数的一阶变率，实际中用相邻灰度差值近似替代。

(5)MTF值计算

对线扩展函数进行离散傅里叶变换，取变换后的各分量的模作为各频率的MTF值，并进行归一化处理，则得到一系列的MTF值。由于截止频率处的MTF值趋近于零，若将频率点以截止频率为基准作归一化，则截止频率值对应为1。

2.2.2构建二维MTF矩阵

以上只求得沿轨或跨轨方向的MTF曲线，而建立MTF复原模型必须重构二维MTF矩阵[10]。常规的处理方法是将这两个相互垂直方向的MTF向量相乘，即：MTF(μ,v)=MTFμMTFv，式中，MTFμ是频率μ处沿轨方向的MTF值，MTFv是频率v处跨轨方向的MTF值。

该方法求得的45°方向的MTF值与沿轨方向或跨轨方向的MTF值差别很大，为了消除这种差异，分别取两个方向一半频率处MTF值的平均值再衰减90%作为45°方向一半频率处的MTF值，再根据两个方向的比例关系进行插值，即可得到二维插值MTF(μ,v)矩阵。由于模的对称性，只需求出0～0.5频率内的MTF值，-0.5～0频率内的MTF值与此相同，0.5频率即为截止频率的一半[11]。

2.2.3图像复原

在频域中，基于MTF图像复原模型为：R(μ,v)=I(μ,v)⊗P(μ,v)。其中，R(μ,v)为复原影像；I(μ,v)为实摄影像；P(μ,v)为滤波器算子，此时P(μ,v)=1/MTF(μ,v)，这里称之为直接反转滤波器。

考虑到噪声的影响，修正滤波器，令：

式中，Kω为与原影像信噪比有关的先验常数矩阵，其特点是对噪声放大进行了有效抑制。该滤波器由法国人维纳(Vena)提出[3]，这里称之为维纳滤波器。

进一步考虑到要最大可能地兼顾直接滤波器的特点和消除噪声影响，以及从一维向量到二维滤波器矩阵构造的便捷性，关键是要设计一个函数D(μ,v)，使得

其中，μc为0.5倍的奈奎斯特频率；μω为MTF等于0.5时的频率，这里称之为修正反转滤波器。

最后，对R(μ,v)进行傅里叶逆变换即可得到复原图像。

3　试验验证

3.1实验室数据获取

为了验证本文的理论和方法，对一款北京空间机电研究所研制的空间遥感物理验证样机进行了验证试验。该相机采用离轴式光学系统，F系数可变，具备面阵成像和线阵推扫成像两种模式，采用低畸变反射式的光学系统。其主要系统组成为：FLI科学级面阵CCD，离轴三反光学镜头，电控调焦机构，电控可调光阑，滤光轮，计算机控制系统，图像采集系统及相关配件(图1)[12]，主要指标见表1。

图1　物理验证样机系统构成

表1物理验证样机主要技术性能参数

参数指标分辨率30μrad视场角7°×2°光谱范围全色0.5～0.8μmCCD类型面阵CCDCCD规模1188×4096像元尺寸9μm×9μm焦距300mmF数8、11、16、22可选

为了进行相机系统及MTFC处理后立体定位能力方面的定量分析，设计并建立了一套分辨率靶标和两套高精度的几何靶标控制场(图2)，其中几何控制靶标为具有良好漫反射特性的圆形标志：

分辨率靶标(靶场1)采用10线对矩形波，并以45°旋转四次组合而成；

几何检校靶标(靶场2)为600mm×600mm的黑色方形三维靶标，有效标志点个数为45个；

几何定位精度测试靶标(靶标3)为5000 mm×4177 mm的带凸起的墙面，有效标志点个数为214个。

实验中，按一定的摄影要求在不同位置并以不同角度对靶场进行摄影成像，而后进行MTFC数据处理及相机检校与定位分析，并对两个几何靶场进行交互比对分析。

图2　用于试验验证的3个靶场(依次为靶场1、2、3)

3.2MTFC处理结果

试验中先利用分辨率靶标提取MTF曲线。图3(a)是相机系统在实验室拍摄的多张分辨率靶标影像中的一张(为了验证MTFC方法的有效性，拍摄中适当调整相机光圈、快门及摄影距离等摄影参数，而且某种程度地人为增大影像的“模糊”度及噪声)，图3(b)是对应的频谱图。

(a) (b) (c)图3　实验室分辨率靶标影像(a)、频谱图(b)及刀刃边缘子图(c)

在这些分辨率靶标图像中，可按2.2小节所述，适当地选取刀刃边缘子图用于MTF曲线提取，见图3(c)(局部放大)。图4(a)、(b)和(c)分别是由分辨率靶标影像处理后获得的ESF、LSF及MTF曲线。在获取MTF曲线时，刀刃图像的质量、边缘的平直程度、倾斜角以及不同的插值方法等都会影响计算结果，需要反复尝试以得到尽可能准确的MTF值。如图4所示，边缘两侧的曲线呈小幅振荡，这是由于两侧灰度分布不均引起的。在进行傅里叶变换之前，可对该曲线作适当的截取，只留下边缘及扩散区域(图4(b)中粗线)，然后以0代替被裁切部分，这样可以弥补刀刃边缘两侧灰度不均匀缺陷。

(a) (b) (c)图4　ESF曲线(a)、LSF曲线(b)及对应的MTFF曲线(c)

根据水平和垂直方向的MTF值求得的0～0.5频率范围内二维MTF矩阵如下式：

利用此矩阵可以进行图像复原，但需要注意，若直接利用2.2小节所述的反转滤波算子进行复原，从复原后的频谱图(图5(a))可以看出，高频部分被过分提升，噪声被放大，这种方法不可取；从维纳滤波算子处理的影像频谱图(图5(b))可以看出，高频信息得到明显的加强；而修正反转滤波器复原的频谱图(图5(c))表明，高频部分提升更为明显，且在垂直和水平线上的高频部分没有加强反而减弱，这说明该方法对噪声有很好的抑制作用。

图5　直接反转滤波算子(a)、维纳滤波算子(b)及修正反转滤波算子(c)处理下的频谱图

将分辨率复原图像(图6、图7)与原始摄影数据(图3)进行目视比较，可以看出边缘细节得到增强，影像反差提高，图像清晰，视觉效果明显改善。但是，相对而言，采用维纳滤波器复原的影像要比修正反转滤波器复原的影像柔和一些。

为了对影像复原效果进行定量分析与评估，这里统计了处理前后影像的熵、影像对比度、边缘能量等参数，结果列于表2。

图6　维纳滤波复原图像　　　　　　　　　　　图7　修正反转滤波复原图像

表2图像复原前后一些像质参数对比

影像局部均值均方差对比度熵边缘能量平均梯度原始影像136.3126.96330.6466.3246.5884.637维纳滤波复原影像133.9730.04682.7676.70030.6958.595修正反转滤波复原影像136.3732.76992.6476.919196.32916.037

该表中统计参数的计算采用如下公式[13]：

(1)影像熵

其中，i为灰度级；bi为第i级灰度值；P(bi)为bi出现的概率。影像熵越大，说明影像纹理越丰富。

(2)影像对比度

影像对比度可以理解为纹理的清晰度。

(3)影像边缘能量

边缘是影像关于形状特征和细节的重要信息。边缘是高熵信息，但不同于噪声，带有方向性，可通过各向异性的滤波器来提取。用45°、135°两个归一化边缘算子E1、E2分别对影像进行卷积计算，便可消除马赛克效应，相加后可得到影像的边缘e(i,j)，即：

e(i,j)=E1⊗f(i,j)+E2⊗f(i,j),

其中:

边缘能量定义为

式中，e(i,j)为影像边缘像素(i,j)的灰度值。影像边缘能量说明影像中边缘的丰富程度和清晰度，边缘能量数值越大，影像质量则越高。

整体上讲，影像对比度和梯度指标的增长说明影像中锐化的信息量的增加；熵和边缘能量指标的增长说明影像中纹理信息的增加。因此由表2不难看出，修正反转滤波的影像复原效果要明显优于维纳滤波器的影像复原效果。为了进一步验证像质的提高对立体定位能力的贡献，本文进行了相关的立体定位试验。

3.3立体定位试验分析

以靶场2为相机检校靶场，使相机位于三个不同位置，以不同视角尽可能在每个位置满幅拍摄四张影像(每旋转90°成像一次)，共计12张。以靶场3为相机量测性能评估测试靶场，在十个摄站位置，以2排5列进行有常规重叠度的正直摄影(基高比约0.6)，共计10张。采用美国V-STARS(Video-Simultaneous Triangulation and Resection System)三维坐标测量系统[14]对几何靶标进行了高精度控制测量，X、Y、Z方向上的精度优于50μ。

图8　检校靶场2原始摄影影像

图9　修正反转滤波复原图像

以所有几何靶标为圆形标志，为了高精度量取靶心像点坐标，本文采用致密度圆心检测算法提取标志点圆心坐标[15]。致密度是用来刻画物体边界的复杂程度，也称为分散度，其定义为区域周长P的平方与面积A的比值：C=P2/A。致密度描述了区域单位面积的周长大小。致密度大，表明单位面积的周长大，即区域离散，为复杂形状；反之，为简单形状。当图像区域为圆时，C有最小值4π。理论上，该算法的理论误差优于10%(具体精度一定程度上依赖图像质量)。

为了检核MTFC对立体定位精度提高的显著性，基本做法是对检校靶场2和测试靶场3的所有拍摄影像进行MTFC处理后，进行相机检校和定位试验，且与未进行MTFC处理的结果进行比对。图8、图9为检校靶场2原始摄影影像和经由修正反转滤波器复原后的影像示意。比对分析发现，靶标的检测量测精度分别为22%和9%，MTFC前后量测精度相对提高了60%。在此基础上，采用以附加参数扩展理想成像模型的方式对相机进行几何检校(物像关系见下面公式，数据处理细节可参考文献[15])：

x=Fx(X,Y,Z,X0,Z0,ω,φ,κ,xp,yp,c,Δx)

y=Fy(X,Y,Z,X0,Z0,ω,φ,κ,xp,yp,c,Δy)

进一步将相机几何检校参数用于靶场3的定位试验分析：选取15个标志点为控制点，其余作为检查点。实施区域网空中三角测量加密数据平差处理后，检查点的定位精度统计结果见表3。物理验证样机的实验数据在MTFC前相对高程精度为2.264GSD，利用MTFC方法后高程精度为1.583GSD，在现有的噪声条件下，精度提高了约30%。

表3检查点定位精度统计

定位精度DXDYDZmmGSDmmGSDmmGSDMTFC前0.7310.8403.5744.1081.9702.264MTFC后0.5120.5882.4902.9411.3821.583

4　结　论

本文给出了用于高分辨率遥感影像去模糊的调制传递函数补偿(MTFC)理论、方法和具体数据处理流程，并利用一款空间遥感物理缩比样机进行了实验室仿真验证试验，尤其是在布设高精度几何靶场的基础上，同时验证了MTFC方法对于影像立体定位能力的贡献程度。从影像复原效果来看，影像的清晰度、均方差、对比度、熵、边缘能量及平均梯度等像质指标均得到较好的改善，增强了影像的信息量；从立体定位效果来看，由于MTFC处理后像质的提高，对目标点立体定位的精度提升有较大贡献。试验过程充分说明：遥感影像的辐射校正处理不仅可以改善影像的目视效果，而且对于后续的图像自动匹配量测及立体定位精度提高等技术环节奠定了必要的技术基础。当然，本文研究内容属于传感器相对辐射校正研究范畴，在实际应用中，只有同时兼顾绝对辐射校正方面的技术要求，才能保证和提升传感器的整体应用效果，并且仍需进行动态航摄试验对本文研究成果作进一步验证分析。

[1]Choi T. IKONOS Satellite in Orbit Modulation Transfer Function (MTF) Measurement Using Edge and Pulse Method[D]. USA: Doctor Dissertation of South Dakota State University,2002.

[2]蔡新明. 基于卫星遥感图像的MTF计算和分析[D]. 南京：南京理工大学，2007.

[3]Greer P B, Van Doom T. Evaluation of an Algorithm for the Assessment of the MTF Using an Edge Method[J]. Medical Physics 2000,27(9):2048-2059.

[4]周春平. 遥感图像MTF复原国内研究现状[J]. 航天返回与遥感, 2009,30(1):27-31.

[5]陈世平. 航天光学采样成像系统MTF的优化设计与MTFC[J]. 航天返回与遥感, 2007,28(4):17-22.

[6]马文坡. 卫星光学遥感系统优化设计与像质评价探讨[J]. 航天返回与遥感, 2007，28(4):23-27.

[7]刘亚侠. TDI CCD遥感相机标定技术研究[D]. 长春：中国科学院长春光学精密机械与物理研究所，2005.

[8]邱晓君. 基于MTF遥感图像恢复技术研究[D]. 南京：南京理工大学，2006.

[9]修吉宏. 基于图像功率谱的航空图像质量判别技术研究[D]. 长春：中国科学院研究生院(长春光学精密机械与物理研究所)，2005.

[10]Forster B C, Best P. 1994. Estimation of SPOT P-mode Point Spread Function and Derivation of a Deconvolution Filter[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 1994，49(6):32-42.

[11]顾行发，李小英，闵祥军. CBERS-02卫星CCD相机MTF在轨测量及图像MTF补偿[J]. 中国科学(E辑：信息科学)，2005，35(B12)：26-40.

[12]李赢博，胡海彦. 双基高比线面阵结合立体测绘几何模型的构建[J]. 航天返回与遥感, 2015，36(1):32-42.

[13]王占宏. 遥感影像信息量及质量度量模型的研究[D].武汉：武汉大学，2004.

[14]Vstars. VSTARS行业解决方案[OL].[2010-10-08].http://www.3d-china.com/products/220.html.

[15]陈继华.自动全站仪的棱镜光斑图像识别算法研究[J]. 测绘科学技术学报，2015,32(3)：261-265.

[16]杨韫澜, 胡海彦. Brown自检校模型相关性分析与改进[J]. 测绘通报，2014(5)：37-40.

Modulation Transfer Function Compensation for Image Restoration and Stereo Positioning Accuracy Promotion

Hu Haiyan1,2,3, Yang Yunlan4, Fang Yong2，3, Jiang Zhenzhi2，3, Li Yingbo5

1．Institute of Geospatial Information, Information Engineering University, Zhengzhou 450052, China 2．Xi’an Research Institute of Surveying and Mapping, Xi’an 710054, China 3．State Key Laboratory of Geo-information Engineering, Xi’an 710054, China 4．Technical Division of Surveying and Mapping, Xi’an 710054, China 5．Beijing Research Institute of Space Electromechanical Technology, Beijing 100076, China

Any optical imaging system may cause image degradation to some extent, which will affect the radiometric and geometric performance of image. Based on the theory of modulation transfer function, an amended inverse filter is designed using modulation transfer function compensation (MTFC) method, and the processing flow of high resolution stereo image restoration data is given. Verifying experiment is conducted with the physical prototype of space remote sensing camera designed by Beijing Research Institute of Space Electromechanical Technology, and the image quality after restoration and the potential to improve stereo positioning accuracy are analyzed. The result proves that the work is effective.

optical camera system; modulation transfer function (MTF); stereo positioning; geometry metric performance; image quality

2015-12-08。

胡海彦(1977—)，男，助理研究员，主要从事航空航天高精度立体定位理论与方法的研究。

P236

A