正则化方法的统一

郭淑妹 郭 杰 张 宁

1 信息工程大学理学院，郑州市科学大道62号，450001

不适定问题广泛存在于大地测量领域如航空重力向下延拓、卫星测量等，Tikhonov［1－2］正则化方法是处理不适定问题的有效手段。Phillips［3］在1962年提出正则化方法，对不适定问题的解的研究进入新的阶段［4－11］。不适定问题的研究主要针对两个问题：一是最佳正则化参数的选取，一是正则矩阵的合理化。Tikhonov 正则化方法适用于解不适定方程，但对于某些具有特殊结构的算子和初始数据具有某些特殊信息时，一般很难获得最佳的解。本文综合利用最小二乘解的无偏性和模型参数的先验误差协方差阵，得到一个新的估计。一方面保有最小二乘解的优良性，另一方面由先验信息的约束得到自适应因子，具有一定的统计意义。

1 新估计

大地测量常用的线性模型为：

L为n×1观测向量，A为n×m设计矩阵，Δ为误差向量，X为m×1未知参数向量。其中E（Δ）＝0，cov（Δ）＝CΔ。由此模型可得到参数最小二乘估计。最小二乘估计具有很多优良的性质，但是当不适定问题存在时，最小二乘估计的精度较差，表现出相当的不稳定。为了获得稳定可靠解，必须对病态方程作正则化处理。众多的正则化方法得到的估计一般都是有偏的。增加先验信息的约束，可以提高解的精度。

对最小二乘估计作线性变换：

当设计阵病态时，最小二乘估计不再是一个好的估计。对最小二乘估计作线性变换，此时的R是待确定的正则化矩阵。修正最小二乘估计，添加的约束条件就可以转化为以下矩阵方程：

2 新估计与最小二乘比较

新的估计是一个有偏估计，偏差向量为：

对法矩阵进行正交对角分解：

其中Λ＝diag（λ1，λ2，…，λm），其对角元是法矩阵N的特征值λi，i＝1，2，…，m；U＝［u1，u2，…um］，由法矩阵N的特征向量规范正交化得到。分别表示为：

这里m为A的秩。

偏差的范数为：

根据E2（Z）≤E（Z2），Z为随机变量，得：

对不适定方程进行正则化处理时，如果正则化方法不适当，可能导致比最小二乘更为严重的不稳定。为此，必须在均方误差框架下将与均方误差进行比较，以对正则化解与最小二乘解的优劣进行判别。

知：

3 正则化方法形式的统一

线性模型反演的正则化过程的核心是选取合适的正则化参数，比如在航空重力测量数据向下延拓中，通过选取合适的正则化参数来抑制观测噪声高频部分对参数估值的影响。现有解决离散反问题的正则化方法相当于对病态法矩阵N＝增加一个滤波因子。最小二乘估计的分解形式为当法矩阵病态时，为了得到稳定解，通常增加一个滤波因子δi。改进的估计一般形式为：

滤波因子δi起到了正则化参数的作用，不同的正则化准则就有形式不同的滤波因子，可以得到不同的正则化方法。由文献［12］知，，可得R＝U（D1／2Λ1／2）UT。新估计可表示为：

得到：

吉洪诺夫正则化方法：

广义岭估计法：

Stein估计：

滤波因子为δi＝α，协方差阵的特征值为

截断奇异值法：

双参数正则化方法：

4 结 语

本文就线性模型不适定问题提出一种先验信息的正则化方法，该方法是基于最小二乘估计的一种线性变换，并满足两个基本要求：一是最小二乘估计的最优拟合，因为最小二乘估计具有无偏性；二是包含了一个外部约束，即待估参数的误差协方差矩阵。在一定椭圆区域内，新估计的均方误差小于最小二乘估计的均方误差，显示新估计的精度良好。现有正则化方法可以表示成一个统一的形式，通过选择不同的误差协方差矩阵特征值滤波因子，可得到不同的正则化方法。

［1］Tikhonov A N.On Stability of Inverse Problems［J］.Dokl Acad Nauk USSR，1943，39（5）：195

［2］Tikhonov A N.On Solving Incorrectly Posed Problems and Method of Regularization［J］.Dokl Acad Nauk USSR，1963，151（3）－198

［3］Phillips D L.A Technique for the Numerical Solution of Certain Integral Equations of the First Kind［J］.J Assoc Comput Mach，1962（9）：84－97

［4］Engl H W.Discrepancy Principles for Tikhoov Regularization of Ill－Posed Problems Leading to Optimal Convergence Rates［J］.J Optim Theory Appl，1987（52）：209－215

［5］Engl H W，Hanke M，Neubauer A.Regularization of Inverse Problems［M］.Dordrecht：Kluwer Academic Publishers，1996

［6］Hansen P C.Numerical Tools for Analysis and Solution of Fredholm Integral Equations of the First Kind［J］.Inverse Problems，1992（8）：849－872

［7］Hanke M，Hansen P C.Regularization Methods for Large－Scale Problems［J］.Surv Math Ind，1993（3）：253－315

［8］Hansen P C.Rank－deficient and Discrete Ill－Posed Problems：Numerical Aspects of Linear Nnversion Philadelphia［M］.SIAM Publishers，1998

［9］Kusche J，Klees R.On the Regularization Problem in Gravity Field Determination from Satellite Gradiometric Data［C］.IAG Assembly，Budapest，2001

［10］Xu P，Rummel.A Simulation Study of Smoothness Methods in Recovery of Regional Gravity Fields［J］.Geophysical Journal International，1994，117：472－486

［11］Xu P.Truncated SVD Methods for Discrete Linear Ill－Posed Problems［J］.Geophysical Journal International，1998，135：505－514

［12］Kotsakis C.A Covariance－Adaptive Approach for Regularized Inversion in Linear Models［J］.Geophys，2007，171：509－522