线性回归总体最小二乘平差模型及解算

汪奇生 杨德宏 杨腾飞

1 湖南软件职业学院，湘潭市宝马西路，411100

2 昆明理工大学国土资源工程学院，昆明市文昌路68号，650093

求解线性回归参数的估值，一般都是基于高斯－马尔科夫模型，采用最小二乘法计算。但在实际中，通过测量获取的坐标数据有可能含有随机误差，需要考虑线性回归模型中自变量的误差，即平差模型中系数矩阵的误差。对于此类问题，文献［1－2］提出以正交距离残差平方和极小为准则的正交最小二乘法来进行拟合。实质上，同时考虑观测误差和平差模型中系数矩阵的误差，就是一个总体最小二乘估计问题，通常需要建立相应的EIV（errors－in－variables）模型，采用总体最小二乘来对回归参数进行估计［3］。鉴于总体最小二乘常规的矩阵分解过程复杂，测量学者提出一些迭代算法［4－8］，但这些算法大都不能直接解算线性回归模型。对于线性回归模型的总体最小二乘解算，一般采用混合总体最小二乘法［9－10］。由于混合总体最小二乘法同样不利于测量人员理解，因此也有一些关于线性回归模型的总体最小二乘解算研究［11－12］。但文献［11－12］的研究并没有达到预定的目的，所述的平差解算方法有偏颇［13］。考虑到线性回归函数模型的特点，本文对其函数模型进行变换，提出了针对线性回归问题的总体最小二乘模型，并推导其迭代算法。通过实例对比，验证了模型和算法的可行性。

1 常规EIV模型

线性回归函数模型为：

其总体最小二乘平差模型（EIV 模型）和相应的误差期望和方差为：

式中，Y为m×1阶观测向量，e为Y的误差向量，B为m×n阶系数矩阵，EB为B的误差矩阵，β为n×1 阶待估参数。其中，⊗为矩阵的克罗内克积，vec（EB）是将矩阵EB按列从左到右拉直得到的列向量化矩阵。Im为m阶单位矩阵，In为n阶单位矩阵。

若系数矩阵同时含有常数列和误差项，一般采用混合总体最小二乘矩阵分解法［9－10］或迭代算法［13］进行解算。鉴于混合总体最小二乘矩阵分解过程复杂，本文提出针对线性回归的总体最小二乘平差模型和算法。

2 线性回归总体最小二乘平差模型

可将式（1）进行等价转换，得：

式（4）即为线性回归总体最小二乘平差模型。其中，A为m×n系数矩阵，EA为A的误差矩阵，W为m×1元素全为1的常数向量，X为n×1的待估参数。通过等价变换，将原平差模型系数矩阵的常数列分离出来。在模型中误差项全部集中在矩阵A中，而W为常数列向量。考虑自变量与因变量独立等精度，根据总体最小二乘原理，其误差期望和方差为：

式中，vec（EA）是将矩阵EA按列从左到右拉直得到的列向量化矩阵，Imn为mn阶单位矩阵，V是平差模型中mn×1阶误差向量，V＝vec（EA）。

总体最小二乘的估计准则为：

以式（6）为条件，按照拉格朗日乘数求解，构造目标函数为：

式中，K为m×1拉格朗日乘数，EAX＝（XT⊗Im）V。为求φ的极小值，将其分别对V、X求偏导，并令其等于0：

由式（8）可得：

V＝（XT⊗Im）TK＝（X⊗Im）K或EA＝KXT代入式（4）可得：

由式（9）可得：

将式（10）和式（11）代入式（12），则：

化简整理，可得参数X的表达式：

式中，v＝（W－AX）T（W－AX）／XTX。由上述推导可知：

则单位权中误差评定公式为：

3 解算步骤

参数求解采用迭代方法，步骤如下：

1）由式（1）根据最小二乘原理求得回归参数估值a0、a1…an，再根据式（3）将其变换为b0、b1…bn，并组成回归参数的初值X（0）＝［b0b1…bn］T。

2）按式（17）计算新的回归参数值：

4）输出参数估值，按式（16）求得单位权中误差。

4 实例分析

算例采用文献［13］中的数据，即运用MATLAB模拟一个一元线性回归方程。设其方程为y＝1.5＋2.1x，在x和y的值上加上均值为0、方差为0.3的随机误差，构成观测数据，见表1。分别采用最小二乘法、EIV 模型下的混合总体最小二乘法、文献［13］所述方法以及本文方法对参数进行估计。迭代终止条件为相邻两次迭代的估值的欧氏距离为ε＝10－10，参数估计的结果和单位权中误差以及两种迭代算法的迭代次数见表2。

表1 观测值Tab.1 Observation values

从表2看出，采用本文方法、混合总体最小二乘法和文献［13］所述方法得到的结果相同，且与真值较接近，而采用最小二乘法求得的回归参数估值明显与真值相差较大，且精度较低。从解算的迭代次数可以看出，文献［13］所述方法需要65次，而本文方法只需28次。此外，本文算法适合多元线性回归的总体最小二乘问题，而文献［13］所述方法只是针对一元线性回归的总体最小二乘问题。这进一步说明了本文方法的优越性。

表2 平差结果Tab.2 Results estimated by different methods

从解算结果可以得出，本文提出的模型针对线性回归模型的总体最小二乘解算是合理的。并且本文在平差模型的基础上推导的迭代算法，过程简单易懂，迭代格式简捷易于程序实现。相比常规的混合总体最小二乘矩阵分解法，更利于测量人员理解和实现。

［1］丁克良，欧吉坤，赵春梅.正交最小二乘曲线拟合法［J］.测绘科学，2007，32（3）：18－19（Ding Keliang，Ou Jikun，Zhao Chunmei.Methods of the Least－Squares Orthogonal Distance Fitting［J］.Science of Surveying and Mapping，2007，32（3）：18－19）

［2］丁克良，刘全利，陈翔.正交距离圆曲线拟合方法［J］.测绘科学，2008，33（10）：72－73（Ding Keliang，Liu Quanli，Chen Xiang.Fitting of Circles Based on Orthogonal Distance［J］.Science of Surveying and Mapping，2008，33（10）：72－73）

［3］Golub G H，Vanl C F.An Analysis of the Total Least Squares Problem［J］.SIAM J Numer Anal，1980，17：883－893

［4］鲁铁定，周世健.总体最小二乘的迭代解法［J］.武汉大学学报：信息科学版，2010，35（11）：1 351－1 354（Lu Tieding，Zhou Shijian.An Iteration for the Total Least Squares Estimation［J］.Geomatics and Information Science of Wuhan University，2010，35（11）：1 351－1 354）

［5］孔建，姚宜斌，吴寒.整体最小二乘的迭代解法［J］.武汉大学学报：信息科学版，2010，35（6）：711 －714（Kong Jian，Yao Yibin，Wu Han.Iterative Method for Total Least－Squares［J］.Geomatics and Information Science of Wuhan University，2010，35（6）：711－714）

［6］许超钤，姚宜斌，张豹，等.基于整体最小二乘的参数估计新方法及精度评定［J］.测绘通报，2011（10）：1－4（Xu Chaoqian，Yao Yibin，Zhang Bao，et al.New Method of Parameters Estimation and Accuracy Evaluation Based on TLS［J］.Bulletin of Surveying and Mapping，2011（10）：1－4）

［7］Schaffrin B，Wieser A.On Weighted Total Least－Squares Adjustment for Linear Regression［J］.Journal of Geodesy，2008，82（7）：415－421

［8］Shen Y Z，Li B F，Chen Y.An Iterative Solution of Weighted Total Least－Squares Adjustment［J］.Journal of Geodesy，2010，85（4）：229－238

［9］丁克良，沈云中，欧吉坤.整体最小二乘法直线拟合［J］.辽宁工程技术大学学报：自然科学版，2010，29（1）：44－47（Ding Keliang，Shen Yunzhon，Ou Jikun.Methods of Line—Fitting Based on Total Least－Squares［J］.Journal of Liaoning Technical University：Natural Science，2010，29（1）：44－47）

［10］孙同贺，罗志才.数字化曲线的整体最小二乘平差［J］.工程勘察，2013（8）：71－73（Sun Tonghe，Luo Zhicai.Total Least Squares Method for Digitized Curve Fitting［J］.Geotechnical Investigation ＆Surveying，2013（8）：71－73）

［11］丁士俊，姜卫平，杨颜梅.整体最小二乘线性回归模型与算法［J］.测绘通报，2012（12）：8－10（Ding Shijun，Jiang Weiping，Yang Yanmei.Model and Algorithm for Total Least Squares Linear Regression［J］.Bulletin of Surveying and Mapping，2012（12）：8－10）

［12］鲁铁定，陶本藻，周世健.基于整体最小二乘法的线性回归建模和解法［J］.武汉大学学报：信息科学版，2008，33（5）：504－507（Lu Tieding，Tao Benzao，Zhou Shijian.Modeling and Algorithm of Linear Regression Based on Total Least Squares［J］.Geomatics and Information Scienceof Wuhan University，2008，33（5）：504－507）

［13］汪奇生，杨德宏，杨建文.基于总体最小二乘的线性回归迭代算法［J］.大地测量与地球动力学，2013，33（6）：112－114（Wang Qisheng，Yang Dehong，Yang Jianwen.An Iteration Algorithm of Linear Regression Based on Total least Squares［J］.Journal of Geodesy and Geodynamics，2013，33（6）：112－114）