基于光束法自由网平差的无人机影像严格拼接

刘 春，李巍岳，雷伟刚，孙伟伟

（1.同济大学 测量与国土信息工程系，上海200092；2.现代工程测量国家测绘地理信息局重点实验室，上海200092；3.广东省电力设计研究院，广东 广州510663）

无人机（unmanned aerial vehicle，UAV）遥感技术是目前通过近低空获取地表信息的手段之一，它通过无线电遥控设备及地面控制系统进行操作，具有体积小、重量轻、飞行速度缓慢，拍摄范围广等优势［1］，在人力无法进入的危险区域，发挥了巨大的作用.由于这种技术具有快速、安全、经济等优势，已经成为世界各国研究的热点，逐步从开发实验向应用方面过渡［2］.但无人机的飞行高度较低，飞机自身的遥感系统受外界干扰较大，飞行的姿态难以准确地控制，数据质量受到很大的影响，暂时无法满足传统的空中三角测量的精度水平.目前，大部分无人机硬件中缺少监测飞机姿态的设备，在处理无人机影像时，不能完全采用传统的航空摄影流程进行作业［3］.另外，无人机上搭载的数码相机焦距有限，近低空飞行虽然提高了影像的分辨率，但像片的视野范围较小，为了得到整个飞行区域的完整影像，涉及到像片的拼接问题.

无人机影像的严格拼接，大多数采用解析空中三角测量的方法，其核心思想是通过航空摄影，依据摄影测量中的基本数学关系，在部分野外控制点的基础上，利用解析几何的思想，加密出测图用的大量控制点（或像片外方位元素），或者为其他用途提供较为精确的地面控制信息［4］.张祖勋等［5］通过分析灭点几何，建立了影像中直线段与方位元素的关系，根据最小二乘平差原理，迭代计算出影像内、外方位元素，从而拼接出完整的墙面纹理.袁修孝等［6］基于自检校光束法区域平差模型，利用同一地区定向参数解求影像外方位元素.结果表明，求算的外方位元素和加密点坐标精度达到常规光束法区域网平差的精度，为影像定向及拼接提供理论基础.Philip等［7］利用光束法区域网平差方法，通过量测影像中直线段的长度与方向来确定外方位元素，得到了精度较高的全景图.Zhao等采用光束法区域网平差及尺度不 变 特 征 转 换 （scale－invariant feature transform，SIFT）算法［8］结合的方法，针对不同尺度的三维影像进行匹配拼接研究，通过一定数量的控制点提高平差结果的精度［9］.随着人们对测量精度要求不断地提高，光束法已经成为了目前区域网空中三角测量的首选方法［10］.以上的拼接方法主要是通过均匀分布的地面控制点纠正来完成的，需要使用专业的测量仪器与采集数据时间，当像片中地面特征不明显时，地面控制点的获取存在困难.

光束法区域网平差与秩亏自动网平差相结合，可以解决缺少或者稀少控制信息的无人机像片拼接［11］，但目前的研究主要是通过人为设定自由度来进行试算，精度较低；且主要针对两幅航片的拼接，当针对多幅航片拼接或者航片变形较大时，效果较差，无法满足后期应用的要求.为此，本文在这两种平差方法的基础上，分析了影像匹配的精度，提出了在光束法自由网平差的数据拼接最佳方案.

1 基于光束法自由网平差数据拼接

1.1 平差数学模型

像点、摄影中心和物点的几何关系可用共线方程表达式为

式中：x，y为相机框幅像坐标；Xj，Yj，Zj为j点的地面坐标；XSi，YSi，ZSi为i时刻的摄站坐标（线元素）；ak，bk，ck（k＝1，2，3）为相机角元素φi，ωi，κi构成的方向余弦.

对于多幅航片，依赖摄影取样时刻，每时刻都有相应的6个外方位元素.外方位元素ei可表示为

设地面坐标Xj，Yj，Zj的增量为：t＝［ΔX，ΔY，ΔZ］，外方位元素ei的增量为：X＝［ΔXS，ΔYS，ΔZS，Δφ，Δω，Δκ］.对式（1）线性化后得到误差方程式为

式中：νx，νy为改正数；lx，ly为x，y的近似值；aij（i＝1，2，j＝1，2，…，6）为加权数.根据经典光束法平差原理［12］，式（3）可以写成矩阵式为

原始数据中缺少地面控制信息，且矩阵A，B为非满秩的矩阵，考虑使用秩亏自由网平差的方法进行解算.

根据自由网平差理论，按最小二乘原理式（5）的法方程为

通过范数条件及拉格朗日算法得：

其中P11及P22为矩阵X，t的矩阵权值.

令，代入式（7），并简化，与式（6）联立得到：

式（7）与式（8）联立得最终光束法秩亏网平差的未知数解算公式：

式（9）为外方位元素与外方位元素改正数之间的关系，由于缺少地面控制点信息，在构建的光束法自由网平差模型中，法方程的系数矩阵是奇异的，在构建的光束法自由网平差模型中，法方程的系数矩阵是奇异的，其秩亏数为7，要解决矩阵的秩亏问题，必须确定出7个自由度（3个线元素，3个角元素及一个权值系数）.

1.2 拼接流程

实际数据没有地面控制信息，难以进行试验分析及比较.为此，参照传统空三测量的作业流程，首先在室外检校内设定控制点标志，通过航拍相机系数标定，实现相机的内定向；其次，在GE（Google Earth）中选取地面控制信息，采用空间后方交会方法完成相邻影像的相对定向；再次，根据研究区稀少控制信息，结合光束法自由网平差方法修改拼接结果，获取精确外方位元素，达到实际应用的要求（图1）.

图1 基于光束法自由网平差方法的无人机影像拼接Fig.1 UAV images mosaic based on free network bundle adjustment

2 无人机影像数据拼接实例

2.1 实例数据

图2 试验影像Fig.2 Test images

本试验采用广东省增城市西部2010年7月23日飞行获取的两条相邻航带中的4张影像（图2），编号依次为：1－1、1－2、2－1、2－2（1－1，1－2为同一条航带，2－1，2－2为同一条航带），试验影像的航向重叠约为75.2%；旁向重叠约为27.4%.无人机飞行高度200 m，采用的数码相机为非量测型，像幅较小，影像覆盖地面范围为700m×500m.其中相机焦距f为34.254 6mm，相机框幅像坐标x，y分别为0.139 8 mm，0.176 7mm.

2.2 基于空间后方交会的无人机影像粗拼接

试验以两张相邻且同一航带的无人机影像（编号1－1，1－2）为例，从GE中选取三个不在同一直线的点（在两幅影像的公共区域）作为控制点，利用空间后方交会原理求算出两幅影像的6个外方元素（表1）.原始影像中线元素，角元素的数值较大，存在很大的变形，是不能通过常规影像配准方法来实现拼接的.

表1 两幅影像的外方位元素Tab.1 Exterior orientation elements of two images

利用表1的外方位元素对试验的航片进行正射校正及拼接，得到图3.拼接后的影像，具有了坐标信息，但影像右边连接部分存在明显的误差，无法满足应用的需要.

2.3 基于光束法自由网平差的无人机影像拼接

图3 基于空间后方交会的无人机影像拼接Fig.3 Image mosaic of UAV based on space resection

上面用到的两幅影像的公共区域只包含一个实测控制信息，把它与GE中选择的点进行平差计算，其中，ΔXSi，ΔYSi，ΔZSi，Δφi，Δωi，Δκi的权值为P11，ΔX，ΔY，ΔZ的权值为P22，由式（9）可以证明计算的结果只与P11与P22的比值有关（设h＝P11／P22），从而得到h与外方位元素增量之间的关系（图4）.ΔXSi，ΔYSi，ΔZSi随着h增加逐渐趋近于0，ΔXSi在h＝0附近趋近无穷大，ΔYSi，ΔZS趋近无穷小，ΔYSi，ΔZSi有最大值；Δφi，Δωi，Δκi中 Δκi随着h的变化波动较大，Δφi，Δωi波动较小.当权值增大时，κ角影响较大.

地面点的误差Δ表达式为式（10），从而得到地面点误差与权值的关系（表2，表3）.

图4 权值（h）与线元素及角元素增量之间的关系Fig.4 The relationship between angular，linear increments and weights（h）

表2 h（h≥1）与误差之间的关系Tab.2 The relationship between h（h≥1）and errors

表3 h（0＜h＜1）与误差之间的关系Tab.3 The relationship between h（0＜h＜1）and errors

当h＝0.1时，误差为1.934 1，小于利用GE后方交会求算的误差3.402 3.进一步，针对10－1数量级，通过计算可知，当h＝0.6时，第1张影像的外方位元素变为［766 925.957 00，2 578 455.136 00，28.883 00；19.179 93，10.010 00，6.843 71］，其误差为0.832 1.运用这些参数对第1幅影像进行纠正，得到图5.比较平差前后的情况可知，利用光束法自由网平差方法大大改进了后方交会解算的结果，满足应用的需要.

2.4 多幅无人机影像数据拼接

图5 平差后的拼接结果Fig.5 The mosaic result after adjustment

前面的试验主要是通过GE中选择近似控制点求算外方位元素，以第2张影像为基准，利用光束法自由网平差，引入稀少的控制点对结果进行改正.利用无人机两条航带中的4张影像，还是以第2张影像为基准，参照2.2，2.3中的方法，解算得到4幅影像的外方位元素实现影像拼接（图6）.结果显示，4张试验影像通过上述方法纠正都有变形，可以基本确定出影像的位置，拼接后的平均误差为0.753 1，满足应用的需要；此外，需要拼接的影像亮度不一致，拼接后的结果产生了边缘现象，影响结果的视觉效果.需要对拼接部分进行平滑过渡处理，在这里选择对影像接缝处相邻的区域像素亮度进行调整，得到带有坐标及投影信息的严格拼接结果（图7）.

3 外方位元素误差对拼接的影响

利用光束法自由网平差解算得到外方位元素后，可以利用空间前方交会得到误差方程式为

前面在解算外方位元素时，利用了3个控制点，其单位权中误差可表示为

V由vx及vy组成，m为参与计算的控制点个数，在这里m＝3，式（12）变为

3个线元素，3个角元素分别单独考虑.把线元素X加入0.1～1m误差，其他元素不变，然后重复X加入误差的方法，依次对Y，Z加入0.1～1m的误差；把角元素φ加入0.1°～1°误差，其他元素不变，然后重复φ加入误差的方法，依次对ω，κ加入0.1°～1°误差.得到单位权中误差与6个元素两两之间的关系（图8）.

以上的试验说明，线元素中X的误差影响最大，Y与Z的误差变化快慢基本相同；角元素中ω的误差影响最大，κ的误差影响最小.总之，角元素误差的影响大于线元素.线元素在一定程度内不会影响到最终的拼接效果.线元素的误差变化更接近线性变化.线元素，角元素的误差变化都较快，这就需要有较高精度的初始值进行计算才能满足影像拼接的要求.

图8 单位权中误差与外方位元素之间的关系Fig.8 The relationship between units weighted root mean square error （RMSE）and exterior orientation elements

4 结论

影像配准在实际应用中选择的方法较多，不同的方法适应不同的条件.针对缺少控制点的无人机遥感影像配准，目前是一个较为困难的研究课题，主要原因是无人机飞行的姿态及位置随时间具有不确定性，很难把握影像的具体坐标位置.本文结合光束法区域网平差及秩亏自由网平差原理，利用GE中选择的模拟控制点，完成了影像外方位元素的解算工作.

（1）通过光束法自由网平差方法，解决了GE中控制点精度不一致的问题，通过权值的选择，大大降低了影像前期拼接的误差.

（2）分析了线元素、角元素与拼接误差的关系.得出角元素的整体影响最大，线元素在误差允许的范围内是不会影响到最终的拼接结果，为自由网权值的选择提供了理论依据.

（3）该方法适用于不同重叠度的影像，同时可以解决不同影像任意交错、旋转的问题.

由于光束法自由网平差模型是以第2张影像为基准，所以第2张影像的姿态对后续的处理影响较大，其他的影像按照这样的基准逐个进行匹配拼接，误差的传播不可避免，这也是该方法存在的不足之处.

致谢：感谢同济大学土木工程学院光华创新团队的资助以及同济大学空间科学与可持续发展应用中心在研究中的支持.

［1］Herwitz S R，Johnson L F，Dunagan S E，et al.Imaging from an unmanned aerial vehicle：agricultural surveillance and decision support ［J］.Computers and Electronics in Agriculture，2004，44（1）：49.

［2］Michael A.The integration of UAVs in airspace［J］.Air ＆Space Europe，2000，2（1）：101.

［3］宫阿都，何孝莹，雷添杰，等.无控制点数据的无人机影像快速处理［J］.地球信息科学学报，2010，12（2）：254.GONG Adu，HE Xiaoying，LEI Tianjie，et al.Fast image processing method of UAV without control data［J］.Journal of Geo－information Science，2010，12（2）：254.

［4］张剑清，潘励，王树根.摄影测量学［M］.武汉：武汉大学出版社，2009.ZHANG Jianqing，PAN Li，WANG Shugen.Photogrammetry［M］.Wuhan：Wuhan University Press，2009.

［5］张祖勋，吴军，张剑清.建筑场景三维重建中影像方位元素的获取方法［J］.武汉大学学报：信息科学版，2003，28（3）：265.ZHANG Zuxun，WU Jun，ZHANG Jianqing.A method for determining orientation parameters in image－based reconstruction of architectural scenes［J］.Geomatics and Information Science of Wuhan University.2003，28（3）：265.

［6］袁修孝，季顺平，谢酬.基于已知定向参数影像的光束法区域网平差［J］.武汉大学学报：信息科学版，2005，30（11）：955.YUAN Xiuxiao，JI Shunping，XIE Chou.Bundle block adjustment based on imageries given orientation parameters［J］.Geomatics and Information Science of Wuhan University，2005，30（11）：955.

［7］Philip F M，Allan J.Image mosaicing using sequential bundle adjustment［J］.Image and Vision Computing，2002，20（9－10）：751.

［8］Lowe D G.Object recognition from local scale－invariant features［C］／／Proceedings of the International Corference on Computer Vision.Corfu：［s.n.］，1999：1150－1157.

［9］Zhao L，Huang S D，Yan L，et al.Large－scale monocular SLAM by local bundle adjustment and map joining［C］／／Control Automation Robotics ＆ Vision （ICARCV）， 2011 11th International Conference.Singapore：［s.n.］，2010：431－436.

［10］王之卓.摄影测量原理［M］.北京：测绘出版社，1979.WANG Zhizhuo.Principles of photogrammetry［M］.Beijing：Surveying and Mapping Press，1979.

［11］贾盛举，陈映鹰.近景目标立体影像用于城市三维建模的空间定位［J］.计算机工程与应用，2004，21（3）：12.JIA Shengju，CHEN Yingying.Spatial location on city 3D modeling with close－range stereo images ［J］.Computer Engineering and Applications，2004，21（3）：12.

［12］王树根.摄影测量原理与应用［M］.武汉：武汉大学出版社，2009.WANG Shugen.The principles and application of photogrammetry［M］.Wuhan：Wuhan University Press，2009.