多能高效的测试新军——摄像测量的研究及应用进展

尚 洋 ， 于起峰

（1.国防科技大学航天科学与工程学院，湖南 长沙 410073；2.图像测量与视觉导航湖南省重点实验室，湖南 长沙 410073）

0 引 言

图像是我们获取外界信息的最主要来源。在工业制造、交通管控和科研试验等领域，经常需要对目标对象的运动、形貌、变形等进行测量，则通过对所关注目标的图像或所关注过程的图像序列的分析，得到所需的参数测试结果，是一类最基本的测试手段。而这正是属于摄像测量学这一学科的基本研究范畴和基本任务。

1 摄像测量学简介

摄像测量学（videometrics或 videogrammetry）由摄影测量学、光学测量、计算机视觉和数字图像处理分析等学科交叉、融合而形成，研究利用摄像机、照相机等对动态、静态景物或物体拍摄得到单帧或序列数字图像，通过图像处理分析和目标三维信息求解分析算法，对目标外形结构、变形参数及运动参数进行测量和估计[1-8]。摄像测量学的内涵主要包括两个方面：（1）物体的空间三维特性与成像系统间的成像投影关系；（2）从单幅和多幅图像中高精度自动提取、匹配图像目标，并且注重于目标的提取定位精度。

摄影测量学[9]和计算机视觉[10]这两大经典学科是摄像测量学的根基。传统上，摄影测量和计算机视觉相对独立，形成了各自的特点、优势和理论体系。摄影测量主要在测绘领域中发展，是地理学科的重要分支；而计算机视觉（或称机器视觉）主要是在计算机科学、人工智能领域中发展。事实上，两个学科大方向都是通过图像来定量观察和认识客观世界，其研究任务在本质上是一致的，因而两者能够很好地融合。由此产生的摄像测量学在体现两者理论、方法、算法以及应用方面的互通和互补的基础上，更加强调动态测量和实时测量。国内还有学者称其为视觉测量或视频测量学[11]。

相比于其他测试手段，摄像测量学具有以下的特点：

（1）非接触测量。摄像测量通过分析目标图像实现测量目的，不在目标体上安装测试设备，因而不会对目标的结构特性和运动特性带来任何干扰，测量结果客观可信。

（2）测量精度高。精度是测量中的永恒主题。摄像测量的数字图像分析中，各种亚像素方法[12]能使得目标的图像定位精度能够达到十分之一甚至百分之一像素的量级，而理论和方法体系完备的光束法平差[9]保证了三维解算的高精度。由于非接触和高精度的特点，在试验靶场等场合，摄像测量（在这些场合通常称为“光测”）经常被作为外测手段和用来标校其他测量设备。

（3）适于运动和动态测量。通过对连续变化过程时间序列图像的分析处理，摄像测量能够对目标的动态变形或连续运动参数进行估计解算。并且由于时间序列图像提供了一维时间轴信息，有了更多的约束条件可以使用，使得传统静态图像处理中的一些困难能够得到解决，如根据运动的连续性进行同名特征的可靠跟踪和配准等[13]。

（4）在越来越多的应用中已实现实时测量。随着实时处理器性能的快速提高，以及各种处理、分析算法的发展，许多摄像测量学任务已能够实时或准实时完成，使得摄像测量在实时安全监控、工业加工生产的实时监测、飞行器和车辆等运动平台的视觉导航控制、以及空间舱交会对接导航控制等方面得到越来越多的应用[14-15]。

（5）是一种易于普及推广的测试手段。成本的降低和性能的提高使得摄像机、计算机等硬件迅速普及，特别是软件算法性能的提升使得对摄像测量传感器的要求大大降低，普通DC、DV甚至手机相机都能够用于摄像测量。同时，摄像测量实施较为简易，适用面广，正从航天、国防等高端应用向工业生产制造、智能监控等普通民用扩展。国际上在许多不同应用领域中已有很多摄像测量方面的商品化产品。

2 摄像测量学的研究和应用进展

近年来，摄像测量理论方法和技术的研究方兴未艾，并由于其在测量精度等方面具有优势，已经广泛应用于各种精密测量和运动测量，涉及到航空航天、国防试验、勘察勘测、交通运输、建筑施工、体育运动等各个领域。例如零部件加工质量检测、三维表面重建、工业反求工程、建筑工程测量、铁路公路质量检测、飞行器弹道姿态等运动参数测量等。

根据摄像机与拍摄对象是否运动变化，摄像测量技术可划分为静对静、静对动、动对静和动对动4类。作者所在课题组从事摄像测量的理论方法和应用研究多年，在大型结构变形测量和大尺度运动测量的理论方法研究和应用研究方面取得了一些典型进展。

2.1 大型结构变形测量的方法与技术——静对静方式

（1）静对静的摄像测量方式。“静对静”是指摄像机静止不动，场景也没有显著的运动，但可以存在动态变形。通过对目标拍摄图像和分析计算，精确测量目标表面的形貌或目标表面的变形。对舰船、隧道工程、桥梁和大坝等大型结构的变形进行测量和长期监测，是这类问题的典型应用。

（2）大型结构变形的折线光路像机链测量方法与技术[16]。舰船在海上航行时，由于受海面波浪冲击等影响，会产生不可忽视的船体变形。隧道、坑道等施工过程中，由于施工或地质原因可能导致围岩变形甚至坍塌事故。实时和高精度地对这些变形进行测量和监控，对于分析结构特性、修正变形对设备使用的影响、保障工程安全等至关重要。

传统的摄像测量方法只能测量可通视物体之间的变形。而对于船体、地下工程等，测量基准与待测目标之间通常没有可通视光路。提出折线光路像机链摄像测量的原理和方法，解决了两个或多个不通视物体间相对位置、姿态和变化量测量，超大视角物体间相对位置、姿态和变化量高精度测量，和测量平台不稳定条件下的高精度测量等难题。该方法在待测目标与测量基准之间设置由多组像机和标志物组合的传递站，构成折线测量光路，如图1所示。首先分别通过图像分析测量得到可通视的各相邻两级传递站 （折线光路中的每一级节点Si）之间的相对位置、姿态；再将各级测量结果综合传递转换，得到待测目标相对于测量基准的位置、姿态及其变化量。通过设计和灵活布设各级传递站，可构造各种形式的像机链/像机网络，满足不同需求。

图1 折线光路像机链摄像测量基本原理

应用折线光路像机链的测量方法已实测得到了多艘大型船只海上航行和机动状态下的船体变形数据。最近在我国“远望”测量船观测设备基座变形精确测量实验中，对纵摇、艏摇和横摇角度的测量精度可达到角秒量级。

（3）大型结构变形的并联组网摄像测量方法与技术[17]。大型风力发电叶片长度达40m，在不同工况和载荷下会发生整体变形与屈曲变形，其中整体变形幅度可达7m。传统的变形测量如应变片电测法属于接触式测量，测量范围有限，当测量点较多时，测量系统的布置相当繁琐。

采用多像机并联组网测量风力发电叶片等大型结构变形。固定像机大视场远距离交会测量整体变形；相对固定的立体像机小视场近距离交会测量叶片上格局部的屈曲变形。图2为实验设备布置方案及一幅整体变形测量像机拍摄的图像。

图3为某一摆振工况中叶片上升阶段整体变形测量结果。叶片由初始平衡位置加载到安全载荷，在安全载荷的 0%、40%、60%、80%、100%共5个位置处进行测量。

2.2 武器试验光测图像分析及地基飞行器视觉着陆引导方法与技术——静对动方式

（1）静对动的摄像测量方式。“静对动”是指摄像机静止不动，而目标做大尺度运动。通过对目标拍摄图像和分析计算，精确测量目标的轨迹、姿态、速度等运动参数。这类问题的典型应用如武器试验靶场由光电经纬仪对火箭、导弹等目标发射试验过程进行摄像记录并对目标轨迹、姿态等进行测量；以及基于地基摄像测量设备对着陆飞机运动参数进行测量，对飞机着陆进行引导等。

（2）武器试验光测图像分析与目标运动参数测量[18-19]。在国防试验靶场，光测由于具有客观、非接触、高精度等优势，一直被作为一种重要的外测手段，用在各种动态目标的运动测量，如火箭、导弹、炮弹的发射试验，冲击、碰撞、爆炸等过程。

图2 大型风力发电叶片变形摄像测量设备布局和实验图像

图3 某一摆振工况中叶片上升阶段整体变形测量结果

为了对多种类型目标的运动参数、结构参数等进行三维摄像测量，研制了一系列摄像测量分析系统。系统硬件部分主要是摄像机和计算机，分别用于采集图像和数据处理。系统软件部分主要完成摄像测量系统标定、图像采集控制、图像预处理、图像特征识别提取、目标运动参数和表面结构形状三维解算、观测数据平滑滤波等功能。这些光测图像分析系列方法及系列靶场光测图像判读系统，已装备陆、海、空军全部有光测需求的试验靶场基地，成为我军靶场光测图像判读分析的主力方法和设备，极大提高了靶场光测的精度和自动化程度，提高了靶场光测试验水平，在国防工业部门也得到了较广泛的应用。

在各种靶场目标的发射、飞行试验中，目标三维姿态是各种武器和飞行器研制、试验、定型、安全控制，尤其是故障分析所需的关键参数。武器试验靶场的很多试验任务中，由于目标机动性强，需要的成像视场范围大，目标成像尺寸较小，并且由于目标远而目标图像不清晰，使得无法用在表面绘制合作标志点的方式。对于成像尺寸较小但轮廓在图像上能够分辨的目标，提出采用提取和分析目标轮廓信息来计算目标三维姿态参数的方法，包括目标中轴线面面交会、目标面积比法、长宽比法和目标圆环椭圆度法等。例如对于目标有一定的成像尺寸的情况，虽然绘制合作标志点难以分辨和提取，但可以采用螺旋线法测量其滚转角，如图4所示。这些方法实现了对靶场特殊目标的三维姿态测量。

图4 表面绘制螺旋线测量目标滚转角

螺旋线

（3）地基飞行器视觉着陆引导方法与技术[20]。为保证飞机、无人机的安全着陆、着舰，需要实时、精确测量其降落轨迹、速度等参数，用于对其着陆、着舰过程进行精确引导。提出的地基飞行器视觉着陆引导方法与技术，通过建立地基摄像测量平台，用摄像测量方法实时测量飞机与跑道的相对位置、姿态和速度，计算出飞行轨迹与预计下滑道的偏差，引导飞机着陆。该技术具有简单、方便、自成体系、被动测量、不受外界干扰、成本低等特点，是一种很有前途的新型助降导航手段。。

本引导测量系统采用了多台摄像机分区域接力测量，例如由6台摄像机组成视觉引导系统，其布置如图5所示。在飞机跑道两侧各安装一套3台摄像机系统，3组摄像机分别称为远场、中场和近场摄像机，分段采集不同区域的图像，以覆盖整个飞机着陆区域。

图5 飞机着陆地基视觉引导系统

在实际外场飞行试验中，本系统实时得到了高精度的飞机降落飞行轨迹的实测测量结果。应用本技术，作者所在研究组于2011年参加了首届中航工业杯-国际无人飞行器创意大奖赛，采用地基视觉引导系统实时测量并提供无人机运动参数，引导其成功挂索降落，是所有参赛队中“唯一没有使用GPS成功实现自主精确着舰”的参赛作品，获大赛竞技类一等奖，并得到大会特别点评。

2.3景象匹配和地形匹配飞行器视觉导航技术——动对静方式

（1）动对静的摄像测量方式。“动对静”是指摄像平台在运动过程中对静态场景拍摄序列图像，再通过分析图像对场景三维信息进行测量，或是对摄像平台的运动参数进行测量。前者的典型应用是基于对地航拍序列图像进行飞行区域三维地形地貌的重建；后者的典型应用是基于对飞行区域场景的分析，测量飞行器在大地坐标系中的运动参数或是相对于固定目标的运动参数，从而实现对飞行器的视觉导航。

图6 基于序列图像与基准图景象匹配的飞行器定位测速测向原理

飞行器视觉导航是近一、二十年来国际上发展的新兴前沿技术，具有被动测量、自成体系、不易受干扰、无时间累积误差、精度高、体积功耗小、成本低、可测参数多等突出优点，是与惯性导航、卫星导航等不同的新导航体制，具有广阔的应用发展前景。

（2）基于景象匹配的飞行器视觉导航技术[14]。通过将机上或弹上实时图与事先装订的地面基准图进行景象匹配，可以得到丰富的导航信息，如图6所示。序列实时图与基准图像之间景象匹配的过程可分为首帧匹配和预测跟踪两部分。首先根据机载导航设备如惯导等提供的位置信息，确定飞行器飞至景象匹配区，根据机载导航设备提供的初值和误差大小，确定首帧搜索区域并进行匹配定位；继而转入预测跟踪模式，根据前一帧景象匹配结果，并利用机上导航设备提供的速度信息，预测下一帧位置和在预测点附近搜索区进行匹配定位。

发展改进和提出多种景象匹配新方法，对实时图与基准图间异源成像（红外、雷达实时图，可见光基准图）、天时天侯变化（不同季节、不同光照等）、成像视点变化（引起不同的缩放、旋转、透视变形等）以及地面纹理细节变化等具有较好的适应性，能够实时、高精度得到飞行器的位置和飞行速度的大小、方向等导航信息。可为各种飞行器提供全程或定点的导航信息，或对机上惯导设备进行各级精度修正，尤其是在没有卫星导航可用情况下，能够克服长航时导航中惯导数据漂移问题。

进行了大量的实际挂飞实验，采用可见光或红外实时图与可见光卫片基准图进行实时匹配和导航参数计算，在白天、夜间等不同时段，城镇、郊区、戈壁等不同区域，都得到了实时性、可靠性和精度满足工程要求的结果。

（3）基于航拍序列图像的三维地形实时重建与地形匹配导航[13]。通过从多个方位对场景拍摄图像，重建出该场景的三维形貌，是摄像测量中的经典问题。如果在有人机、无人机的飞行过程中对地拍摄序列图像，就可以重建出当地的三维地形地貌。但由于数据量大，特别是图像间的特征匹配不易完全自动实现，三维重建处理通常在事后进行。而如果能够实时进行三维地形重建，并将重建结果与该地区的基准地形进行匹配，就能够得到飞行器自身的位置姿态等运动参数，用于飞行器视觉导航。

提出一种从飞行器机载序列成像实时、自动重建三维地形用于地形匹配的视觉导航方法，其基本原理和流程如图7所示。

图7 基于机载序列图像三维地形重建的地形匹配定位导航原理

利用序列成像的特点，提出采用少量特征点跟踪与关键帧图像三维解算相结合的序列图像分析方法，可以实时重建得到航迹区域的三维地形，直接作为实时地形图与基准图地形匹配，提供定位导航信息。将序列图像中对相同场景具有良好交会角度条件的、并选定用于三维地形交会的图像帧定义为关键帧图像，用于三维解算。在进行同名特征点匹配时，考虑到机载序列图像是在飞行过程中连续拍摄得到的，其在时间上的连续性和成像区域上的重叠性使得相邻图像间成像角度变化、图像特征变化、同名特征点的视差都较小，容易实现自动跟踪与配准，可以为最终的关键帧图像特征点匹配提供可靠的结果。同时，以这些跟踪点作为关键帧的跟踪控制点，可为关键帧间特征点匹配提供约束，保证匹配的可靠性和实时性。

2.4从运动平台测量目标三维运动参数的方法——动对动方式

（1）动对动的摄像测量方式。“动对动”是指摄像平台在运动过程中对运动目标连续拍摄图像，在图像上提取目标特征后，对目标在绝对坐标系中的三维运动参数进行测量，或是对目标与摄像平台间的相对运动参数进行测量。前者一般要求摄像平台在绝对坐标系中的运动参数为精确已知，典型应用如在测控飞机上安装摄像机对运动目标进行跟踪拍摄和测量；后者的典型应用如空间交会对接中在追踪器上安装摄像机拍摄目标器，测量追踪器与目标器间的相对运动参数，进行交会对接逼近段相对导航。

（2）单目轨迹交会测量点目标三维运动参数[21]。实际测量任务中常有一类机动平台单目对运动目标进行三维观测的问题，例如在长航时飞行实验测试中，需要在运动平台上对目标的运动参数进行观测。由于摄像平台的规格尺寸相对于目标的距离较小，即使安装两台摄像机，由于基线太短，也基本相当于进行单目观测。同时，在目标尺寸比较小、拍摄距离远等情况下，需要将其作为点目标。

提出一种从运动平台单目测量点目标三维运动的摄像测量方法——单目运动轨迹交会法。如图8所示，对应于不同拍摄时刻，像机光心位置为Ci，目标的位置为Pi，目标成像点为pi，像机光心与目标的连线（观察视线）为li，像机运动可控，观察视线通过提取目标像点可确定。在实际自然时间空间中，真实目标的运动必然是连续有序的，因此在短时间内，通常满足或近似满足一定的运动规律。如果将这一运动规律用参数化模型来描述，就得到了除成像关系外对于目标运动的约束条件。单目运动轨迹交会法将运动像机观察运动目标的系列视线与目标的参数化运动轨迹进行交会，从而确定了目标的三维轨迹和速度、加速度等运动参数。该方法有效解决了传统单目无法测量点目标三维运动的技术难题，可用于多种运动平台对运动目标的被动观测任务。

在实验室中通过精密平移台控制相机和目标的运动，对本方法进行了实验验证。实验中，目标运动最大行程约为400mm，像机和目标相距约2m，目标位置测量结果标准差为3.7mm。

图8 单目轨迹交会法测量点目标运动参数原理

（3）空间交会对接相对视觉导航目标运动参数的抗扰动测量[22]。在空间舱交会对接等任务中，需要实时测量追踪器与目标器这两个航天器之间的相对运动参数，为对接控制提供引导信息。航天器自主交会对接的相对运动参数视觉测量中，在追踪器上安装像机，在目标器上布置合作标志。追踪器摄像机采集到当前时刻目标图像后，首先对目标合作标志进行识别和提取。如果目标特征点提取结果满足单目或双目求解位置姿态的需要，则先求解目标位置姿态初值，再基于优化算法求解目标位置姿态参数的精确值。

由于空间环境恶劣，例如航天器发射时振动冲击影响、空间重力差、巨大温差影响等，会对地面标定好的摄像测量系统参数产生不可忽略的扰动，从而严重影响测量结果。对抗扰动测量目标位置姿态进行了研究，提出了实时修正摄像测量系统参数的抗扰动测量方法。基于摄像测量中的光束法平差方法，有选择地将测量系统中易受扰动的参数与目标位置姿态参数共同作为平差参数进行平差优化，消除扰动的影响。这一方法可以对像机内参数、像差系数、双像机间相对位置姿态参数及目标体结构参数的扰动进行修正。从而在测量系统参数受扰动的情况下，有效消除扰动影响，得到目标位置姿态的高精度测量结果。

图9 交会对接相对视觉导航抗扰动测量地面验证实验系统与设备

进行地面验证实验，实验系统如图9（a）所示。图9（b）为实验中拍摄的模拟目标器的图像，图9（c）为实验前将标定板安装在转台上进行拍摄，用于标定像机参数。

物距5 m附近时多次实结果的标准差统计如表1，其中对一台像机外参数施加了随机扰动。

表1 交会对接相对视觉导航抗扰动测量地面验证实验结果标准差

可见，在测量系统参数受扰动后，不消除扰动的常规方法的测量误差已相当显著；而采用消除扰动的方法仍得到了与测量系统参数不受扰动时精度相当的测量结果。

3 结束语

只要能够获取目标场景的静态或动态图像，就有可能从中分析测量出目标或摄像平台的运动、结构方面的有关信息。摄像测量已发展成为一种功能多、效率高、效果好的测试手段。特别是随着近年来相关硬件水平、软件技术的快速发展和提高，摄像测量的实用领域已相当广泛，并涉及各种尖端应用，已成为测试领域中的一支多能、高效的新军。但相比于发达国家，我国在摄像测量方面的研究，特别是产品化方面的工作还很不够，尤其是缺乏具有自主知识产权的应用产品。发挥我国科技人员在软件算法研究方面的优势，创新摄像测量的理论和方法，开发和推广具有自主知识产权的应用型终端产品，更好地解决各领域的测试问题，是摆在我们面前的迫切任务。

[1]Legac A.Videogrammetry or digital photogrammetry：General remarks， methodology， applications[J].Proceedings of SPIE，1994，2350：16-21.

[2]Jensen S C， Rudin L.Measure： An interactive tool for accurate forensic photo/videogrammetry[J].Proceedings of SPIE，1995，2567：73-83.

[3]Hartley R，Zisserman A.Multiple view geometry in computer vision[M].Cambridge：Cambridge University Press，2000.

[4]McGlone J.Manual of photogrammetry[M].Annapolis：American Society for Photogrammetry and Remote Sensing，2004.

[5]张祖勋.数字摄影测量30年[M].武汉：武汉大学出版社，2007.

[6]Forsyth D A,Ponce J.Computer vision：A modern approach[M].London：Prentice Hall，2003.

[7]于起峰，尚洋.摄像测量学原理与应用研究[M].北京：科学出版社，2009.

[8]于起峰，尚洋.摄像测量学简介与展望[J].科技导报，2008，26（24）：84-88.

[9]张剑清，潘励，王树根.摄影测量学[M].武汉：武汉大学出版社，2003.

[10]马颂德，张正友.计算机视觉[M].北京：科学出版社，1998.

[11]张广军.视觉测量[M].北京：科学出版社，2008.

[12]于起峰，陆宏伟，刘肖琳.基于图像的精密测量与运动测量[M].北京：科学出版社，2002：132-158.

[13]Li L C， Yu Q F， Shang Y， et al.A new navigation approach of terrain contour matching based on 3-D terrain reconstruction from onboard image sequence[J].Science China Technological Sciences，2010，53 （5）：1176-1183.

[14]Li X，Shang Y，Hou W，et al.Vision navigation for UAV based on scene matching[C]∥SPIE International Symposiun on Defense， Security， and Sensing，Baltimore.Maryland：2012.

[15]尚洋.基于视觉的空间目标位置姿态测量方法研究[D].北京：国防科学技术大学，2006.

[16]Yu Q F，Jiang G W，Fu S H，et al.Fold-ray videometrics method for the deformation measurement of nonintervisible large structures[J].Applied Optics，2009，48（24）：4683-4687.

[17]Sun X，Yuan Y，Zhu Z，et al.Videometric research on deformation measurement of large-scale wind turbine blades[J].Theoretical and Applied Mechanics Letters，2011，1（1）：11-15.

[18]张小虎.靶场图像运动目标检测与跟踪定位技术研究[D].北京：国防科学技术大学，2006.

[19]熊智慧.高速电视摄像在靶场测量系统中的应用[J].中国测试：2012，38（1）：82-84，89.

[20]Zhou X，Lei Z H，Yu Q F，et al.Videometric terminal guidance method and system for UAV accuracy landing[C]∥SPIE International Symposiun on Defense，Security，and Sensing，Baltimore.Maryland：2012.

[21]Yu Q F， Shang Y， Zhou J， et al.Monocular trajec tory intersection method for 3D motion measurement of a point target[J].Science in China，Series E：Technological Sciences，2009，52（12）：3454-3463.

[22]尚洋，于起峰.基于视觉抗扰动测量空间目标位置姿态[J].宇航学报，2008，29（3）：938-942.