照片数量对SfM动床河工模型地形三维重构的影响研究

魏向阳，苏沛兰，谷蕾蕾，刘春晶

（1.太原理工大学 水利科学与工程学院，山西 太原 030024；2.中国水利水电科学研究院 流域水循环模拟与调控国家重点实验室，水利部水沙科学与江河治理重点实验室，北京 100048）

1 研究背景

随着计算机图像处理技术的发展，利用数字图像信息获取三维空间几何信息方法已成为摄影图像测量领域的重要研究方向[1]。其中运动恢复结构（Structure from Motion，SfM）法无需事先对相机进行标定，图像采集可以采用消费级普通相机、无人机，甚至是手机等便携式设备，同时有大量学者提供了开源或免费软件可供应用[2-3]。近年来在各种需开展三维地形测量领域得到广泛对比研究和应用[4]，如在海岸冲淤侵蚀方面，James等[5]对比了激光扫描仪和SfM法对海蚀崖变化的测量结果，验证了SfM法在地学领域研究的可行性；在野外大面积地形测量方面，Gillan等[6]对比了区域两次分别采用全站仪和SfM法地形的测量结果，两者高程测量结果均方偏差在3 cm左右；在山体滑坡定量分析方面，Lucieer等[7]利用SfM法得到不同时期的山体滑坡变形特征，其中SfM法测量均方偏差在3.6 cm至7.8 cm之间；在文物勘探应用方面，Koutsoudis等[8]利用SfM对古建筑开展立体三维重构，同时对建筑物表面局部特征点之间的距离采用直尺进行测量结果，两者距离偏差在3 mm以内；在土壤侵蚀定量分析方面，Glendell[9]同时采用全站仪、三维激光扫描仪和SfM法测量了某一区域的地形变化，定量得到了该区域的土壤侵蚀变化情况，其中SfM重构精度在6cm至35 cm之间；在岩石勘探应用方面，Verma等[10]利用SfM法开展了岩石纹理细节方面的重构对比，认为SfM三维表面重构平面精度和垂向精度分别可以达到0.5 mm和0.3 mm。Eltner等[11]较全面回顾了SfM在地学领域的发展过程，包括SfM法与激光扫描仪等不同测量方法之间的对比，不同拍摄尺度、无人机等不同拍摄设备，乃至SfM水下测量尝试等多方面对比论证和应用。

近年来，已有学者开始将SfM法引入到泥沙运动室内试验和模型地形测量领域，如在室内水槽试验方面，Morgan等[12]采用三维激光扫描仪和SfM重构法对5个不同尺度、铺设不同泥沙的水槽地形进行测量，水槽宽0.22 m至6.71 m，长9.14 m至30.48 m，泥沙粒径范围0.2 mm至31 mm，详细对比了不同软件、不同照片类型对SfM重构的影响，指出当单个卵石颗粒像素点超过100以上时才可得到较可靠三维表面信息；在模型试验方面，Mali等[13]研究了SfM法对定床河工模型地形重构的适用性，对比了不同SfM软件、照片拍摄角度对DEM地形重构结果的影响；赵志文等[14]对比了动床模型的测针高程测量法与SfM法三维地形重构结果，两者测量偏差基本满足《河工模型试验规程SL99-2012》的规定。

与已有研究的SfM重构对象相比，动床河工模型地形具有鲜明的特点，首先动床表面由泥沙颗粒组成，且通常为散粒，当颗粒较大时不同视角图像可能存在差异[12]，不利于SfM计算时对应特征点的提取，增加了后期图像分析和处理的难度；其次，动床模型是由水流冲刷而形成，模型地形是由不同规模的沙纹、沙波等各种床面形态组成，这些床面形态往往具有一定尺度，以沙波为例，其波峰区域（或波谷区域）表现为渐变变化，往往没有准确的分界线，从不同角度观测，所看到的波纹位置可能会发生变化，因此从不同角度拍摄的照片沙波纹理特征并不相同，导致SfM处理过程中对同一沙波提取到了不同的特征点，从而出现误匹配现象。为此，本文通过实际动床河工模型试验，针对照片数量对SfM三维冲淤地形重建精度影响开展了对比和分析，为SfM法在河工模型应用中的研究提供参考。

2 试验条件和过程

2.1 动床模型及研究范围试验模型位于中国水利水电科学研究院大兴实验基地，为推移质动床河工模型，模型沙为石英砂，中值粒径0.8 mm。本文选取的研究范围位于该模型中部，长约9 m，宽约5 m，自上游至下游分为CS1～CS4共4个横断面，各断面中间部分为动床，两边为定床；所测地形为某次试验过后水流形成的冲积地形，如图1所示。

图1 研究范围和拍照情况

2.2 照片拍摄及组次设置将模型分为上下游两个区域，分别为CS1～CS2断面所在的上游区和CS3～CS4断面所在的下游区，对两个区域分别进行照片采集。根据Mali等的研究，当输入照片为单一平行视角时，SfM重构出现系统偏差的可能性较大，为此本研究从上游、下游、左岸、右岸4个不同视角对所测范围进行拍摄，如图1（b）所示，单个蓝色倾斜矩形形状表示该张照片的拍摄位置和视角。每个区域拍摄约60张照片，图1（a）为所有照片拍摄视角示意，由于照片数量较多，不同视角照片在图1（a）中已相互重叠。

所有照片均采用Canon 6D全画幅相机拍摄，镜头为Canon 24-105mm f/4L变焦镜头，拍摄时将镜头焦距统一设定为24 mm，相机分辨率设定为5472*3648像素；根据不同拍摄区域和位置，单张照片实际拍摄范围在1.5 m×2 m至2 m×2.5 m之间。

本文研究目的为不同照片数量对SfM重构精度的影响，为此在图1（a）中的所有照片中，以区域为单位选取约10张、20张、30张、40张、50张和所有张照片，挑选照片时综合考虑拍摄范围和拍摄角度，以能最大限度覆盖动床范围为原则，所挑选的照片分为No.1至No.6组，分别开展SfM地形重构。其中图1（b）即为No.1组所选取照片的视角位置。

SfM法重构要求不同照片具有一定的重合度，根据本文拍摄方式，当照片数量较多时，同一视角相邻照片的重合度较大，如文中No.6组相邻两张照片重合度可达80%～90%；当照片数量减少时重合度有所下降，如No.1组同视角相邻照片的重合度约40%～60%。而不同视角照片之间的重合度与照片张数无关，如在图1（b）中，A、B两张照片分别从上游和下游对同一区域拍摄，两张照片的重合度约为70%～80%。

2.3 控制点设置和对比地形测量控制点一方面可将SfM重构的图形坐标转换为实际坐标，另外还可对SfM重构坐标进行配准和校核。由于控制点会对动床地形冲淤造成影响，因此本文中的控制点均布设于模型定床区域，分别位于各断面沿线左右岸边墙顶部和左右岸定床部分起点处，每个断面4个控制点，4个断面共计16个控制点，各控制点在模型中以Agisoft软件自带的圆形标记进行标示，如图1（a）所示，4个箭头位置为沿CS1断面的4个控制点。控制点平面坐标采用全站仪和钢卷尺相结合的方法测量，高程采用水准仪测量。

采用传统测针法对CS1～CS4的断面地形进行测量，作为验证和分析SfM地形重构结果的基础。测针法重点对动床床面进行测量，定床部分仅测量局部变化较大的点。

2.4 DEM数据生成采用Agisoft软件开展SfM三维地形重构研究[13]，所用版本为1.5.0版。DEM生成过程包括对齐照片、生成点云、输入控制点坐标、生成纹理、生成网格等，最终可得到所测模型河段的DEM及正射影像图（DOM）。

本文处理数据所用计算机为DELL T7920型工作站，配备Intel Xeon 8168型CPU、256G内存和NVIDIA Quadro P6000 24G显卡。

3 结果分析

3.1 三维地形生成总体情况图2、图3、图4分别为No.1组、No.3组及No.6组，SfM三维地形重构结果，其他各组结果与该几组相似。由图可见，不同组次SfM重构所生成的DOM及DEM数据均可较好的反映模型实际三维场景，包括主河槽上游高下游低的总体趋势、河道中间的局部冲淤形态、模型动定交界处的局部冲刷，以及高程相对较高的模型边墙和模型上方的固定测架等。

当照片数量较少时，由于部分区域的照片特征点匹配信息量不够，在三维地形重构时存在两边定床范围数据缺失现象，如图2中No.1组的输出结果；随着照片数量增多，信息量增加，模型重构范围逐渐扩大，如当照片依次增加到30张（No.2组图3）、60张（N0.3组图4）时，DOM和DEM重构范围均比10张（No.1组图2）有所增大。值得注意的是，由于本文重点关注的是动床部分地形重构，对于本文各组数据，即使是照片数量最少的No.1组数据也完整重构出了动床部分数据，不影响后续的对比分析。

图2 地形重构结果（10张照片）

图3 地形重构结果（30张照片）

图4 地形重构结果（60张照片）

3.2 数据处理耗时对比SfM法需对图像中的特征点进行匹配，然后采用所匹配的特征点信息获取三维空间坐标信息，整个过程需耗费较大的计算机资源，处理时间与计算机硬件、输入照片以及所用的软件算法相关，如Snavely利用SfM法获取三维结构，不同场景分别耗时2.8 h至12.7 d不等[2]，Turner采用Agisoft、Bunlder和Pix4D软件对同一组图像的处理耗时分别为4 h、16 h和7 h[15]。

表1为本文各组数据处理耗时，可以看到，在Agisoft软件处理过程中，不同处理流程耗时不同，其中点云生成和3D模型重建耗时较多，连接点匹配（对齐照片）及后续DEM、DOM生成耗时较少。照片数量越少需要的处理时间越少，所获得的匹配连接点和密集点云数量也较少；各组试验耗时差距较大，其中No.1组总耗时约25 min，而No.6组总耗时达到4 h以上。此外，从所获点云数量来看，照片数量仅10张的No.1组可以获取测量区域的2000万个高精度点云，点云密度约50点/cm2，60张组次则可达到100点/cm2，均可满足河工模型试验需求。

表1 不同照片张数结果和耗时对比

3.3 地形精度对比分析在各组DEM地形中分别提取CS1至CS4断面处的高程数据，与测针法结果进行对比。图5和图6分别为CS1和CS4断面的对比情况，其余两个断面对比结果类似，未列入文中。由图可见，各组SfM重构结果均能反映横断面起伏变化情况，但不同组次的测量结果之间存在较明显的系统偏差，其中照片少的各组次地形重构高程低于照片多的各个组次。

图5 CS1断面SfM法与测针法高程对比

图6 CS4断面SfM法与测针法高程对比

为进一步对结果进行定量分析，选用平均偏差、平均绝对值偏差和平均均方根偏差三个参数[5～7]做进一步分析，其中平均偏差（Mean Error，ME）为：

平均绝对值偏差（Mean Absloute Error，MAE）：

平均均方根偏差（Mean Square Root Error，MSRE）：

式中：其中Hi为采用测针测量的第i个测点高程；hi为对应点的SfM地形重构高程。

表2、表3、表4分别列出了本文CS1至CS4断面的ME、MAE和MSRE情况。ME表示SfM法结果与测针法结果之间的总体偏差情况，由表可见，张数较少组次DEM地形总体低于测针数据，10张和20张照片组次比测针低3 mm左右；而张数较多组次与之相反，其中60张照片组次高于测针数据1.4 mm；中间组次，即照片数量为30张和40张DEM结果与测针值最为接近。

表2 不同断面各组平均偏差（ME）对比 （单位：mm）

与ME偏差相对应，30张或40张组次的MAE和MSRE均小于其他各组，如表3、表4所示。

表3 不同断面各组平均绝对值偏差（MAE）对比 （单位：mm）

表4 不同断面各组平均均方偏差（MSRE）对比 （单位：mm）

3.4 地形数据调整根据图5、图6及表2中的结果，不同组次DEM重构结果与测针法相比均存在一定的系统偏差，为此对DEM生成的断面数据按测针数据进行调整，方法为将DEM数据根据按表2中的ME值整体上下平移，使调整后各组的DEM高程值与测针法高程值平均差ME值为0。

调整后的CS1和CS4对比断面如图7和图8所示，可以看到，各组数据调整后均与测针法测点重合度均有所提高，测针高程测点基本落在SfM生成的DEM断面曲线之上，其中大部分测点SfM法与测针法基本重合，仅在局部地形变化较剧烈的区域，如图7、图8中箭头所标示处，SfM法结果与测针实测结果尚存在相对一定偏差，与赵志文等的结果类似[14]。

值得指出的是，图7中箭头所指处为在模型中为一块模拟堤线调整用的直立不锈钢薄板，厚度仅2 mm，该不锈钢板与定床部分相接，高于定床部分，测针所测高程为该钢板顶端高程；对比各组SfM重构结果，其中No.1组次和No.20组次未将该点高程准确获取，No.3及之后组次均可获取该点高程，但高程值略低于测针测量结果，偏差约6 mm至7 mm。

图7 CS1断面SfM法调整后与测针法高程对比

图8 CS4断面SfM法调整后与测针法高程对比

如前所述，数据调整后的各组ME值均为0，表5和表6列出了调整后的MAE和MSRE情况，可以看到，经调整修正，各组数据的MAE和MSRE均有不同程度的改善，其中No.3和No.4组次在调整前总体偏差较小，调整后MAE和MSRE较调整前改善较少；而对于其他各组次调整后有较大改善，如No.1组和No.2组MAE由调整前的3.8mm和4.2 mm变为调整后的2.0 mm和2.2 mm，MSRE由4.4 mm、5.0 mm变为2.8 mm和3.3 mm；No.5组和No.6组MAE由2.3 mm和2.4mm均调整为1.9 mm，MSRE由3.0 mm和3.1 mm均调整为2.7 mm。

总体来看，无论是调整前后，No.3和No.4组次，即30张和40张照片组次各项偏差较小；而照片数量较多组次或较少组次在调整前偏差较大，根据测针结果进行调整后偏差得到较大改善；根据表5、表6，各组数据在调整后的总体精度均基本满足《河工模型试验规程》关于动床地形测量±2 mm偏差的要求。

表5 调整后不同断面各组平均绝对值偏差（MAE）对比 （单位：mm）

表6 调整后不同断面各组平均均方偏差（MSRE）对比

以上结果表明，对于动床模型SfM三维地形重构，当照片数量较少时，如本文的10张和20张，由于信息量较少，造成DEM数据与测针数据有较大的偏差；当照片数量增加到30和40张时，照片提供的相对空间位置信息量增大，总体偏差降低；当照片数量进一步提高至50张和60张时，总体偏差无进一步降低的趋势，反而有所提高，如表6中No.5和No.6组MSRE值与No.4组相比由2.6 mm增加到2.7 mm。

本文模型为推移质动床模型，模型中地形存在变化较剧烈的冲沟，虽冲沟本身三维形态是确定的，但从不同角度观察时，所看到的沟缘线可能发生变化，造成照片中的特征点发生改变；SfM法是根据图像中的特征点开展三维重构的，当照片数量增加时，不同照片的特征点之间可能会出现相互矛盾或不一致现象，进而影响了SfM三维地形重构精度，这可能是本文中照片数量增加并未提高三维地形重构精度的重要原因之一。

根据本文试验结果，对于河工模型试验，在同一测量范围内可能存在一个最优的拍摄张数，当采用这个最优张数进行SfM三维地形重构效果最好，既不会出现由于信息量不足而导致的系统偏差，也不会出现由于容易混淆的特征点增加而导致的误匹配和误重构，实际试验中最好能采用最优照片张数开展SfM地形重构。考虑不同河工模型试验的范围大小、所采用的模型沙、以及当地光照条件等外在条件不同，最优张数不一定与本文完全对应，具体最优数量需在实际应用中具体分析确定。

4 结论

本文采用SfM方法对动床模型地形进行DEM重构，重点研究了输入照片数量对SfM重构结果的影响，并与传统测针方法进行对比，结果表明：

（1）采用SfM方法时，输入10张至60张照片均可得到模型范围内的DEM地形，照片数量越多，所获高精度点云密度越高：照片数量从10张增加到60张，所获点云密度可从50点/cm2提高到100点/cm2；数据处理时间随照片数量增加而大幅提高：采用10、20、30、40、50和60张照片的处理时间分别为25 min、1 h 13 min、2 h 03 min、2 h 10 min、3 h 45 min和4 h 03 min。

（2）与测针法结果相比，不同照片张数SfM重构结果均存在不同程度的系统偏差，其中30、40张组次的系统偏差分别为0.4 mm、0.6 mm，10张、20张组次偏差为-3.3 mm、-3.5 mm，50、60张系统偏差为1.0 mm和1.4 mm，其理由是：当照片张数为10张和20张时，由于所提供的信息量不足，造成SfM重构DEM数据偏差较大，同时存在边缘区域缺失现象；当照片数量达到30至40张时，可用的图像信息量提高，SfM重构精度得到改善，同时可获得所测区域的完整DOM和DEM数据；当照片数量进一步增加到50张和60张时，虽提供了得更多的数据信息，但由于动床冲淤床面不同角度成像的纹理特征发生变化，造成SfM重构干扰特征点增多，增加了误匹配概率，虽耗费了大量后续处理时间，但未带来预期的精度提高。

（3）利用SfM法开展动床河工模型DEM数据重构时可能存在最优照片数量，采用最优照片数量所获DEM重构精度最高，偏差最小。

（4）不同河工模型试验拍照成像条件不同，最优照片数量可能与本文存在差异，在实际试验中可参照测针测量结果对SfM法重构数据进行调整修正，减少系统偏差，进一步提高试验成果的可靠性。