基于SFM重建模型的沥青混合料离析评价研究

张 方，韩延伟

(山东省公路桥梁建设集团有限公司，山东 济南 250014)

0 引言

沥青混合料的离析是引起路面破坏最主要原因之一，离析破坏道路结构，降低了路面强度，直接影响行车安全性和道路使用寿命[1-2]。因此对沥青混合离析程度的评价显得尤为重要，目前常用的离析检测方法大致分为有损和无损检测两类[3]。无损检测有视觉观察法、铺砂法、密度仪法等，有损检测有钻芯取样法和图像截面法。其中视觉观察法多用于施工现场的检测，是一种人为主观评价方法，直接依靠观测者的经验判断，常被用于其他定量评价方法的判别标准，但此方法缺乏客观性。铺砂法原理是通过标准砂换算路表空隙体积，求得路面平均构造深度来评价混合料离析程度，可用于量化视觉观察中路表宏观构造的差异[4]，但此方法费时费力，检测可重复性差。有损检测则会对路面造成不可逆破坏，易发生水损害。

随着数字图像技术与三维建模技术的发展与结合，已有众多学者基于数字图像处理技术提出评价沥青混合料构造深度以及判定离析的方法[5]。B D Pidwerbesky等[6]利用二维数字图像处理技术评价沥青路面表面纹理构造，避免了人工操作铺砂法导致的精度误差，论证了数字图像构造深度检测的可行性。王端宜教授[7]首次在国内提出利用数字图像处理技术取代铺砂法，利用二维灰度图像的像素高度模拟路面构造深度。M. Brown等[8]提出全自动识别技术和重建图像数据库中三维图像的系统。通过关联相机矩阵求取相机内外参数，根据稀疏束差值算法求解每个对象的结构与运动，为之后运动恢复结构算法(SFM)的发展与应用奠定了基础。Richard A. Newcombe等[9]基于SFM设计出一种利用单目相机连续恢复三维模型的方法，通过不断更新约束图像以此生成精度更高的连续三维模型。文静[10]利用三维扫描技术获取路面表面三维信息，通过MATLAB软件重建路面构造三维模型，读取路面三维模型宏观构造信息，并建立数字图像构造深度与实测构造深度间的联系。丁世海等[11]使用三维激光扫描技术获取路面三维点云图，利用数字图像技术重建路面纹理情况，模拟铺砂法在三维模型上使用像素对路面构造区域进行填充。张争奇等[12]通过室内模拟集料离析实验，提出基于路面纹理下凹区域的宏观构造深度K值作为评价沥青路面离析的方法。由上述国内外文献可知，利用数字图像与重建模型技术分析沥青混合料构造深度与离析经过了大量的研究，但目前普遍使用的设备昂贵，操作不便，且对于实时连续、快速无损检测及评价沥青混合料指标的研究相对较少，同时国内对于沥青混合料的离析评价没有明确标准。

基于此，本文对检测路面路表构造深度的方法进行改进，提出了基于数字图像和SFM三维重建模型计算构造深度的方法，以此来对沥青混合料离析程度做出定量的分析。

1 双图像SFM三维重建模型理论

SFM(运动恢复结构)是Structure from Motion的简称，其可以通过两张或多张相邻照片来恢复采集设备拍摄时的运动场景及目标物体的三维模型，是计算机视觉技术中的一种重要算法[13]。基于SFM三维重建技术的基本原理为：利用图像采集设备的位置移动，从不同角度对所要重建的目标进行拍摄收集图像数列，利用SIFT等特征提取算法找到特征点进行匹配，恢复采集设备的内外参数，以计算出的三维点云来重建物体的表面三维模型[14]。

普通的单相机双图像SFM三维重建具有较为灵活简便的优点，但是只能计算出匹配特征点的三维点云，这种点云较为稀疏，不能得到被测物体的稠密点云。考虑到构造深度检测需要对路面表面做更为精确的恢复重建，需要更为稠密的点云。

因此本文提出基于立体匹配的单相机双图像SFM三维重建方法，其三维重建步骤如图1所示。

此方法相比于常规SFM三维重建其改进之处在于先对图像进行立体校正，之后选用半全局立体匹配算法对图像进行密集的特征点匹配，随后利用三角测量生成稠密的点云。而常规SFM三维重建利用最小二乘法计算得出的三维点云则较为稀疏。

2 沥青路面表面三维模型重建实例

本文摄像机选用迈德威视出产的MV-SUA502C/M-T工业摄像机，最大分辨率2 592×1 944，固定焦距为6 mm，像元尺寸2.2 μm。将摄像机垂直于沥青路面目标区域上40 cm距离拍摄第一张图像后，平行移动摄像机1 cm～5 cm，拍摄第二张图像。

2.1 图像预处理

为了消除光照等环境对图像的干扰，使计算结果准确及计算方便，将采集到的图像1、图像2进行图像预处理以提升图像的识别效果，主要包括图像灰度化和去噪处理。本文选用MATLAB编程软件首先对采集的图像进行灰度化处理，调用rgb2gray函数将彩色RGB图像消除颜色及饱和度信息，生成灰度图像后对图像进行中值滤波去噪处理[15]，相比于线性平滑滤波它可以避免损坏图像的边缘，并且计算效率较快。本文采用中值滤波对图像进行处理，结果如图2所示。

2.2 相机标定

相机标定过程其实质就是求解二维图像目标物与三维空间中的目标物之间的对应关系。通过世界坐标系与图像坐标系的转换关系来求解相机的内参和外参。本文在MATLAB软件中选取“张正友标定法”对单目摄像机进行标定[16]。在实验中，将摄像机位置固定后，拍摄棋盘格图像，之后不断变换棋盘格的位置角度进行拍摄，本试验共输入18张不同角度的标定图像，如图3所示，对各幅图像提取棋盘格角点，计算摄像机的内参，标定各图像的空间位置关系如图4所示。

内参标定结果见表1。

表1 摄像机标定参数

像素误差err的值较小，表明标定结果的准确度较高。

2.3 特征点匹配和相机姿态估计

利用SIFT算子对图像1和图像2进行特征点匹配[17]，如图5所示。

利用SIFT特征点匹配后，可以找到两张图像的匹配像素点，但在图5中仍可以发现存在部分匹配异常的点。利用欧式距离对匹配的特征点进行筛选，进一步选出OpenCV计算基本矩阵采用的八点法所需要的8组匹配特征点。利用基本矩阵计算出本质矩阵，最终求得两摄像机外部参数相对旋转矩阵R以及相对平移向量T。本实验中两相机之间相对平移水平分量为32.251 61 mm，与实际操作情况相符，证明实验具有较高的精度。

2.4 图像立体校正

图像校正是立体匹配前必须进行的一步，经过校正后可以复原图像的失真，根据前文确定的摄像机内部参数和外部参数，利用Bouguet算法[18]对图像进行立体校正，使两次摄像机采集的图像处于同一平面同一水平。立体校正图像如图6所示。

2.5 双图像SFM三维重建

利用半全局匹配算法(SGBM)进行立体匹配[19]，并进行三角测量，生成密集的点云[20]，并生成路面三维模型，如图7所示。

实验表明三维模型重建效果良好，证明基于SFM三维重建模型具有较高的精度和准确度，可以真实反映沥青路面表面构造。相比于利用图像灰度值来表征路面凹凸起伏情况的方法，本方法利用计算机视觉与数字图像处理技术的相关原理，通过摄像机拍摄图像，计算图像上每一个像素点的坐标，实现了二维图像到三维模型的精确转换，避免了色彩、光照等因素对检测结果造成的影响，能够应用于后续的沥青路面构造深度检测。

3 沥青路面表面构造深度检测

3.1 室内沥青路面构造深度检测分析

为验证此理论的可行性与准确性，通过室内试验室制备不同级配的沥青车辙板试件，运用双图像SFM方法检测试件表面构造深度，并将检测结果与铺砂法检测结果进行对比分析。

3.2 室内车辙板试验

不同类型的沥青路面表面构造深度有较大差别，因此分析两种应用较多的SMA-13，AC-13C沥青路面与一种应用较少的PA-13沥青路面，参考JTG F40—2017公路沥青路面施工技术规范相关要求确定各类型沥青混合料级配与油石比[21]。车辙试模尺寸选用300 mm×300 mm×50 mm规格。在铺砂之前先采集车辙板图像信息，参考相关资料后选定相机固定高度为40 cm[22]，保证采集区域实际大小应为不低于20 cm×20 cm的正方形区域。采集完成后按照规范要求，进行手动铺砂法试验检测，计算后的铺砂法构造深度MTD2数据见表2。

表2 车辙试件铺砂法构造深度检测结果 mm

3.3 沥青车辙板构造深度数据对比分析

基于OpenCV软件和MATLAB软件，对采集的SMA-13试件、PA-13试件和AC-13C试件图像进行预处理以及SFM算法重建、校正、误差处理，得出车辙板试件表面三维恢复模型，如图8所示为SMA-13试件重建模型。

在MATLAB软件中打开重建的车辙试件路面三维模型，并裁剪至600 mm×600 mm大小，得到三维模型相关矩阵N。根据路面三维模型构造深度MTD1计算原理，利用得到的矩阵模型计算检测区域的构造深度。计算公式如下：

Vpixel=∑[hmin-hi]。

其中，Vpixel为像素空间的总体积；hmin为深度值的最小值；hi为像素点深度值。

根据体积法基本原理，检测区域重建的三维模型构造深度可由下式计算得出：

其中，m，n分别为计算区域范围内的行数和列数。

将所有车辙板试件进行预处理，利用SFM算法在OpenCV三维重建后，计算出其三维模型构造深度MTD1，结果见表3。

表3 路面三维模型构造深度检测结果

3.3.1 误差分析

将铺砂法构造深度MTD2暂定为构造深度真实值，比较路面三维模型构造深度MTD1与拟定真实值数据，利用绝对误差和相对误差对比两者结果的误差大小，验证路面三维模型构造深度的精度。

对各组车辙试件的两种构造深度检测的结果进行误差对比分析，如图9所示。误差分析表明，测试的三组试件其三维模型构造深度MTD1与拟定真值铺砂法构造深度MTD2结果相近，且计算得最大相对误差均小于20%，平均相对误差均小于10%，各组实验误差均在范围之内，具有较高的精度，可满足不同级配沥青路面的实际检测要求。

3.3.2 相关性分析

为验证基于双图像SFM算法三维模型构造深度检测的真实性与可靠性，利用数理统计原理，对三组试件所得构造深度结果进行相关性分析。本文采用Pearson相关系数r分析(见表4)。

表4 Pearson相关系数表

Pearson相关系数计算公式如下：

其中，r为相关系数；n为样本数据个数；xi为三维模型构造深度值(i=1,2,…,10)；yi为铺砂法构造深度值(i=1,2,…,10)。

通过Pearson相关系数计算各组试件的构造深度相关系数，见表5。

表5 MTD1和MTD2相关系数

通过计算三组车辙试件的MTD1和MTD2相关系数，得到的r值均大于0.8，证明两种方法获得得结果高度相关。综合考虑误差分析结果和相关性分析结果，可知沥青路面表面三维模型计算构造深度效果良好，在一定程度可以替代常规铺砂法检测。

4 三维重建模型构造深度离析评价标准

三维模型构造深度MTD1与混合料离析相关性研究：美国国家沥青技术中心(NCAT)采用离析处的路面构造深度与均匀处路面构造深度的比值作为离析的评价标准[23-24]。本文采用(TD离析处/TD均匀)作为沥青混合料离析定量评价标准，通过SAM-13沥青路面现场实测和实验室模拟离析数据，利用NCAT建议的离析标准与三维模型构造深度MTD1进行相关性分析。评价标准如表6所示。

表6 NCAT建议的离析评价标准

现场路面选取均匀处对其进行图像采样和构造深度测量，令MTD1均匀/MTD1离析为M1值。对300个测点分别采集数字图像和测量该点的构造深度，本文选取20个具有代表性测点对其分析，其结果绘制散点图，对M1和TD离析处/TD均匀进行线性回归分析，线相关性见图10。

由图10可知，以M1为横坐标，以铺砂法TD离析处/TD均匀为纵坐标作线性相关性得出R2=0.870 6，具有良好的相关性，拟合方程式为y=0.995x-0.023 5。因此根据离析处构造深度与所有测点的平均构造深度可以得出基于三维模型构造深度MTD1沥青混合料离析评价标准，如表7所示。

表7 沥青混合料三维模型均匀性评价标准

5 结语

1)基于双图像SFM算法重建三维模型，对采集的数字图像进行一系列预处理，在普通SFM三维重建基础上通过立体匹配提高了三维模型精度。2)通过沥青路面三维模型检测沥青路面构造深度，运用双图像SFM重建模型对路面构造深度进行试验分析。室内制备SMA-13试件、PA-13试件和AC-13C试件后对其重建三维模型计算构造深度并与铺砂法检测结果进行对比分析，结果表明，平均误差均小于10%，检测精度较高，误差满足实际使用要求。3)根据构造深度评价离析的标准，通过三维重建模型检测构造深度与路面构造深度实际测量值对比分析，提出了基于三维重建模型构造深度值M1的沥青混合料离析定量评价标准。