基于压路机多角度判别的倾轧轨迹面检测算法

范荣全，林明星，刘克亮，张 劲，刘俊勇+，刘友波

(1.国家电网四川省电力公司 建设部，四川 成都 610041；2.国家电网四川省电力公司 天府新区供电公司，四川 成都 610041；3.国家电网四川省电力公司 阿坝供电公司， 四川 阿坝 623200；4.四川大学 电气工程学院，四川 成都 610065)

0 引 言

近年来，施工管理的信息化是一个研究热点。但相比于其它行业，建筑业的施工及相关管理活动依然主要依靠人完成。在此背景下，运用新技术变革传统施工管理方式，构建智慧工地系统，具有显著的探索意义和实践价值。本研究主要针对在施工场景中，压路机在地面行驶的轨迹测量问题。

在智慧工地的车辆研究中，施工车辆的轨迹面积实时监控是重要内容之一，特别是压路机等对路面进行操作的车辆，获取其行驶的轨迹面积是保证其行驶安全和完成相关任务的基础。在施工车辆行驶轨迹测量方面，有学者进行了研究：例如，GPS技术与温度、压实度传感器被广泛用于施工场景下压路机对路的碾压遍数与线轨迹测量中[1]；阮树斌等[2]通过车牌及时间戳排序提取出行链，基于K则最短路径算法及灰色关联法，对机动车的出行轨迹进行补全重构。于青青等[3]利用KLT方法检测视频中的运动角点，确定运动车辆位置，再利用压缩跟踪方法，提取视频序列中运动车辆完整的运动轨迹，较为准确地描述了路侧停车的动态过程。

目前对车辆的轨迹测量方面的研究，大都是对车辆的线状轨迹进行跟踪，还没有涉及车辆的轨迹面积测量问题，而在压路机的运行中，测量其运行轨迹面积对施工管理是必要的。

因此，本研究针对压路机的轨迹面积测量提出了一种基于压路机多角度判别的倾轧轨迹面积自动检测算法。为了定位压路机倾轧路径，实时监控压路机的覆盖情况，首先，在首帧图像中确定目标车辆，再利用Mean-Shift目标跟踪算法[4]实现目标车辆的跟踪，输出目标车辆位置坐标；其次，基于本文提出的BOF-MCF(bag-of-feature-matched correlation filter)特征参数识别压路机的角度信息；最后，对于不同角度的压路机，使用不同的轨迹面测量方法得到压路机的倾轧轨迹面。实验结果表明，本研究有助于实时监测工地倾轧情况，提升施工工地的管控效率。

1 基于压路机多角度判别的倾轧轨迹面自动检测算法

为了定位压路机倾轧轨迹面，实现压路机填方压实过程的实时监控，本文提出了基于多角度压路机判别的倾轧轨迹面自动检测算法。该算法主要包括压路机的实时定位、角度识别及轨迹面自动检测3部分。首先，基于Mean-Shift算法对压路机进行位置跟踪，定位目标车辆。其次，搭建多角度压路机样本训练库，结合本文提出的BOF-MCF特征参数对目标图像进行角度判别。最后，对于不同角度的压路机，提出不同的自动分割算法，实现压路机轮廓自动提取，再基于LSD[5](line segment detector)算法自动检测压路机的碾轮轴长/架长，并将相邻两帧所检测到的横杆直线相连得到四边形，最终得到施工车辆倾轧轨迹面。基于多角度压路机路径识别的倾轧轨迹面自动检测算法总流程如图1所示。

图1 基于压路机多角度判别的倾轧轨迹面检测算法总流程

1.1 基于Mean-Shift算法的压路机目标跟踪

本文基于Mean-Shift跟踪算法[4]，实现压路机的自动目标跟踪。首先分别计算压路机目标区域和候选区域内像素的特征概率，以此得到目标模型和候选模型的描述。然后利用相似函数度量压路机初始帧目标模型和当前帧的候选模型的相似性，选择使相似函数最大的候选模型并得到目标模型的Mean-Shift向量，该向量正是目标由初始位置移动到下一位置的向量，通过不断的迭代计算Mean-Shift向量，算法最终将收敛到压路机的真实位置，达到目标跟踪的目的。

1.2 本文提出的基于BOF-MCF特征参数的压路机多角度自动识别算法

本文提出BOF-MCF特征参数，实现压路机多角度的自动识别。该算法提取基于多角度压路机样本训练库中待识别目标图像的BOF(bag-of-feature)特征[6]，结合MC相关滤波器[7]对不同角度的压路机进行相关匹配，计算样本训练库与目标图像的响应因子，得到目标帧图像中压路机的角度。

1.2.1 基于目标图像BOF特征的匹配相关滤波器参数学习

本文提出基于匹配相关滤波器的压路机多角度自动检测算法。初始化一维高斯滤波器参数，由目标图片的BOF特征向量更新滤波器参数，计算压路机训练样本库中每张图片的滤波器响应分数作为相关性指标，最高响应分数对应的压路机角度即目标图片中压路机的角度。

(1)基于多角度压路机样本训练库的目标图像BOF特征提取

首先提取压路机角度匹配图像集{I1,I2,…Im}中每一区域的特征，再通过K均值聚类方法将特征聚类，每个聚类中心形成一个有代表性的特征单词(word)，图像集所提取到的n个特征单词即构成特征词典Feature_dictionary，即{word1,word2,…wordn}，最后，每一张图片通过特征词典中单词出现的概率直方图构成的n维特征向量{v1,v2,…vn}表征，压路机图片BOF特征计算过程如图2所示。

图2 压路机图片BOF特征提取流程

假设目标图片为I0，目标跟踪识别结果是单一压路机，I0的主体元素为压路机本身和泥土背景，没有太多其它干扰因素，因此使用BOF特征词袋方法可以有效地表征压路机的角度特征，高效识别目标图片中的压路机角度。

(1)

(2)匹配相关滤波器参数自适应学习

(2)

其中，式(2)中，*表示循环相关，第二项加数是权重为ε的滤波器参数正则化。一般理想的相关响应输出为参数化标准差的高斯函数，因此初始化滤波器参数时设置高斯滤波器。

式(2)为典型的线性最小二乘问题，使用Parseval定理[8]将式(2)转换到频域，可计算出使式(2)结果最小的滤波器为

(3)

(4)

(5)

其中，ω是滤波器更新速率参数，利用新一帧图像的BOF特征的离散傅里叶变换Vnew>，结合当前滤波器参数Bnow和Dnow>，得到新一帧目标图像的滤波器参数，表征当前帧图像中压路机的角度信息，更好地匹配多角度压路机训练样本库中的图片。

1.2.2 基于BOF-MCF的相关滤波响应

(6)

其中，Bnow和Dnow是根据当前目标图像BOF特征计算得到的滤波器参数，λ为常数，保证分母不为0。此处计算的结果为相关分数的离散傅里叶变换，为了得到实相关分数，对计算结果做傅里叶逆变换，取实数部分记为样本训练库图像Im与当前目标图片的相关分数

(7)

最后，相关分数更高的图片即认为是目标图片最匹配的对象，该对象的角度标签即认为是目标图片中压路机的角度。若角度自动检测结果为Ⅰ型角度，输出图片I′，若角度自动检测结果为Ⅱ型角度，输出图片I″。

1.3 基于不同角度下压路机的倾轧路径面自动提取算法

由于拍摄角度不同，压路机倾轧长度提取算法不同。针对不同角度下的压路机，本文提出了不同的倾轧长度检测线。如图3所示，当压路机处于正面、前侧面和侧面时，提取压路机前方碾轮轴长作为压路机倾轧长度；当压路机处于背侧面和背面时，碾轮轴长被车身遮挡，因此检测压路机后车架长作为压路机倾轧长度。图中的白色虚线表示的是压路机的碾轮轴长/架长。

图3 不同角度的压路机及其碾轮轴长/架长

由于压路机位于正面及背面时，图像色彩较为单一，相比于侧面拥有更少的精细结构。而侧面压路机图像黄色区域较多，所以本文将压路机位于正面及背面时称为Ⅰ型角度压路机，将压路机位于正侧面、侧面、背侧面时称为Ⅱ型角度压路机。

本文提出基于Ⅰ型与Ⅱ型角度下的压路机倾轧路径面算法：首先对压路机图像进行ROI粗定位与二级分割算法，自动分割出压路机轮廓，并根据轮廓线提取其碾轮轴长/架长，再将相邻两帧检测到的碾轮轴长/架长两端相连，得帧间差四边形，最终将整个视频中所有帧间差四边形叠加，得到压路机倾轧的路径面。

1.3.1 基于色彩空间转换及Otsu算法的ROI粗定位

(1)I型角度下压路机的ROI粗定位

压路机与土地等背景在常用的HSI色彩空间中难以区分，图4(a)为压路机灰度直方图，存在多个峰值，区分度较小；而CMY色彩空间中的C分量直方图存在明显的双峰，能够较好地区分压路机与背景，如图4(b)所示。

图4 压路机灰度直方图及C分量直方图

图5(a)表示的是压路机原图I′，压路机图像I′进行色彩空间转换，其转换公式如下

图5 I型角度压路机的ROI粗定位步骤的结果

(8)

(2)Ⅱ型角度下压路机的ROI粗定位

相较于I型角度压路机图像，Ⅱ型角度压路机图像的黄色区域大且细节结构较多。因此Ⅱ型角度压路机的ROI粗定位算法应在HSI色彩空间中利用色调分量提取黄色区域，以及提取CMY色彩空间中C分量使压路机与背景区分度变大，并进一步使用Otsu算法进行处理。

图6 Ⅱ型角度压路机的ROI粗定位步骤的结果

1.3.2 基于形态学及DOG(difference of two-Gaussians functions)算子的压路机轮廓二级定位

为了更好地提取压路机碾轮轴长/架长，需要将所得压路机ROI图像Ibw进行形态学操作，以去除背景等干扰项对分割结果的影响。在对压路机图像进行ROI粗定位后，ROI图像Ibw存在驾驶舱位置等部分缺失，因此利用孔洞填充将部分丢失的位置进行填补。其公式如下

Ik=(Ik-1⊕B)∩Ibwk=1,2,3…

(9)

其中，B为3×3的对称结构元，其中心元素为1其余部分为0；Ik是与压路机图像Ibw尺寸相同的阵列，I0为全0矩阵，Ik为当前所填充的孔洞阵列。当给定每个孔洞中的一个点后，用式(9)进行迭代填充所有孔洞，当Ik=Ik-1时算法在迭代的第k步结束。Ik和A的并集包含所有填充的孔洞及这些孔洞的边界，如图7(a)。再去除孤立小面积对象，将图像Ik中混杂的土地和杂物等非压路机区域得到更为准确的轮廓图像Ie，避免干扰，如图7(b)所示。由于压路机轮廓Ie存在较多噪声及毛刺，所以采用中值滤波[10]对压路机分割图像Ie进行平滑,其公式如下

Im=median[Ie(x-1,y-1)+Ie(x,y-1)+Ie(x+1,y-1)+Ie(x-1,y)+Ie(x,y)+Ie(x+1,y)+Ie(x-1,y+1)+Ie(x,y+1)+Ie(x+1,y+1)]

(10)

其中，x，y分别为图像Im的横纵坐标(如图7(c)所示)，中值滤波能够减弱压路机图像Im中的噪声对直线检测的影响，保证直线检测时的有效性和可靠性。

为了下一步提取压路机碾轮轴长/架长，本研究利用DoG算子[11]对压路机图像Im边缘进行自动提取。DoG算子计算复杂量小、且边缘提取准确、抗噪能力强，该算子对图像Im进行两次不同的高斯变换，再进行差分运算，其数学表达式如下式

(11)

其中，A、B、σ1、σ2是DoG算子的参数，x、y分别为DoG算子横纵坐标。将所得DoG算子与图像Im卷积，得到压路机轮廓的自动分割IDoG，实现压路机边缘的二级分割，其自动分割结果如图7(d)所示。

图7 轮廓精定位步骤的结果

1.3.3 基于LSD的碾轮轴长/架长自动检测

本文利用LSD算法[7]检测出候选的碾轮轴长/架长区域，然后根据实际需求筛选目标碾轮轴长/架长，达到检测压路机碾轮轴长/架长目的，碾轮轴长/架长检测算法流程图如图8所示。

图8 碾轮轴长/架长检测算法流程

LSD直线检测算法首先计算图像中所有点的梯度大小和方向，然后将梯度方向变化小且相邻的点作为一个连通域，接着对每一个域进行矩形验证，按照规则将其断开以形成多个域，最后对生成的所有的域做改善和筛选，保留其中满足条件的域，即为最后的直线检测结果。该算法的优点在于检测速度快，而且无需参数调节，提高了直线检测的准确度。具体的计算步骤如下：

(1)梯度计算及伪排序：首先利用式(12)对压路机轮廓图IDoG中每个像素点IDoG(x,y)的右下方的4个像素进行梯度计算，找到可能有线段边缘的地方。其中式(13)及式(14)分别是像素点IDoG(x,y)在x,y方向上的一阶微分。然后对梯度值按照其的分布进行一定程度的排序，伪排序将时间缩短到O(n)线性时间内

(12)

(13)

(14)

(2)分割水平线场得到LSR(line support regions)区域：每个像素点梯度的垂直方向角度是像素点的水平线角度，可利用式(15)求得

(15)

所有点的水平线角度形成了一个水平线场，依据水平线角度用区域生长的方法将水平线场切割成若干个连通域，每个连通域中所有像素点的水平线角度变化不能超过一个容忍值τ，这样的连通域称为线支持区域，每个线支持区域都是碾轮轴长/架长的候选区。

其中区域生长的方法是利用伪排序得到的排序列表中梯度幅值大的点作为种子点，以该点的水平线角度作为区域的初始角度θregion，然后在八邻域中寻找与θregion的偏差小于容忍值τ的点，然后将该点加入到区域中并更新，更新算法如下

(16)

其中，j表示遍历时的像素点下标，当区域中所有点的八邻域中都不满足与θregion的偏差小于容忍值τ时，停止生长。误差容忍值τ默认被设为22.5，对于整个区域矩形来说，误差容忍度是45°。由于梯度值小的像素对应于图像中平滑或者变化较缓的区域，而它们在量化时将会引起更大的梯度计算误差，所以需要通过设置梯度阈值，使梯度值小于梯度阈值的点不会在LSR中使用。

(3)矩形验证：为了得到更准确更小的可能碾轮轴长/架长所在的区域，需要利用Contrario方法和Helmholtz法则[7]对LSR进行矩形验证。对IDoG的LSD检测结果如图9(a)所示，图中的粗黑直线是检测出来的直线，可根据实际需求筛选掉碾轮轴长/架长。

图9 碾轮轴长结果

(4)筛选目标碾轮轴长/架长：在本文中，为了快速筛选目标横杆直线，我们先对横杆位置进行初定位，因为横杆位置位于压路机靠下位置，所以我们选取压路机图像下1/2部分来进行直线结构的提取。然后对于不同角度的压路机有不同的横杆约束条件。

正面背面横杆约束条件为：直线角度的绝对值应在±20°内，且直线长度大于图片宽度的1/2。图9(b)中的粗黑直线最终筛选出来的横杆结果。

侧面、前侧面、后侧面横杆约束条件为：直线角度的绝对值应在±10°内，且直线长度大于图片宽度的1/2。

使用以上约束条件对初定位的可能碾轮轴长/架长进行判断，最终得到我们想要得到的不同角度的碾轮轴长/架长，用于倾轧面积的识别。

1.3.4 帧间差四边形构建

将相邻两帧图像中所检测到的碾轮轴长/架长直线的两端相连，如图10中虚线连接的直线A1A2和B1B2，构成帧间差四边形A1A2B2B1，该四边形即为相邻两帧内压路机的倾轧路径面。

图10 正面压路机帧间四边形的叠加

将视频中所有相邻两帧的帧间差四边形叠加，即可表示出该视频中压路机完整的倾轧轨迹面，如图11所示。

图11 各个角度压路机倾轧路径轨迹面结果

2 实验数据库

2.1 施工现场视频数据库

本实验测试视频数据由大疆无人机在国家电网施工现场30 m高度实地航拍得到。无人机采集视频格式为mp4，共采集施工现场视频15段，视频平均时长70 s，视频分辨率为1080 P，即图片像素为1920*1080，帧率为25，共10 629帧图像。

视频中无人机与压路机相对位置随机，视频中包含1-3个不同的施工车型，压路机概貌完整，包含完整的压路机行驶过程。

2.2 多角度压路机的训练样本库搭建

由于无人机与压路机的相对位置不同，视频中压路机的角度不同。压路机向靠近无人机的方向行驶时，压路机的碾轮完整可见，此时用碾轮轴长表示压路机的倾轧面；压路机向远离无人机的方向行驶时，压路机的碾轮被遮挡，无法用碾轮轴长表示倾轧面。为了准确识别压路机倾轧轨迹面，本文在识别压路机倾轧轨迹前先实现压路机角度的自动识别，对于不同角度的压路机，提出不同的压路机倾轧面自动检测算法。

3 实验结果与分析

3.1 压路机角度判别对比实验

3.1.1 压路机角度判别实验结果

图像的BOF特征表征了图像的区域特征信息，涵盖了压路机的角度信息，通过多角度压路机样本训练库中基准图片的匹配相关滤波响应，可准确识别目标图像中压路机的角度信息。

整段压路机视频角度识别结果如图12所示。

图12中，横坐标表示视频帧数，纵坐标表示压路机角度数值化的结果，压路机的“正面”、“正侧”、“侧面”、“背侧”和“侧面”分别对应数值2、1.5、1、0.5、0。由图可知，压路机视频中只存在单个角度时，识别正确率较高，但若存在角度转变，则正确率有所下降。因为压路机行驶速度较慢，相邻帧之间的偏移不大，导致在两个角度的临界位置难以判断其真实角度，出现角度判断错误的图片。

图12 压路机多角度识别结果

3.1.2 压路机角度判别对比实验分析

图像匹配可以通过不同的特征进行相关滤波实现，典型的图像特征包括方向梯度直方图[16-18](histogram of orie-nted gridients，HOG)特征、轮廓(Outline)特征[12-14]等，本文采用7段视频对比上述特征与匹配相关滤波相结合实现压路机角度识别效果和基于BOF-MCF的角度识别效果，7段视频包含的角度信息为：“正侧”、“正侧-正面-正侧”、“正侧-侧面”、“正面”、“背侧-背面”、“背侧”、“侧面”，结果见表1。

表1 基于不同特征的MCF压路机角度识别效果对比

表1的可视化结果如图13所示。

图13 不同图像特征对应的压路机视频识别正确率

对比表1的结果可知， 基于BOF特征的匹配相关滤波器可以精准高效地识别压路机的角度信息，角度识别正确率均在90%以上。其中，“正侧”、“正面”和“背面”3类单一角度识别正确率高，而“侧面”和有角度变化的识别率有所下降，因为视频中压路机帧间角度差较小，无人机与压路机的相对位置的稍微偏移都会导致压路机角度判别错误。

压路机图像的BOF特征是基于匹配图像库计算得到的特征单词出现频率直方图，即使图片大小不一，也可以得到维度相同的特征向量，因此BOF特征在不对图像做任何处理的情况下，可以较好地表征彩色图片的特征，基本没有信息丢失。HOG特征和轮廓特征向量的维度与图片大小相关，而进行匹配相关滤波的输入参数必须维度一致，因此计算上述两类特征向量之前需要对压路机图片进行大小调整，大小调整处理涉及图像降采样或插值，会导致压路机图像信息部分丢失或被修改，进而造成压路机角度信息不完整，角度识别正确率低。

3.2 基于压路机不同角度处理的倾轧路径面自动提取结果与分析

为了分析本研究的碾轮轴长/架长检测效果及压路机倾轧路径面检测性能，本实验每隔10帧手动标定一次标准样本，其中包含正面78帧的压路机碾轮轴长、前侧面46帧的压路机碾轮轴长、侧面25帧的压路机碾轮轴长、后侧面50帧的压路机架长以及背面80帧的架长作为本实验的标准样本。

3.2.1 碾轮轴长/架长实验结果与分析

本研究利用LSD对碾轮轴长/架长进行检测，为了分析LSD的检测效果，本实验通过标准的碾轮轴长/架长与检测的碾轮轴长/架长的绝对角度差Δθ进行分析。其中绝对角度差Δθ的定义如下：

假设一条标准碾轮轴长/架长的两个端点坐标分别为A1(x1,y1)、B1(x2,y2)，一条通过LSD算法检测出来的碾轮轴长/架长的两个端点坐标分别为A2(x3,y3)、B2(x4,y4)，则有

(17)

根据式(17)，本实验计算了压路机5个角度的绝对角度差Δθ。压路机5个角度的绝对角度差Δθ大小的占比见表2。

表2 压路机5个角度的绝对角度差Δθ大小的占比/%

由表2可知，标准的碾轮轴长/架长与检测的碾轮轴长/架长的绝对角度差Δθ主要分布在0°～5°的范围，绝对角度Δθ差的范围较小，LSD的检测效果较好，具有实际意义，适用于本研究的压路机碾轮轴长/架长检测。

3.2.2 压路机倾轧路径面检测结果与分析

为了评估本研究提出算法的压路机倾轧路径面检测性能，利用Dice系数[15](the Dice similarity coefficient)、过识别率、欠识别率作为评估路径面识别结果的指标。使用Dice系数作为算法提取及手动标记的压路机路径面的重叠部分度量，代表本研究算法所提取的倾轧路径面结果与手动标记结果的相似度，其公式如式(18)所示

(18)

其中，TS为提出算法输出的压路机倾轧路径面集合，RS为手动标记的参考路径面集合。

过识别率：即识别结果在手动标记的参考路径面之外的像素点的占比，其公式如式(19)所示

(19)

式中：OS表示识别结果中不被包含在参考路径面结果中的像素点个数。OSR值越大则说明本研究提出的算法过识别越严重。

欠识别率：即识别结果在参考路径面之中所缺少的像素点的占比，其公式如式(20)所示

(20)

式中：US表示在参考路径面结果中没有被包含在本研究算法识别结果中的像素点个数,且USR值越大则说明本研究提出算法的检测结果欠识别越严重。表3为本研究测试结果的Dice系数、过识别率、欠识别率结果。

表3 提出算法的性能分析结果

由表3中参数可知，本文提出的算法DSC参数在83.00%-92.72%的范围内，说明路径面识别结果与手动标记参考结果相似度高，且过识别率和欠识别率较低，则提出算法所得结果误差较小，适用于不同角度的压路机倾轧路径面自动检测。

4 结束语

本研究针对施工车辆的轨迹面积测量方面提出了一种基于多角度判别的施工车辆轨迹面积分析方案。首先，在首帧图像中确定目标车辆，再利用Mean-Shift目标跟踪算法实现目标车辆的跟踪，输出目标车辆位置坐标；其次，基于本文提出的BOF-MCF特征参数识别压路机的角度信息；然后，基于不同角度的压路机，提出不同的轨迹面检测方法。将不同角度压路机的轨迹面相连接，最终得到施工车辆倾轧轨迹面。

整套施工车辆轨迹面积的测量方案可行性高：首先，本研究基于实际施工车辆运行轨迹的实际情况，提出BOF-MCF特征参数来识别压路机的角度信息，不同角度的施工车辆调用不同的轨迹面积检测方案，测量精准，适用性高；其次，在轨迹面测量中，本研究利用碾轮轴长/架长来替代整个施工车辆，在能表征施工车辆的同时提高整个项目压路机的识别效率，最后的路径面识别结果与手动标记参考结果误差小，适用于施工车辆的轨迹面测量。

本方案可以有效跟踪施工车辆，获取施工车辆运行轨迹面积，有助于实时监测工地倾轧情况，提升施工工地的管控效率。