基于车载遥感影像的高速公路广告牌破损检测方法及应用

朱建伟,李朝奎,周新邵,赵丁莹,傅开鸿

(1. 湖南科技大学测绘遥感信息工程湖南省重点实验室,湖南 湘潭 411201; 2. 湖南科技大学地理空间信息技术国家地方联合工程实验室,湖南 湘潭 411201; 3. 湖南城市学院信息与电子工程学院,湖南 益阳 413000; 4. 湘潭大学土木工程与力学学院,湖南 湘潭 411201)

“十三五”时期,全国公路总里程接近520万km,高速公路通车里程达16.1万km。每年高速公路广告牌投放已占我国户外广告媒体投放金额总数的50%以上。各省高速沿线广告管理政策正在加速完善,如2021年11月3号湖南省人民政府办公厅印发的《湖南省经营性高速公路项目管理办法》。根据我国公路建设的方针,计划约用30年的时间建成“五纵十横”共12条路线,建成后,将连接全国43%以上的城市,覆盖人口约6亿人。面对如此庞大的市场和受众,围绕高速公路产生的广告形式,将日趋完善和标准化,也对其管理提出了更高的要求。目前高速公路管理局对广告牌的主要管理形式为巡检人员沿线驱车,逐一下车拍照及目视检查,该方式存在严重的安全隐患且信息反馈迟缓、成本高。因此,建立一个集成智能巡检与自动化信息处理的广告牌管理系统已经成为当下迫切的需求。在无人机驾驶技术研究热潮下,环境感知与数字图像处理提供了新的思路。

全球经济蓬勃发展,对社会设施、生产设备等维护和更新的效率与成本提出了更高的要求。由此基于计算机视觉的破损目标检测已逐步应用于社会的各个角落。文献[1]设计了基于无人机系统(UAS)的堤坝损口检测方法,核心是比较由UAS获取的两种类型的多时态数据建立DTM模型。文献[2]提出了一种基于改进自回归模型的Lamb波信号Wigner-Vill时频分析方法,可高效检测金属或复合材料中的结构缺陷。文献[3]通过VMD将切削振动信号分解成若干个模态分量,提取各模态分量的中心频率和能量组成特征向量,最终由SVM进行铣刀的破损检测。文献[4]将改进的K-mean聚类算法和引入α平衡因子的YoLov4算法,应用于集装箱的破损检测并取得了良好的效果。文献[5]在路面破损检测中采用区别于基于像素的处理方法,基于块进行Haar小波变换,自适应分割提取初始区域并逐级迭代小波域系数,取得了良好的分割效果。但目前破损检测在高速公路广告牌维护管理中的应用研究较少。结合车载遥感平台,对实时采集的广告牌影像进行自动化破损检测,可省去人工巡检驻车目视检查拍照等环节,极大地提高作业的安全性和效率。本文以车载遥感平台代替人工驻车获取广告牌实时信息,以数字图像处理代替人工问题甄别,通过图像识别技术检测广告牌影像中破损目标的方式,为搭建智能巡检系统提供良好的技术支持。

1 研究方法

文献[6]提出SIFT算法后,诸多学者在此基础上发展出了适合各种应用场景的改进算法[7-11]。遥感高速公路广告牌影像具有空间分辨率高、地物丰富的特点。传统SIFT遥感影像匹配的需求是检测具有尽可能多的描述子[12]。但本文应用以检测广告牌单体为主,在大量的背景信息中生产的描述子均存在冗余。改进方法为:首先,在SIFT高斯差分空间极值点选取之前,通过离散余弦变换将图像的光强数据转换为频谱数据,再进行门限操作筛除高频系数;然后运用RANSAC稳健方法计算整体透视变换测试模型,迭代计算出最佳模型匹配点并进行精匹配。

同一广告牌首次安装时采集的影像与车载平台巡检时同机位拍摄的影像组成检测像对。具体方法:①改进的SIFT算法分别检测模板图与目标图中的描述子,并生成对应的特征描述;②图像像素对齐,SIFT特征点组成初始内点集,利用RANSAC构建测试模型筛选最优匹配点并进行精匹配;③图像减法,模板图与目标图相减后再相加,然后通过形态学处理剔除细小的噪声,提取标记好的连通域。

1.1 SIFT改进策略

(1)离散余弦变换。离散余弦变换先将光频信号转化为频率信号再进行门限操作,优异的去相关性非常适用于处理遥感影像中多尺度的地物信息。

将图像分割成16×16的小块;对每个小块进行DCT变换后获得对应不同光频尺度的能量系数。一维DCT变换公式为

(1)

(2)

式中,f(i)和F(u)分别为某点原始的光强信号值和离散余弦变换后的频谱能量系数;N和c(u)分别为点数和补偿系数。进而二维正变换为

(3)

式中,f(i,j)、F(u,v)分别为初始信号值和离散余弦变换后的能量系数;c(u)、c(v)为补偿系数。广告牌背景中大量的边界和纹理等聚集在高频区域,做裁剪处理后同时保留聚集平缓区域的低频部分,然后进行逆离散余弦变换运算,将频率信号转化为光强信号。

(2)尺度空间极值检测。构建高斯金字塔,如图1所示。运算对象的尺度空间L(x,y,σ)定义为函数I与尺度可变换的高斯函数G(x,y,σ)的卷积运算,公式为

图1 高斯差分金字塔

(4)

式中,(x,y)为像素坐标;σ为空间尺度因子;L( )为高斯尺度空间。在不同高斯尺度空间均未被筛除的点即为特征点。极值检测采用DOG算子,在检测高斯极值点时,需要将同一影像分离的两个相邻的一维高斯模板分别进行高斯滤波后再作差。公式为

D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]·

I(x,y)=L(x,y,kσ)-L(x,y,σ)

(5)

每个像素点均与其具有三维相邻关系的26个像素点进行比较,若在多个尺度下均能保证是最大值或最小值,则认为是一个稳定的极值点。如图2所示,相邻三层DOG之间,寻找中间层的极值点。

图2 DOG尺度空间极值点检测

(3)特征方向赋值。对特征点进行方向赋值以保证图像平移或旋转不变性。方法是求得各点L(x,y)的梯度的模m及方向θ,公式为

(6)

计算时分别对特征点邻域像素进行采样,同时统计各样本所对应的梯度方向直方图。将所有可能的方向以每10°为一个方向区间进行统计,共36个可能的方向。特征点领域梯度直方图中,每个柱的方向和高低分别表示像素点的梯度和幅值。统计直方图的能量峰值方向并赋值为该特征点的主方向。图3为通过简化的7个方向梯度统计方向直方图且给描述点进行方向赋值的例子,第二柱赋值为该点的主方向。

图3 建立特征点方向

(4)生成关键点描述符。描述符即完整描述某特征点的SIFT特征向量。将特征点领域均分边长为3σ的16个正方形子域。考虑实际计算时,需进行三次线性插值,因此特征点邻域为3σ(d+1)·3σ(d+1)的范围(如图4所示圆的范围),d为任一方向上的子域数量,取d=4,旋转坐标轴与特征点主方向一致。在求取某特征点邻域范围中各子域内像素的梯度幅值后进行高斯加权,再插值计算确定每一特征点的8个梯度方向,则每个描述子由128维特征向量表述,最终进行归一化处理,如图4所示。

图4 关键点描述符

1.2 图像像素对齐

应用中模板图像是广告牌安装时获取的,目标图像是巡检时获取的,均是基于车载遥感平台在相同参数、同一相机和视角条件下获取的,改进的SIFT算法获取关键点描述子。分别对模板图和实时图建立关键点描述子合集。采用K近邻法匹配模板图与目标图中若干对应的描述子。

确定若干对匹配的描述子后,目标图像通过单适应矩阵进行几何变换对齐模板图。表述为

(7)

式中,(x1,y1,1)和(x2,y2,1)分别表示对应像素的齐次坐标;H为单适应矩阵。

解算单适应矩阵需8个方程,每个像素由二维坐标表述,故需要抽取最佳的4个像素。采用RANSAC方法对4个基准像素点进行选取。该算法能在两个交互的不同点集中,精确地拟合出所需点集的描述模型。通过RANSAC方法从描述子中对集合抽取4个不共线的样本,计算H矩阵以构建出测试模型。计算符合该模型的点量与投影误差,所得投影误差最小即为最优模型,公式为

(8)

通过上述函数精选出模板图和目标图中最佳的特征匹配对,采用warpPerspective函数对目标图像投影映射,函数公式为

(9)

如图5所示,(c)为(b)照准(a)后的结果。

图5 图像像素对齐

1.3 目标提取

两张图像对齐后迥异的连通域是目标区域,即广告牌的破损区域。若仅对模板图与目标图作差,多数情况下会导致结果为负数,损失信息。解决方法是将模板图与目标图互相相减,然后再相加,得到迥异的连通域,算法处理结果如图6所示。

图6 迥异连通域

再对初步结果进行如下处理:①通过灰度转化,降低灰度值像素的影响,增强高灰度值像素;②采用中值滤波法去除灰度转换后较小的噪声点;③利用区域形态学,使像素归一化,去掉边界;④标记。经过上述处理后便可进行连通域的提取并输出广告牌中的破损部分。

2 试验分析

目标检测算法的有效性验证需要大量样本,本文目前还未找到相应的成熟的测试数据集,而广告牌不同时期且有破损的目标影像的采集需要非常久的数据样本的积累。本文在模拟试验与自建库的基础上,参照医院影像识别中的阶梯设计的整群随机对照试验(SW-CRT)思想,该方法对现实条件受限或“利大于弊”的干涉政策等评定非常稳健,开发工具为Matlab 2016a。高炮广告牌模型比列为8∶1,人工植入破损模拟建立检测对象。车载相机型号为DSC-RX1RM2,分辨率为4020万像素,焦距为35 mm。

原始数据按影像信息复杂度将验证数据分为三级:一级为广告牌原始底图;二级为地物较少的遥感影像;三级为地物丰富的遥感影像。影响因子设为Δ,通过人工统计同一目标不同复杂度背景中的地物数量,求取该数量相互比例以确定不同级别的原始数据所对应的权重因子,即ΔⅠ=0.2,ΔⅡ=0.3,ΔⅢ=0.5。

针对不同大小的模拟破损区域设置权重,可以使总体模型更加注重明显破损区域及小目标。将模拟破损区域按从小到大分为ⅰ、ⅱ、ⅲ3个级别,越小的破损目标识别难度越大。设目标区域大小对精度判定的置信度为∇,以独立性权重思想进行定权。其中,基于不同复杂度设置三级指标,以目标检测交并比确定复相关系数,结果见表1。

表1 独立性权重法定权

故∇ⅰ=0.5,∇ⅱ=0.3,∇ⅲ=0.2。在不同背景复杂度的广告牌影像中,随机植入1～10个不同级别的破损目标区域。各采集50对不同复杂度的遥感影像进行建库。总体精度评定模型为

(10)

式中,A、B、C为分对应Ⅰ、Ⅱ、Ⅲ级数据中植入的破损区域的数量;a、b、c为相对应的算法检测到的目标数量,结果见表2。

表2 算法精度评定

试验结果表明,该方法在高速公路广告牌破损目标快速检测应用上是稳健的。在最复杂背景中植入最多数量的破损区域的干扰条件下,检测精度也能保证在80%以上,完全满足该应用方向的实际需求。该方法对高速公路广告牌智能巡检系统的搭建提供了有力的支持。部分具有代表性的结果如图7所示。

图7 部分试验成果

3 结 语

本文设计了基于车载遥感影像的高速公路广告牌破损快速检测方法,结合快速处理影像的实际需求,对经典的SIFT图像匹配算法进行了改进。在SIFT高斯差分空间极值点选取之前通过离散余弦变换,将图像的光强数据转换为频谱数据并进行门限操作筛除高频系数,剔除了大量需要检测的背景冗余信息的特征点,在满足检测精度需求的情况下,大大提高了计算效率。采用RANSAC随机抽取匹配点计算单适应矩阵生成测试模型,再选取最优点进行精匹配,压缩了算法体积。基于高速公路广告牌巡检需求与广告牌自身特点,对现有图像匹配算法进行了针对性的改进和优化,实现了车载遥感广告牌数据破损目标的高精度提取,为当下高速公路广告牌巡检的应用需求提供了新的思路与技术支撑。