改进HOG 特征的支持向量机工程车辆识别方法∗

吴 逸 吴静静

（1.江南大学机械工程学院 无锡 214122）（2.江苏省食品先进制造装备技术重点实验室 无锡 214122）

1 引言

城市中大型工程运输车辆经常存在车辆超载、渣土垃圾滴落、违章偷倒等情况，需要增强监控管理［1］。但是实际监控时发现工程车辆存在外形各异、车辆图片纹理复杂、车辆存在遮挡等问题，因此提升交通视频监控工程车辆的识别率有重要的意义。

国内外学者在道路交通视频监控方面做了大量研究。在特征提取方面，林克正等针对单一HOG 特征丢失图像局部信息的问题，提出了基于分块Gabor 的梯度直方图特征提取算法，提升车辆识别算法的抗光照干扰性［2］。赵英男应用Gabor滤波器，结合特征矢量中临近分量的离散程度对自身进行加权，增加了特征对不同背景环境的鲁棒性［3］。刘芳在研究中应用车辆的声信号特征，结合SVM与神经网络，实现了车辆类型的稳定识别［4］。贾子永等将HOG 特征与激光雷达的深度信息结合，提高了车辆检测的准确性与实时性［5］。杨志钢等在提取出卷积特征时线性融合了图像的尺度不变特征，提升了网络的分类准确性［6］。在分类器的应用方面，郭克友等借鉴级联的思想，首先使用局部二值模式特征分类器进行初步筛选，再使用HOG 特征分类器过滤因光照变化产生的过检，提高了车辆识别系统的鲁棒性［7］。在应用深度神经网络方面，张少巍利用CNN 网络提取卷积特征，联合贝叶斯网络实现车辆准确分类［8］。李汉冰应用反残差网络并改进损失函数，使得检测模型训练时聚焦于难分类的复杂车辆样本，提升了车辆检测准确率［9］。李宇昕通过改进残差网络中激活函数的位置，使用分组卷积代替一般卷积，提高了模型对车辆图像的特征提取和识别能力［10］。以上文献从多角度研究了如何提升通用车辆识别的准确率，但针对工程运输车辆的专门识别还需要进一步深入研究。

基于以上研究发现，针对户外车辆图片提取轮廓、纹理等特征时，难免会面临环境突变、光线变化等干扰，需要增强特征相应描述能力及抗干扰性能。因此，本文提出了基于改进HOG 特征的工程车辆识别方法。融合对角线方向梯度信息来丰富HOG 特征；基于图像梯度先验知识进行筛选，剔除低信噪比的图像分块；添加不同权值半径LBP 信息，强化特征轮廓描述能力的同时增强特征分辨能力。分析不同类型车辆的外形和纹理等属性的差异，构建多级SVM 分类器结构，完成输入的车辆感兴趣区域（ROI）的分类。

2 整体算法

本文主要识别的对象为渣土工程运输车及生活垃圾工程运输车，如图1 所示。工程车辆相对于常见的面包车、轿车等，普遍具有更为复杂的外形轮廓；而对于轮廓较为相似的一般卡车来说，本文目标工程车辆的车头纹理细节更为丰富、特殊。本文的整体识别流程如图2 所示。首先，通过双线性插值、设定环境判断因子等方法快速剔除图像信噪比明显较低的视频帧，完成视频背景建模；接着，基于凸包算法将互相粘连的车辆轮廓分割开，抑制车辆阴影及不同拍摄视角导致的车辆轮廓粘连情况，降低对特征提取和分类识别的影响；最后，针对车辆ROI 图片提取改进的HOG 特征向量并进行特征降维，将向量送入多级SVM分类器完成最终识别。

图1 目标工程车辆类别图

图2 识别流程图

3 背景建模与车辆分割

3.1 改进的GMM快速背景建模

混合高斯背景建模对图像的每个像素点按不同权值的多个高斯分布来建模，各个高斯分布函数的权值和参数随时间更新，避免了单一模型检测的不稳定性，提高了对动态背景的适应能力［11］。像素采样点的混合高斯概率密度分布如式（1）与式（2）：xt为t时刻的样本像素，η为t时刻第i个高斯模型，wi,t μi,tτi,t分别为t 时刻第i 个高斯分布的权重、均值与协方差矩阵。但整个建模过程不断更新权值与参数，导致建模速度较慢。

本文为增加前景提取的鲁棒性，提升建模速度，设计了基于混合高斯模型的背景更新策略。具体流程如图2 所示，首先使用双线性插值方法进行视频帧缩放。接着本文提出帧间灰度增量因子T及噪声干扰帧判断因子G，计算方法如式（3）和式（4）所示，计算当前帧与下一帧的全局平均灰度增量和二值前景像素数占总像素数的比值，判断当前帧是否存在环境光突变等极端干扰情况，从而判断当前输入的图像序列是否具有处理价值。公式中，为视频流中第i 帧平均灰度值，Ni,fore为第i帧二值前景像素数，W,H分别为图像宽度与高度。

针对环境光线发生变化的同一段视频，分别使用原GMM与本文改进的快速背景建模方法提取运动前景。结果如图3 所示，由于本算法降低了低信噪比图像像素更新背景的概率，背景模型对环境光变化更加鲁棒，前景提取效果更好；同时减少干扰前景，有效降低后续处理的计算时间与资源开销。

图3 前景提取试验对比图

3.2 基于凸包算法的粘连车辆轮廓分割

由于摄像头拍摄角度、环境光突然变化、光线导致的车辆阴影、相机的随机噪声等因素的影响，改进GMM方法提取出的车辆前景仍然存在轮廓粘连情况。经过分析，拍摄角度和光线阴影导致的轮廓粘连将对ROI 特征提取与分类识别带来极大的误差。为解决以上两种原因导致的车辆轮廓粘连问题，本文基于凸包算法，寻找粘连轮廓最优分割线完成分割。

本文借鉴凸包算法相关应用论文［12］，提出了粘连轮廓判断因子K。通过Graham 扫描法对目标前景轮廓进行凸包拟合，计算凸包内非车辆区域中面积最大的两个轮廓与所有非车辆区域轮廓面积的比值K，当比值大于阈值，说明此时提取的正是粘连轮廓。公式如下，Areai为降序排列的第i 个凸包内非车辆轮廓面积，n为非车辆轮廓个数。

如图4 所示，上述面积最大的两块非车辆轮廓子区域，往往位于两车辆轮廓质心连线的垂线方向上；其质心连线便可作为粘连轮廓的最优分割线。因此，本文基于轮廓凸包分析，设计了一种鲁棒的粘连轮廓分割方法，算法流程如图5所示。

图5 基于凸包分析的轮廓分割算法流程图

首先进行形态学操作，通过腐蚀操作去除二值图像中较大的噪声区域；再进行开操作，以去除目标轮廓外部剩余较小的噪声点；最后进行闭操作，实现目标车辆轮廓内部细小孔洞的填充，得到信噪比较高的前景图像。接着进行轮廓查找操作，记录符合几何形状要求的轮廓为Corigin；对目标轮廓Corigin进行凸包分析并拟合得到凸包外轮廓Cconvex。计算得到原目标车辆轮廓Corigin与凸包外轮廓Cconvex的差异轮廓点集Ci（i=1，2，3…）。对Ci（i=1，2，3…）进行轮廓查找与分析，计算差异轮廓点集的面积，根据面积大小进行降序排列；寻找面积前两位的轮廓点集作为目标轮廓Cgoali（i=1，2）。计算因子K 判断是否为粘连轮廓。计算目标轮廓Cgoali（i=1，2）归一化的中心矩，从而找到目标轮廓质心点Pci（c=1，2）。连接质心点Pci（c=1，2）之间的直线即可作为遮挡车辆的轮廓分界线。

4 改进的HOG特征提取

4.1 基于梯度方向方差预筛选的改进HOG特征

梯度方向直方图（Histogram of Oriented Gradient，HOG）特征通过计算和统计图像局部区域（cell）各方向的梯度来构成特征［13］，即通过梯度的方向密度分布来描述目标的形状，具有较强的外形轮廓描述能力，适合用来区分外形轮廓差异较大的各型车辆，因此本文使用HOG 作为特征提取算子。但HOG 在计算梯度时，只利用了水平与竖直方向的梯度幅值，因此在面对外形更为复杂的工程车辆时，轮廓描述能力会显得不足。同时分析分块后的HOG 特征图谱发现：分块内梯度的方向变化程度，与分块内主体信息类型有较强的关联性。分块内是目标车辆轮廓则梯度方向变化较规则；是突变的环境光线、反光的车窗、路边的树叶等干扰信息则梯度变化杂乱无章。因此，本文添加图像对角线方向的梯度方向密度分布，同时基于梯度方向变化方差进行分块先验预筛选，提出了一种改进的梯度方向直方图特征，增强了特征的鲁棒性及针对复杂外形的描述能力。算法流程如图6所示。

图6 改进的梯度方向直方图算法

改进的HOG 算法主要分为以下几个步骤。图像预处理，图像灰度化，大小规范化，便于提取维数相同的特征向量；伽玛校正，通过调整图像对比度，降低图像局部光线变化影响，抑制噪声干扰。本文参照HOG原理论文［9］，将ROI图像的特征图谱划分为若干个8*8 像素的cell；将2*2 个cell 组成一个图像块（block）；对每个分块进行梯度值归一化，减小其他分块内特征的剧烈变化对本分块的影响。通过Sobel算子计算ROI每个像素的水平与竖直的梯度幅值及方向；通过如图7 所示对角线卷积算子对车辆ROI进行二维卷积，提取像素的对角线方向的梯度幅值及方向。

图7 对角线方向卷积算子图

将水平竖直方向的梯度特征图谱与对角线方向的梯度特征图谱线性融合，计算得到特征图谱每个像素最终的梯度幅值及方向，从而得到更加丰富的轮廓梯度信息，增强特征描述能力。根据已知的像素梯度幅值及方向，计算分块内所有像素梯度方向的方差，以标记每个分块的梯度方向一致性；记录所有分块的梯度方向方差并排序，剔除方差偏大与偏小的固定个数分块，仅使用筛选后的分块进行梯度方向直方图统计，从而得到信噪比更高的特征图谱。本算法通过计算特征图谱的梯度积分直方图以加速计算；同时参照HOG 原理论文［13］，统计每个分块内9 个梯度方向的幅值分布，得到描述每个分块外形轮廓的统计特征向量。遍历整张图像的所有符合梯度方向一致性要求的分块，将得到的特征向量串联即可得到本文改进后的HOG 特征描述向量。如图8 所示即为添加对角线梯度信息前后，图像提取出的9 个梯度方向幅值分布的可视化对比图。观察明显发现添加对角线梯度后，图像在更多梯度方向上获得了更为丰富的特征描述。

图8 梯度幅值分布对比图

4.2 融合LBP纹理特征

本文发现，改进的HOG 特征对外形轮廓差异不大，但实际车型不同的部分卡车与目标工程车辆的区分能力较弱。经过分析，错误分类的样本外形轮廓差异不大，但车辆表面的纹理细节存在不同。局部二值模式（Local Binary Pattern，LBP）对车辆纹理描述能力较强［14］。张素雯在车标分类任务中，同时提取HOG 与LBP 特征作为特征向量实现车标多分类［15］。因此本文为增强特征因子针对相似轮廓工程车辆的分辨能力，在改进的HOG 特征的基础上，融合LBP纹理信息。但基本的LBP算法对目标轮廓位置要求较高，限制了特征的纹理描述能力及分类器的识别泛化性。因此，本文将计算符合梯度要求的分块内不同半径尺度与采样点数的LBP 特征值，并根据半径尺度赋予LBP 值不同高斯权重，增强特征对背景光照及车辆位置变化的鲁棒性，提取更加鲁棒丰富的的车辆纹理特征。

具体算法流程如图6 所示：对于基于梯度方向方差筛选出的分块中每个元素，分别用半径r 为1、2、3，采样点数8、16、24 的圆形LBP 算子进行计算，可视化结果如图9 所示。本文以半径值为指标赋予LBP特征值不同高斯权重，以获得不同尺度的丰富纹理特征；并基于深度学习中的最大池化思想（即通过核窗口覆盖的所有值中的最大值代表整个覆盖区域），将各分块按像素位置取最大LBP 值作为最终的特征值，降低特征维数的同时保留最显著的纹理特征分量。最大池化公式如式（6）所示，表示神经网络中第l 层网络第i 行j 列的权重参数，m与n为该权重对应的池化核覆盖的区域。

图9 不同半径LBP特征图谱对比图

接着，统计每个分块LBP 值的结果直方图，将每个分块的结果LBP 特征向量拼接在该分块的HOG 特征向量后，形成每个分块的改进HOG 特征向量。分析各分块LBP特征向量发现，各像素位置LBP 值均处于0～255 之间，即每个分块统计出的直方图特征向量长度为256。本文将直方图每隔25个灰度级设置一个区间，从而将特征向量的长度从256 降维到10。该步骤通过将LBP 值分段，有效降低特征维数与特征表达的稀疏性，一定程度上描述了分块内纹理的基础信息、静态信息；同时抑制部分位置像素值突变对统计所得的向量造成的干扰，增加LBP特征鲁棒性。最后，串联所有筛选出的分块特征向量，生成样本最终的改进HOG 特征描述向量。

5 多级SVM分类器

本文提取的车辆ROI中，可能存在的车型有面包车、小轿车、厢车、有斗车、工程车等。车型种类较多，并且有时会存在非机动车（包括行人）、地面等干扰，若直接使用单级多分类SVM，由于样本的类内方差较大，类间方差较小，会存在部分外形与纹理特征类似的车辆分类准确率较低的情况。针对上述情况，本文分析发现，不同类型车辆的外形和纹理等属性差异较大，因此可以利用样本的不同属性在各节点进行分叉分类，构建多级SVM 节点分类器，结构如图10所示。

图10 SVM多级分类流程图

由于车辆与地面及非机动车辆图像不管在纹理还是外形上都有明显的差别，车辆纹理较密而地面纹理较平坦，车辆外形较规范而非机动车外形各异；因此本文在第一级分类器处，将车辆与地面及非机动车进行分类。经过一轮筛选后，剩下的绝大多数样本为车辆。由于筛选后的车辆在车型大小方面有较大的差异，因此本文第二级分类器基于各类车辆轮廓外形的差异，将车辆分为中小型车辆与大型车辆；中小型车辆包括轿车、面包车及厢车，而大型车辆包括有斗车与目标工程车。经过两轮筛选后，剩余的样本基本为大型有斗车辆。由于一般的有斗车与目标工程车在车头纹理及车身外形方面有较大差别，一般有斗车车头纹理较光滑而工程车辆车头轮廓感更强，一般有斗车车斗较低而工程车车斗基本与车头同高；因此本文在第三级分类器中，基于车头与车身的纹理与外形差异，将目标车辆工程车与其他普通有斗车进行分类。

6 试验结果分析

为验证本文SVM 多级分类器识别工程车辆的准确性，收集非工程车和工程车各500 张作为训练集，各300 张作为测试集进行分类测试；所有样本收集于不同天气、路段、时间段的监控路口。本文算法的试验环境为Visual studio 2015，处理器为i5-9400，16G 内存。试验采用准确率P（Prediction）和召回率R（Recall）作为判定指标［16］。

式中，ci表示目标工程车辆类别；TP（ci）表示属于目标工程车辆类且被正确分为目标工程车辆类的样本数；FN（ci）表示属于目标工程车辆类但被分为非工程车辆类的样本数；FP（ci）表示非工程车辆类但被分为目标工程车辆类的样本数。本试验测试中，P值与R值越大，代表分类器分类效果越好。

针对相互粘连的车辆ROI，进行凸包轮廓分割试验，结果如图11 所示。结果表明，面对因光线阴影以及不同拍摄角度导致的轮廓粘连问题，本文基于凸包分析的轮廓分割方法，可以有效地寻找到粘连车辆轮廓的最优分割线，完成车辆分割。

图11 凸包轮廓分割试验图

基于以上分割算法，本文针对所收集的训练集，提取基础HOG 特征，使用相同超参数训练得到SVM 分类器；并收集存在轮廓粘连的100 张车辆样本图，完成轮廓分割处理。使用分类器分别对轮廓分割前后的样本进行分类试验，结果如表1。分析结果发现，通过分割粘连车辆轮廓可以有效提升分类器的识别召回率，减少分类器误判。

表1 测试结果对比表

为验证HOG 特征改进方法的有效性，本文针对同一训练集分别提取原始HOG 特征与改进的HOG 特征，使用相同超参数训练两个SVM 分类器，并对收集的同一测试集进行分类召回测试。结果如表2。分析测试数据可以发现，改进后的HOG特征识别召回率更高。可以认为由于添加了对角线方向的梯度，相比原始特征拥有更多方向上的梯度细节，从而统计得到的直方图数据更具有鲁棒性。因此本文改进后的HOG 特征能够提取样本更加丰富的轮廓梯度细节，增强了特征的轮廓描述能力。

表2 测试结果对比表

表3 测试结果对比表

为验证本文融合LBP 算子增强本文HOG 特征分辨能力的有效性，针对上述训练集提取融合LBP的改进HOG 特征，使用相同超参数，训练新的SVM分类器进行对比测试。结果如表2。分析结果发现：融合LBP 算子后，改进的HOG 特征分类准确率有了进一步的提升。可以认为通过三个不同尺度的LBP算子，计算得到三种不同权重的LBP纹理图谱；从而使HOG 特征融合了丰富的纹理细节，增强了特征针对相似轮廓车辆的分辨能力。

为进一步验证本文多级SVM 分类器结构设计的有效性，在提取本文改进的HOG 特征的基础上，本试验将多级SVM 分类器与单级多分类SVM 分类器进行识别效果对比，结果如下表所示。由表4 可以看出，多级SVM 分类器针对工程车辆的分类准确率达92.8%，召回率达90.6%，效果明显优于单级多分类SVM 的89.4%与83.2%。对比结果显示，针对各型车辆特征的差异设计多级分类，可以有效提升分类器的分类准确率与召回率。

表4 分类效果对比统计表（单位：%）

7 结语

本文对城市道路中工程运输车辆的识别进行了深入研究。基于混合高斯，使用多种判断因子进行先验筛选实现快速背景建模；使用凸包算法进行轮廓分割线查找，解决车辆ROI粘连问题。基于梯度方向方差进行先验筛选，针对HOG 特征增加对角线方向梯度细节，融合不同权重不同半径尺度LBP 算子提取丰富的纹理细节，增强了特征描述能力与分辨能力。根据不同类型车辆属性，构建SVM的多级分类拓扑结构，提升目标工程车辆的分类准确率。结果表明，本算法针对工程车识别率较高且实时性良好，在城市交通智能监控系统中具有较强的应用价值。