一种基于环视图像的空停车位检测方法

李 伟 东， 钟 健 聪， 孙 浩， 李 冰， 唐 琪， 郑 国 君*

(1.大连理工大学 汽车工程学院，辽宁 大连 116024；2.大连理工大学人工智能大连研究院，辽宁 大连 116000)

0 引 言

随着社会的不断发展与生活水准的提高，全球汽车保有量逐年增加，停车难的问题越发突出.由此引起了对自动泊车系统的广泛研究[1]，而停车位检测是自动泊车系统的重要组成部分.停车位检测的方法可以分为4种类型：基于用户界面的方法、基于自由空间的方法、基于车位标记的方法和基于基础设施的方法.基于用户界面的方法需要驾驶员手动选择停车位，基于基础设施的方法需要借助外部设备来指定停车位.而基于自由空间[2-5]与基于车位标记的方法能够实现完全自动化且能仅通过车载传感器来正确检测停车位，因此得到了广泛的研究.基于自由空间的方法是通过车位旁边停有的车辆来检测空停车位的.该方法在空停车位旁边停有合适的车辆时能够准确检测，但当没有停靠车辆时就无法实现停车位检测.基于车位标记的方法不依赖于相邻车辆就可以检测停车位，目前大多在环视图像上进行.现在车辆上逐渐配备了全景监控影像系统(around view monitor，AVM)，位于车辆周围的4个鱼眼摄像头拍摄图像，通过相关算法将其进行畸变矫正、逆投影变换以及环视拼接，就可以得到车辆周围的环视图像.因此，根据AVM得到的环视图像来检测空停车位具有深远的实际意义.

目前基于环视图像的停车位检测方法主要可以分为3类：基于线的方法、基于点的方法和基于语义分割的方法.基于线的方法中，Wang等[6]采用基于Radon变换的车位特征提取方法对车位进行提取，通过聚类和滤波来检测车位线，能有效抑制噪声的影响.白中浩等[7]提出了一种通过识别车位线来确定停车位的算法，采用金字塔分层搜索策略，利用Hough变换检测车位线，进而确定车位角点的候选点，再采用遗传算法进行车位角点的匹配，确定最终停车位.Hamada等[8]通过边缘检测及Hough变换等操作来检测平行线对和垂直于平行线对的线，并通过组合这些线来识别停车位.Lee等[9]提出了一种基于Directional-DBSCAN 的线级特征聚类算法对不同类型的车位线进行检测，在线段较短或者不清晰的情况下都能较好地检测出车位线，再设计一种决策树分类器来确定停车位类型.Li等[10]提出了一种基于LSD算法的线聚类方法来检测车位线，根据其几何特征对车位线进行配对生成候选停车位，再对车位入口进行检测得出最终停车位.

不同于基于线的方法，有些停车位检测方法是基于点的.Suhr等[11]利用Harris角点检测器来检测停车位的角点，然后进行匹配，根据停车位的几何特征得到各种类型的停车位.Zhang等[12]提出了DeepPS，先使用YOLOv2[13]检测模型检测车位标记点，再使用分类网络获取车位入口，最后根据检测结果推断出停车位.Huang等[14]提出了一种使用方向性标记点回归的停车位检测方法，通过神经网络模型得到方向标记点，根据检测到的标记点推断出停车位.Wu等[15]提出圆形描述符来描述不同类型的车位标记点，表现出在复杂场景下检测停车位的能力.Li等[16]提出了一种基于YOLOv3[17]的停车位检测方法，将停车位的分类与标记点的检测相结合，相较于之前需要配对标记点的方法，简化了检测过程，但仍然会出现标记点不明显时可能无法检测或者对停车位是否为空闲状态分类错误的情况.

通过信息化系统，提供了项目考核与绩效测量的基准所需要的工作内容、工作量、完成时间、完成效果等关键要素的数据，有助于军工科研单位建立一套以贡献为导向、以执行率为参考、以效果为考核的评价体系，实现合理有效的评价机制，充分发挥人员工作积极性。

(2)样品的Ba/Sr比值为2.35～50.47，U/Th比值为1.32～24.37，其稀土元素分配模式、∑REE、LREE/HREE和(La/Ce)N值表明硅质岩主要形成于大陆边缘，沉积时还受到热水作用影响。

为了提高复杂环境下停车位检测的可靠性，出现了一些基于语义分割的停车位检测方法.Wu等[18]提出了一种VH-HFCN网络，从停车位和车道标线中提取线性特征信息，有效地分割各种标记，在分割标记的基础上再通过骨架抽取、线性Hough变换和排列匹配等处理得到最终的停车位和车道.Jiang等[19]提出了一种DFNet分割模型，通过动态损失权重和残差融合块来提高预测精度，能够准确分割出受背景噪声影响较小的车位标线，再通过后处理得到停车位.Jiang等[20]利用Mask R-CNN[21]得到标记点的分割结果，再利用LSD算法在标记点分割的基础上检测车位入口线和平行线，进而确定停车位，该方法在复杂光照情况下有较好的检测效果.虽然上面的分割模型拥有较强的性能，但需要在标记点或者车位线的分割基础上进行后处理，如骨架抽取、线性Hough变换或车位入口线和平行线检测等.若车位标记点或标记线不清晰或者出现遮挡情况下分割效果差，则无法准确得到最终的停车位信息.

恩智浦半导体(NXP Semiconductors)以其领先的射频、模拟、电源管理、接口、安全和数字处理方面的专长，提供高性能混合信号和标准产品解决方案。这些创新的产品和解决方案可广泛应用于汽车、智能识别、无线基础设施、照明、工业、移动、消费和计算等领域。该公司在全球逾25个国家设有业务执行机构。

1 停车位检测方法

本文提出的停车位检测方法是基于环视图像进行的，用于得到环视图像的4个摄像头与车辆的位置关系如图1所示.该方法将整个空停车位视为一个整体目标，在进行目标检测的同时进行语义分割，再对语义分割结果进行多边形拟合得到最终的空停车位.该方法可以直接检测得到空停车位，而不需要进行停车位的占用分类或者对车位标记进行推断匹配.同时，可以对不同类型停车位进行检测.该方法可以检测车位线及角点不清晰或者出现遮挡的不同类型停车位(如图2所示).为了得到精确的语义信息，检测网络是在Mask R-CNN基础上进行的改进.为了提升检测速度，运用MobileNetV3进行特征提取，并将网络中的普通卷积替换成深度可分离卷积.同时，为了得到精确的空停车位信息，在得到语义分割结果后添加Douglas-Peucker算法进行拟合，在图3中可以看到停车位检测网络模型的示意图.停车位检测过程中，首先使用MobileNetV3[10]提取特征并构建特征金字塔(feature pyramid network，FPN)，再经过区域生成网络(region proposal network，RPN)以及ROI Align层进行分类、边框回归和语义分割，最后利用Douglas-Peucker算法对语义分割结果进行多边形拟合得到车位框.利用该模型可以直接检测得到空停车位，而不需要进行停车位的占用分类.

1.1 特征提取构建特征金字塔

特征提取网络负责对输入图片进行特征提取用于特征金字塔的构造，在Mask R-CNN中选择的是ResNet-101，而本文选择MobileNetV3对输入的环视图像进行特征提取.该网络作为一种轻量级网络，参数量相较于ResNet-101有显著减少，可提升网络检测速度.如图4所示，输入512×512×3的环视图像，经过特征提取网络得到长宽分别压缩了2次、3次、4次、5次的特征层C2、C3、C4、C5，再利用这些特征层构造特征金字塔，获得有效特征层P2、P3、P4、P5、P6.其中MobileNetV3 中的bneck结构如图5所示，其综合了以下几个特点：

(1)在语义分割轮廓曲线两点之间连接一条线段，该线段为曲线的弦.

(2)MobileNetV1的深度可分离卷积块(depthwise separable convolutions).深度可分离卷积块由深度可分离卷积和1×1卷积两部分组成.以一个3×3大小的卷积层为例，输入通道数为8，输出通道数为16.标准卷积所需的参数个数为8×16×3×3=1 152.而利用深度可分离卷积块所需的参数个数为8×3×3+8×16×1×1=200.使用深度可分离卷积块可以大幅减少模型参数及运算量.

其中

(4)利用h-Swish代替Swish函数.h-Swish是基于Swish[22]的改进，Swish函数是Google于2017年提出的一个激活函数.Swish具备无上界有下界、平滑、非单调的特性，并且其在深层的模型上效果优于ReLU函数.但这种激活函数在移动设备上有较大的成本，因此Ramachandran等提出了h-Swish函数，利用一个近似函数来逼近Swish函数[22].使用h-Swish激活函数可以减少运算量，提高模型性能，公式如下：

(1)

(3)轻量级的注意力模型.在通道上施加注意力机制，先对3×3深度可分离卷积后的特征层进行全局平均池化，再进行两次全连接得到特征层每个通道的权重，对特征层进行加权.这就是通过注意力机制来调整每个通道的权重.

ReLU6(x)=min(6，max(0，x))

(2)

1.2 建立分类、边框回归及语义分割

根据获得的有效特征层P2、P3、P4、P5、P6的大小设置对应的先验框.将有效特征层P2、P3、P4、P5、P6传入区域生成网络中，获取先验框调整参数以及确定先验框内部是否包含停车位.再根据区域生成网络获得的结果对先验框进行调整获得候选框.候选框是对环视图像中车位初步筛选的结果，代表了图像中某些区域可能存在停车位.ROI Align层利用候选框对相应的有效特征层P2、P3、P4、P5进行截取以获得局部特征层，再将局部特征层大小调整成一致，即利用插值计算非像素坐标点处的近似像素值使得对于不同大小的局部特征输入都可以得到相同大小的输出.将调整后的局部特征层传入分类、边框回归模型中，判断获得的候选框中是否真实存在停车位，并对候选框进行调整以获得预测框.利用该预测框可以初步得到停车位在图片中的大致区域位置，为得到更为准确的停车位信息，再利用预测框对特征层进行截取与调整，通过语义分割模型对像素点进行分类，获得整个停车位语义分割结果.

综上所述，通过对上述影响因素的分析，不仅对政府部门工作具有重要的启示作用，同时也为公司管理层提供了一定的借鉴参考。尤其是我国在近几年以来加大力度推动私募基金投资的发展，并实施了相应的规范措施，使其无论在完善上市公司治理结构方面，还是在解决与减少投资不足问题方面，都初见成效，而且在进行长远战略投资规划时，应侧重首选私募股权基金。

相对于其他普通高校学生来说，高职院校学生对新知识、新事物的认知能力相对偏弱，自主学习能力相对较差。再加上会计理论知识十分抽象，初学者“丈二和尚摸不着头脑”，部分学生在学习一学期之后仍然不明白“借”“贷”含义，不理解会计分录，不能完全理解会计要素，账务处理经常稀里糊涂。久而久之，产生(畏难)恐惧心理甚至产生厌学情绪，即使勉强学了一点理论知识，却也支离破碎。

1.3 拟合语义分割结果得到空停车位

获得整个停车位语义分割结果后，使用Douglas-Peucker算法对得到的语义分割停车位轮廓进行多边形拟合，通过动态调整点到相对应线段距离的阈值将停车位轮廓拟合为停车位在环视图像中的形状，拟合情况如图6所示.当停车位语义分割内部出现不属于停车位的像素点或者不是闭合的时候，需要对其进行填充再根据整体轮廓曲线拟合停车位.用Douglas-Peucker算法对停车位进行拟合步骤如下：

(1)MobileNetV2的具有线性瓶颈的倒残差结构(the inverted residual with linear bottleneck).倒残差结构主要可以分成主干部分和残差边部分.主干部分先利用1×1卷积升维，再利用3×3的深度可分离卷积进行特征提取，最后利用1×1卷积降维；而残差边部分是输入和输出直接相接.

为了验证本文提出方法的性能，在ps2.0数据集和自注释数据集上进行了实验.ps2.0数据集是目前较大、较全面的环视图像停车位检测数据集，包含了不同类型、不同情景下共12 165张环视图像，分为包含9 827张图像的训练集和包含2 338张图像的测试集.将训练集中的图像用于停车位检测模型训练，从测试集中挑选出车位线及角点不清晰或者出现遮挡的图像共197张，用于测试模型对车位线及角点不清晰或者出现遮挡下的检测情况.197张测试图像分为6种情况：室内、室外正常日光、室外雨天、室外阴影、室外倾斜和室外路灯.需要注意的是，原始ps2.0数据集中未提供环视图像中空停车位语义分割标注信息，因此对其进行了手动标注.同时，为了评估所提出方法的泛化能力，从自注释数据集中选出249张车位线及角点不清晰或者出现遮挡的图像进行实验.

(3)比较该距离与预先给定阈值的大小，如果小于阈值，则该线段作为轮廓曲线的近似，这段轮廓曲线处理完毕.

上述方法需要环视图像中存在准确的车位标记信息，当车位线及角点不清晰或者出现遮挡时，停车位检测精度较低或无法检测.有些方法需要进行后处理，步骤烦琐且检测速度较慢.针对以上问题，本文提出一种基于环视图像的空停车位检测方法，即将整个空停车位视为一个整体目标，在进行目标检测的同时进行语义分割，再对语义分割结果进行拟合，在环视图像上不用进行标记点或标记线匹配且不用对停车位占用情况分类而得到空停车位信息.

本文提出的方法使用Tensorflow框架实现，所有实验均在装有Intel(R)Core(TM)i7-9700 CPU @3.00 GHz、NVIDIA GeForce RTX 2070 SUPER显卡和32 GB RAM的服务器上进行.在训练过程中，将输入图像调整为512×512，使用初始学习率为1×10-5的Adam优化器，所有数据训练100次.训练时若检测网络的损失值在10次内都不下降，提前终止训练防止过拟合.

(5)当所有曲线都处理完毕时，依次连接各个分割点形成的折线，即可以将其作为轮廓曲线的近似.

2 实验结果及分析

2.1 数据集

(2)得到轮廓曲线上离线段距离最大的点，计算其与线段的距离.

2.2 实验条件

(4)如果该距离大于阈值，则用离线段距离最大的点将曲线分为两段，并分别对两段曲线进行(1)～(3)的处理.

2.3 空停车位检测实验

在实验中，采用精确率P、召回率R和单帧图像检测时间作为空停车位检测的评价指标.精确率也称为查准率，指在所有被检测为空停车位的样本中被正确检测为空停车位样本所占比例.召回率也称为查全率，指在实际为空停车位的样本中被正确检测为空停车位样本所占比例.其定义如下：

(3)

(4)

式中：Stp表示正确检测出空停车位的样本数量；Sfp表示不是空停车位被误检测为空停车位的样本数量；Sfn表示空停车位被误检测为不是空停车位的样本数量.

在整体新能源战略布局方面，广汽集团于2017年非公开发行A股股票150亿元，主要用于智能网联、新能源与前瞻技术、关键零部件以及自主品牌发展，今年继续增强“三电”及智能网联核心技术的研发，全力推进广汽智联新能源汽车产业园项目建设以及广汽宁德时代电池合资项目等合作。未来随着新能源市场规模不断扩大，也将迎来新能源自主品牌、造车新势力、合资品牌和豪华品牌的激烈竞争，广汽集团全产业链的新能源布局将具备较强竞争优势。

表1显示了本文方法对选出的197张车位线及角点不清晰或者出现遮挡的测试图像的检测性能.在实验中共有251个空停车位，正确检测出244个空停车位，产生了4个误检，精确率为98.39%；召回率为97.21%.由此得出，该方法能准确地对车位线及角点不清晰或者出现遮挡的停车位进行检测，可以直接得到空停车位而不用再对停车位占用情况进行分类判断.

表1 空停车位检测结果

表2显示了当特征提取网络采用ResNet-101、MobileNetV1以及MobileNetV2时与本文采用的MobileNetV3进行停车位检测时的性能对比.从表2中可以看出本文提出方法相较于特征提取网络采用ResNet-101时在检测精度略有提高的情况下，检测速度得到较大提高，单帧图像检测时间为11 ms.相较于特征提取网络采用MobileNetV1以及MobileNetV2时，在检测速度略有提高的情况下，检测精度得到较大提高.

表2 不同特征提取网络停车位检测性能比较

表3中显示了ps2.0数据集用于模型测试的图像中不同环境条件下具体空停车位的检测结果.同时为了评估提出方法的通用性，对自注释数据集进行了实验，实现了97.24%的精确率和96.70%的召回率.结果表明，该方法具有优秀的性能和较好的泛化能力.

整个大坝填筑为面板堆石坝，需要填筑石方总量约540万m3，实际填筑工期约30个月，平均每月需18万m3，按每车24m3计算，每天需要车数18万/30d/24m3每车=250车，但实际高峰期每天可能达到450～500车左右，传统过磅方式根本没有办法满足生产需要，人员过磅记账强度也没有办法满足要求，所以夹岩水利工程决定应用无人值守自动称重系统。通过现代射频技术、计算机软件技术、远程数据传送技术、及地磅钢梁结构设计的整合来完成这套全自动无人称重记录系统工程。

表3 不同环境条件下的停车位检测结果

3 结 语

本文提出了一种在环视图像中车位线及角点不清晰或者出现遮挡情况下的空停车位检测方法.该方法将整个空停车位视为一个整体，可以不依赖于环视图像中车位线或角点信息来进行空停车位检测，而且步骤简便，具有较好的检测速度，不需要进行停车位占用分类就可以直接检测出空停车位.利用MobileNetV3进行特征提取并构建特征金字塔，从而进行分类、边框回归并得到空停车位语义分割结果，根据Douglas-Peucker算法进行拟合就可以得到空停车位.为了评估所提出方法的性能，在ps2.0数据集和自注释数据集上进行了实验.结果表明，该方法能有效、准确地检测车位线及角点不清晰或者出现遮挡情况下的空停车位，具有优秀的性能与泛化能力.